乾隆南巡到杭州，杭世駿也參與迎駕，乾隆見了他問道：“你靠什么生活？”杭答：“臣世駿開舊貨攤?！被实鄄欢?，問道：“什么叫開舊貨攤？”杭解釋道：“把買來的破銅爛鐵陳列在地上賣掉?！被实勐犃舜笮?，寫了“買賣破銅爛鐵”六個大字賜他。

　　據(jù)傳杭世駿為人耿介，敢于直言。時值天下大旱，乾隆特開“陽城馬周科”，測驗翰林院官。意在選拔人才，幫他治理國家。杭世駿在這次試卷中直言不諱，條陳建議，提出“朝廷用人”不要以滿漢劃線，應(yīng)該泯滅“滿漢之見”。“滿州賢才雖多，較之漢人十之三四。天下巡撫常滿漢參半，總督則漢人無一也。何內(nèi)滿而外漢也？”還說：“三江兩浙，天下人才淵藪，邊隅之士，間出者無幾。今則果于用邊之人，不計其才，不計其操履，不計其資俸，而十年不調(diào)者，皆江浙之人，豈非有意見畛域？”話說得懇切。

　　實際乾隆開科，取治國干才，卻是葉公好龍，一旦真的聽到“直言”，就怒不可遏：“怒抵其卷于地者再，復(fù)取視之”。傳說人家?guī)退f話：他是狂士。乾隆便說：“這種狂士，只能收賣廢銅爛鐵！”杭世駿由是罷歸田里。他回到杭州，在鬧市擺了一個地攤，布招大書：

　　“奉旨收賣廢銅爛鐵”。一時觀者如堵。

　　記載，乾隆問杭世駿說：“你性情改過么？”世駿回答：“臣老矣，不能改也。”乾隆問：“何以老而不死？”回答說：“臣尚要歌詠太平。”笑了笑。龔自珍《杭大宗逸事狀》中則說：“癸已歲，純皇帝南巡，大宗迎駕湖上，上顧左右曰：‘杭世駿尚未死么？’大宗返舍，是夕卒。”不知是真是假。

　　早年升遷

　　杭世駿自幼家境貧寒，勤奮好學(xué)，年輕時偶爾過訪友人館舍，見異文秘冊，即端坐那里默默記下其中要點，用功之勤，可見一斑。王瞿序《道古堂集》曰：“堇浦於學(xué)無所不貫，所藏書擁榻積幾，不下十萬卷。堇浦枕藉其中，目睇手纂，幾忘晷夕?！焙际莉E經(jīng)常向他人借書閱讀，并與同鄉(xiāng)梁詩正、孫灝、嚴在昌等人組織讀書會，互相討論學(xué)術(shù)。雍正二年(1724）考中舉人，屢次赴考進士不中。雍正九年(1731年)，杭世駿在主持纂修《浙江通志·經(jīng)籍志》時，堅持按事實修志，然而當時文網(wǎng)頗密，官府修志，要刪除違礙字句，因此他的要求遭到拒絕。后曾受聘擔任福建鄉(xiāng)試的同考官。鄉(xiāng)試的考官一般都由進士出身的官員擔任。而杭世駿能以舉人的身份擔任考官，足以說明他在當時影響之大。 乾隆元年(1736），杭世駿應(yīng)浙江總督程元章之薦考取了丙辰博學(xué)鴻詞科，名列一等第五，授翰林院編修之職，?？蔽溆⒌睢妒?jīng)》、《二十四史》，纂修《三禮義疏》。

　　直言賈禍

　　乾隆八年，久旱無雨，乾隆帝循例下詔求直言，開御史試。杭世駿以為當今皇上納諫入流，于是貿(mào)然上了一篇洋洋灑灑數(shù)千字的《時務(wù)策》，言“意見不可先設(shè)，軫域不可太分，滿洲才賢號多，較之漢人，僅什之三四，天下巡撫尚滿漢參半，總督則漢人無一焉，何內(nèi)滿而外漢也？三江兩浙天下人才淵藪，邊隅之士間出者無幾。今則果于用邊省之人，不計其才，不計其操履，不計其資俸。而十年不調(diào)者，皆江浙之人，豈非意見軫域？”主要內(nèi)容是指責朝廷用人存在偏見。他認為天下滿洲人少、漢人多，而各地總督卻沒有一個漢人；江浙人才輩出，但在政府中多年沒有人升調(diào)。雖然，他所寫的內(nèi)容都能切中時弊，但清朝由滿洲貴族統(tǒng)治，一直存在著防范漢人的心理，杭世駿恰恰是觸及了“滿漢畛域”這個最忌諱的問題。乾隆皇帝一見之下，勃然大怒說：“滿漢遠邇，皆朕臣工，朕從無歧視。國家教養(yǎng)百年，滿洲人才輩出，何事不及漢人？”杭世駿被斥“懷私妄奏”，刑部議處死刑。刑部尚書徐本極力為杭世駿求情，稱“是狂生，當其為諸生時，放言高論久矣”，并不停叩頭，一直把額頭都叩腫了。最后，杭世駿免死革職回鄉(xiāng)。

　　剛開始得知“罪且不測”的消息時，杭世駿正在參加同僚的宴會，還沒等杭世駿從震愕中回過神來，東道主已先一步作出反應(yīng)，要趕杭世駿出門，免得連累自己。此后，那些所謂的同僚如同躲避瘟神一樣地躲著他，“杭往話別，輒預(yù)戒閽者拒之?！蔽í氞嵃鍢?qū)懶盼繂枴杜c杭世駿書》：“君由鴻博，地處清華，當如歐陽永叔在翰苑時，一洗文章浮靡積習，慎勿因循茍且，隨聲附和，以投時好也。數(shù)載相知，於朋友有責善之道，勿以冒瀆為罪，是所冀於同調(diào)者。堇浦詞兄，燮頓首?！绷T歸之初，杭世駿要么閉門不出、避人如仇，要么踟躇在距家很近的吳山幽徑中。但有時他又會倒載而行，招搖過市，目無旁人地大聲吟唱詩句。

　　家居著學(xué)

　　杭世駿性格伉直，恃才傲物。他甚至與禮部侍郎方苞發(fā)生辯論，引經(jīng)據(jù)典，將一向以經(jīng)學(xué)自負的方苞駁得無言以對。生活上也不拘細節(jié)，不喜歡看當時的邸報（邸報是當時政府的內(nèi)部文告，只有一定地位的人才能看到）。他家居著書或講學(xué)，閑居二十年，連當?shù)嘏c他年齡相仿的人做到了大學(xué)士、尚書、總督等政府高官，他全然不知道。一次，吏部尚書兼協(xié)辦大學(xué)士劉綸去揚州安定書院看望他。他問劉綸：“現(xiàn)在做什么官?”劉綸回答說：“實不相瞞，已經(jīng)做了很多年大學(xué)士了?！焙际莉E感到非常驚訝。事實上，杭世駿除了平時講學(xué)以外，把其他的時間都用于著書立說上了。盡管與他同一年考中“博學(xué)鴻詞科”的許多人都做了高官，惟獨他一人被遣放回家，但是他著的書卻是這些人當中最多的。他較著名的書就有《兩浙經(jīng)籍志》、《經(jīng)籍志》、《榕城詩話》、《詞科掌錄》等。杭世駿的詩在當時更是與厲鶚齊名，嘗賦《方鏡詩》二十四首，在京城被傳誦一時。

　　乾隆十六年（1751）得以平反，官復(fù)原職。晚年主講廣東粵秀和江蘇揚州兩書院。