一場攻防戰之后，明軍返回獨松關繼續鎮守，虞允文則臉色鐵青的看著沒能成功完成任務的將官，下令將他奪職入獄。
接著，他又派遣另外一名將領率領五千宋軍前往進攻獨松關。
當時楊萬里就勸說虞允文干脆不要攻打獨松關，盡力守臨安城，只要臨安城不失去,
明軍終究不能如何，到時候趁機攻擊明軍的后勤，或許還能逼退明軍。
虞允文搖頭。
“獨松關地位重要，誰掌握了獨松關就能占據主動，絕不能放任明軍占據獨松關，明軍只是堅守獨松關而沒有主動出擊,
就意味著占領獨松關的只是明軍先鋒,
其主力未至。
那么好的機會，也是最后一個機會放在我們面前，我們若是不能抓住，就真的要死守臨安城了，這種情況過于艱險，非必要，我不想如此，所以，必須要趁著明軍主力南下之前收復獨松關。”
于是虞允文下軍令狀，要求宋軍必須收復獨松關，否則就不要回去見他。
這支宋軍急切的進攻獨松關數日，結果在攻打的第四日迎來了明軍援軍。
明軍援軍的抵達大大振奮了獨松關守軍的士氣，獨松關明軍守軍一舉出擊，將猝不及防的五千宋軍打得大敗。
宋軍崩潰撤退，明軍又追出去幾里地遠,
這才收兵回去。
宋軍慘敗回到臨安,
虞允文一怒之下把領軍將領斬殺了,
準備組織第三次進攻，這一次被楊萬里和群臣死死攔住了。
“明軍援軍到了，就算我們用三萬人去進攻，未必能成，把寶貴的守城兵力用在獨松關，這是不理智的！萬萬不可！”
主戰派同僚尚且不滿意，主和派群臣在沈該的帶領下圍攻虞允文，對虞允文大加斥責，一人一本湊了一百多本本奏彈劾虞允文，趙昚也是被這股強烈的反抗浪潮弄得沒辦法，只能下令虞允文不要出兵進攻。
趙昚都開口了，終于讓虞允文放棄了，而虞允文這一放棄，宋軍士氣大為衰落，幾乎一蹶不振，對明軍充滿恐懼。。
隨后，周至率領明軍主力越過獨松關，前往臨安城，宣告獨松關徹底不可能被宋軍收復。
與此同時他也通過幾次簡單的攻防戰掃清了臨安城周邊的宋軍據點，大大震懾了臨安守軍。
九月十五日，張越景率領五萬五千明軍主力抵達臨安城，在臨安城會和周至的兩萬軍隊，大軍將臨安城包圍，在臨安城周邊耀武揚威，炫耀武力，使得明軍士氣高昂，臨安城守軍士氣低落。
這是明國建立以來明軍第二次包圍臨安城，也是臨安城第三次被敵軍兵臨城下。
而明國建立至今還不到六年。
城中宋軍、官員、百姓群體中彌漫著濃濃的悲觀主義氛圍和投降主義氛圍。
相當一部分人頓時感覺接受明軍之前的條件也沒什么，無非是皇帝不能叫皇帝，宋國不能叫宋國，但是大家都還在。
錢還在，地位還在，權力還在，一切都還能維持過去的模樣，人上人還是人上人。
現在可好，明軍來了，包圍臨安城了，臨安城能不能守得住還是個問題，這要是守不住，大家豈不是都要完蛋？
蘇詠霖的革命理論和明國的清算政策難道是說著玩兒的？
那些從明國逃過來的家伙們的遭遇大家都還記得。
當前這個局勢已經非常明顯了，所以臨安城內原本受到壓制的主和派驟然起勢，開始對虞允文就是一頓狠狠的批判。
他們說虞允文是心高氣傲但是能力不足，嘴上說的漂漂亮亮，這個戰術那個戰略，這里該怎么做哪里該怎么做，揮斥方遒，結果呢？
明軍說兵臨城下就兵臨城下了！
你不答應人家的要求，人家就真的過來找你麻煩，你要是再不答應，人家真的有可能把臨安城拿下啊！
朝廷中原本以沈該為首的主和談判派是被虞允文死死壓制的，虞允文以平章軍國事的身份總覽軍政大權，就在臨安城內，除了皇帝趙昚，沒人可以牽制他。
而皇帝趙昚又非常信任虞允文，給他足夠的支持，所以一般來說群臣那他一點辦法都沒有。
除非他自己犯錯。
而面對明軍，他接連犯錯，于是之前快速穩定臨安城帶來的威望逐漸消失，以至于到了明軍圍城的時候，他的威望一點不剩了。
沈該不再怕他，主和派群臣也不再怕他，不僅上表給趙昚批評虞允文，批評死守政策，也公開發表言論批判虞允文，嘲諷虞允文。
一時間朝堂上下以嘲諷虞允文為風尚，罵的那叫一個開心。
虞允文聽聞，上表申辯，被趙昚放出來公示給群臣，意思就是讓群臣閉嘴，他支持虞允文，但是群臣非但沒有閉嘴，罵的更快樂了。
沈該再次集合眾多持主和派觀念的臣子上表給趙昚，闡述他們心中所想的事情，希望趙昚可以認真思量。
沈該的意思也很簡單。
你皇帝說樞密院能干，把權力都給樞密院，那樞密院一屆一屆換了多少樞密使了？從張浚開始，到史浩，再到周麟之，陳康伯，最后到了這個虞允文，大宋的軍事態勢好過嗎？換湯不換藥啊！
他虞允文還在那邊說什么明軍難打，是啊，明軍確實難打，這是大家都知道的事情，咱們的軍隊就是不能打，就是廢，有什么不好承認的？大宋軍隊現在什么水平？
就那么幾個有名的將軍，都沒了，剩下一個李顯忠還帶著八萬軍隊去進攻明軍，他能打過明軍嗎？打不過，沒那個能力知道吧？現在已經丟了京湖，丟了淮西，再丟了獨松關，現在明軍兵臨臨安，沒得丟了。
他虞允文還說現在還有希望，臨安城還在手里，還能繼續抵抗，什么明軍兵多，后勤肯定成問題，只要堅持就能贏，哎喲，那是堅持的事情嗎？要是堅持就能成功，大宋早就北伐中原了好吧！
他根本搞不懂國際政治，搞不懂目前的局勢，你皇帝就用他做平章軍國事，給他那么大的權力，你讓他先把國際局勢和軍事局勢搞懂，我們和談談的好好的，不就死了一個葉義問？干嘛停掉？
現在可好，面對明軍你輸麻了，江南三鎮的軍隊還沒撤回來獨松關就沒了，顯然江南三鎮也沒了，輸光了，輸的透透的，之前還有半壁河山，現在還有什么你告訴我？
臉都不要了！