卻說謝萬領軍自出下蔡北上，大軍逶迤而行，每日不過三十里，行軍安排自有長史胡彬主持，謝萬照舊每日與幕僚行樂，也不巡營，諸將愈發不滿。江淮之間的這些武將，除了軍府直屬的兵力，大多都掛著各地郡守的職務，除了能從軍府獲得撥付的錢糧，還有自己的場務能夠賺錢、有隨軍的士兵家屬等以供役使，實乃名副其實的軍閥，土皇帝一般；即使沒有行政職務的，所帶的兵馬也大多數是自己招募的，形同私兵。謝萬如此做派，這些軍將如何肯為他出力，有幾個脾氣暴躁的就要脫離謝萬大軍離去。胡彬和何容等幾個謝氏的老將以及參軍高柔等極力安撫眾將：謝氏相容簡拔之恩，不可或忘，何況北方強敵再側，眾將務必安撫部曲，同舟共濟云云。
這日抵達陳郡陽夏，陽夏乃是謝氏故郡，謝萬下令大軍就地駐扎休整，自己親自帶著一隊部曲造訪故鄉，緬懷祖先。
自謝萬到豫州后，豫州軍府資用不足，這些軍將頗過了些苦日子，這時候駐扎下來，便就有兵卒到鄉里勒索錢財吃食，為禍鄉里。消息傳到胡斌耳中，因這些日子諸將群情洶洶，他也不敢按軍紀處置，何況他的手下手腳也沒有干凈到哪里去。誰知道被參軍李恒在謝萬面前添油加醋的說了，惹得謝萬大怒。此處是謝氏的舊地，雖然大部分謝氏族人都已經南遷，到底還是有些鄉土情懷，謝萬便差李恒去責問胡斌，要他處置這些兵卒。
“處置？”胡彬冷笑道，“這樣的亂兵各個將軍的營中都有，有本事李參軍去處置吧！”
李恒大怒，指著胡彬道：“你個粗魯武夫，下賤人胚，竟敢抗令不尊！”
胡彬大怒，對著李恒大罵：“你算個什么東西，成天擺弄是非，再敢聒噪我宰了你！”手下親兵聽了，拔出了刀來一起上前，就要亂刀砍了他。
李恒哪里見過這等陣勢，嚇得臉色慘白，轉身灰溜溜地跑了。
“呸，沒卵子的東西！”胡彬唾罵道。
李恒回去之后，又狠狠地向謝萬告了胡彬一狀。只是謝萬再蠢，也知道現在要靠著胡彬掌握軍隊，雖然生氣還是好言安慰了李恒幾句，沒有再深究。不想快馬來報，北中郎將郗曇，從金平退守彭城，一語把個謝萬驚得魂飛魄散。
參軍李恒心里害怕，對謝萬道：“都督，常言道虎父無犬子，北中郎將父子兩代掌兵，頗通軍事，北府軍又一向驍勇，這樣的軍隊尚且拼不過燕國鐵騎，豫州軍府這些兵將，軍紀敗壞，恐怕更是難以抵御啊！”
參軍高柔是謝尚看重的人，多年在軍府之中，頗通軍事。他出言反對道：“不然！燕軍騎兵雖然善戰，卻并不熟悉河南地理，從來不敢深入河南地。北府軍雖然退卻，卻沒有過來通報說是戰敗。現在情況不明，我軍不妨占據城池，就地駐扎，同時多派斥候細作，了解詳情之后再做定奪！”
李恒抗聲道：“戰場之事，瞬息萬變，豈可緩緩圖之？何況此舉是將都督置于危險之地啊！”
參軍杜襲笑道：“兩位不要爭辯了！河南地回歸晉土不過十年，期間又多經戰亂，士民并不歸心。穩妥起見，大軍不妨退回壽春，再做打算！”
高柔反對道：“大軍進退，豈是如此兒戲？現在民夫千里轉運糧草至此，一旦退卻，我軍必然損失慘重啊！”
李恒冷聲道：“大軍撤退，自然千難萬難。都督撤回壽春卻并不難！都督身份高貴，身系豫州安危、社稷之重，豈能置身險地？”
本來謝萬聽說郗曇撤退，就疑心燕軍兵鋒太盛，不敢再往前走了。這時候聽到李恒的建言，深以為然，便出生道：“好了，諸位參軍不必再相爭，本督心意已決，著胡彬統領北伐諸軍，退回下蔡！”說罷便讓部曲打點行裝，連大營也不會，直接帶著幕僚們快馬加鞭地向南撤退了。
卻說眾將在大營之中等待謝萬，正自不耐，卻聽得快馬來報：北中郎將退守彭城，謝都督向南退走，著長史胡彬帶軍隊撤回下蔡！
眾將軍簡直不敢相信自己的耳朵，一軍之主將，竟然連個招呼都不打就獨自跑了！輔國將軍王度暴跳如雷，大聲喊道：“老賊誤國，竟敢棄軍而逃，置大軍于險地，我這就去宰了他們！”
一時諸將紛紛起哄，就要去追擊謝萬。
何容勸道：“謝氏畢竟是高門世家，諸位今日殺了謝萬，形同造反，謝家豈肯干休？謝都督棄軍私逃，朝廷必然不會坐視不理，諸位同袍何必逞一時意氣，白白斷送了自己的前程！”
胡彬也道：“看在謝安石的份上，大家暫且饒過謝萬！此事朝廷自有處置。現在最要緊的是怎么解決目前的困境。”
諸將雖然心中不忿，到底不敢犯上作亂，只得作罷。沒有主將，這仗算是打不成了，但是撤退順序，是亟需解決的問題。
謝萬在時，諸將有所顧忌，尚能勉強行動統一。主將南逃，諸位將軍互不統屬，營中又流言紛紛，有說燕軍勢大，北府兵慘敗的。有說燕國十萬大軍，傾國而下，轉眼及至，勢不可擋的。淮水以南的諸軍只想著撤退回淮水以南，依托淮水抗擊燕軍。河南諸軍卻舍不得自己的地盤，再說還有軍屬留在河南各地，不能棄之不顧。諸將無法達成一致，于是便各自引兵撤退。征調而來的民夫聽說燕兵勢大，紛紛結伴逃跑，一時間各軍也不管輜重，丟兵棄甲，四處潰逃。各將的部曲私兵雖然恐慌，尚能圍在主將周圍聽用，所征發的兵家子和招募來的兵馬，則趁機四散而去。潰兵分散各處，又無輜重，難免禍害百姓，有三五成群向南逃得，也有趁勢聚眾落草的，不一而表。
胡彬看著滿目瘡痍的大營，仰天長嘆：“寧肯為好漢子牽馬墜蹬，不為賴漢子當祖宗！我胡彬卻是在為謝萬這個賴漢子牽馬墜蹬！”
身邊的部曲將胡范安慰道：“將軍安心，這不是將軍一己之力能夠控制的！眼下諸軍已退，咱們也撤了吧！”
胡彬看著身邊剩下的五百部曲，嘆息一聲，縱馬南歸。
劉義之率領三百輕騎，五百步卒，打著征虜將軍劉建的旗號，沿渦水向北運動，但凡遇到潰兵，全部拿下，整編成伍，不服訓令的一律格殺。一路上滾雪球一般，人數越來越多。潰卒散落鄉里，大批百姓聞訊，害怕胡騎屠殺，也成群南逃，劉義之但凡遇到，一律整編，并安排船只，沿渦水南下，送至馬頭城。
這日遠離渦水到了一個地方，叫做賈家村。騎兵隊長劉程笑道：“長史，這些日子我們也收編了不少人了，原先不過八百人馬，現在不算送回馬頭的，也已經有小兩千了，后勤吃緊啊！此地離馬頭要差不多兩百里了吧，再往北走只怕就會遇到鮮卑騎兵了，咱們是不是開始往回走？”
劉義之笑道：“沒那么玄乎，不過也確實該往回走了！劉洪，你帶領所有的步卒乘船回馬頭城吧！我帶著騎兵在附近搜索一番，自回淮水渡口！”
劉洪拱手稱是，自帶著人去尋渦水上的船只。
劉程笑道：“最近這些日子，遇到不少潰卒，誰知道竟然是越往西人越多！”
劉義之笑道：“大軍出動，自然是沿著河水走，便于運輸糧草和取水。潰兵南下，逃命要緊，當然是選近路直接往南走了！此地往西二三十里便是慎縣，我們今天到那里去看看！”
眾人吃過了干糧，拿出馬背上的豆料，喂了馬，才繼續上馬往西走去。
“前面有人廝殺！”接到斥候回報，劉義之抓緊時間整隊，往前去看。只見數十名潰卒圍繞著一輛馬車，和幾個滿臉是血的人在相斗，馬車里一人驚慌失措，瑟瑟發抖。
正在相斗的雙方看到有大隊人馬靠近，忙停了下來，警惕地看著劉義之一行。
劉程上前對那些潰卒喝道：“這是征虜將軍的隊伍，你們是誰的部下，竟然攔路搶劫！”
那些潰卒都眼望著中間一個高大的漢子，那漢子躊躇了一下，抱拳道：“我們本是潰兵，也就不需要提什么誰的部下了！兄弟們一路行來，好不容易到了此地，見到了他們有吃食，向他們討要，誰料他們竟然口出惡言！兄弟們不忿，這才動起了手！”
劉義之看那群潰兵，都沒有鎧甲，有的手里有刀，有得赤手空拳，各個面有菜色。正要說話，就聽到車里那人大聲道：“劉長史，快救我！我是參軍李恒啊！”
劉義之定睛一看，車中之人果然是李恒，便笑道：“李參軍好！怎么流落至此？”
李恒苦著臉道：“我和都督失散了！路上遇到潰兵，被人搶了馬去。不成想到了此處，竟然又被潰兵圍了！”
劉義之笑道：“你的馬沒了，還留著這馬車何用？”
李恒聽他有調笑之意，心下恚怒，但是眼下實在不宜翻臉，便指著車前的幾個漢子道：“幸虧我還有部曲照料！”
劉義之看著那四名滿身是血的漢子，心下大怒，這李恒竟然如此不把自己的部曲當人！當下不再理他，對那個高大漢子道：“我這里還有些吃的，你們吃了之后需要跟著我回馬頭，知道了嗎？”
那漢子看了劉牢之的數百騎兵，嘆了口氣，揮了下手，幾十名潰兵聚在了身后，向劉義之拜倒。劉義之把那漢子扶起來，取過自己的干糧袋，分發了出去。