吃完了飯，劉順之向劉牢之說起送拜帖的事，原來謝安石并不在太守府中，而是跟朋友一起出去游玩去了。不過聽謝家的管事說，謝安石已經出門五天了，這兩天應該就會回來了。
這時候的公務員就是如此的不敬業，劉牢之也很無奈，只好帶著眾人在客棧里先住下。劉牢之不愿這些小子出去惹事生非，干脆就在客棧里呆著，并不出門，每日里派人到太守府點卯詢問而已。在客棧里和人攀談起來，這些人對這位太守基本上沒什么印象，雖然沒有什么橫征暴斂的事，卻也沒做什么實事。
如此等了三天，謝安才從外面回來，派人通知劉牢之次日到太守府。
謝安在太守府里，詢問府里的人劉牢之的事，聽說他一行人只有第一天在外面走了走，剩下的日子就等在客棧里，不由得暗暗點頭。
謝萬被貶后，謝家的這些舊部在豫州失去管轄，各自為戰了一段時間。以處境而言，就屬征虜將軍劉建一家過得舒服，因為他們家有不小的產業傍身。
不過袁真入主豫州之后，謝家的這些舊將可就失勢了，不少人被收了兵權，無所事事。他們之間有離開豫州自謀出路的，有想靠謝安在桓溫的軍府里做事的，更多的是在劉家、高家和何家的串聯下，開始在江北置業，發展大農莊。那一陣子他們這些人搞得紅火，很少有人想到謝家，反而是為首的劉家和高家，一直跟謝家保持著往來，不失恭敬。謝家每年產出的紅糖，基本上也是被這兩家給消化了。若沒有這兩家的幫襯，謝家雖說不至于生活拮據，但要像現在一樣過得如此滋潤那是不可能的了。
興寧二年的時候，豫州舊將抓住豫州軍府在河南戰敗的機會，開始復出。他們以劉建的安豐郡為基地，從淮北遷徙回來了大批的百姓，劉家甚至組織部曲和燕軍交過手，雙方各有忌憚，并沒有發生大規模的決戰。撤回淮水以南之后，豫州舊將們在劉家的支持下，積極地發展自己的實力，而劉家已經隱隱成了他們的領袖。
這些年，沒有了謝氏的庇護，謝氏舊將們的實力又增無減。尤其是彭城劉家，劉建盤踞安豐郡，劉義之北走洛陽，如今已經成為司州都督了。雖然那里處境危險，但是他左沖右突，愣是從重重包圍之中，殺出了一條血路來，實力越發強橫了。謝家并沒有能力獲取司州的情報，這些消息要么是劉義之上報朝廷之后，朝中老友來信告知的；要么是劉牢之寫信告知的。
謝安也很糾結。謝氏的這些舊將，如果混得都很落魄，那么有朝一日，謝家重組軍府的時候，這些人會應聲云集，重歸謝家的麾下。可現在，這些人實力強橫，真能為謝家所用，自然是好，若是不能…謝安搖了搖頭，武將依托門閥，只要謝家出頭，自然有大批的人可用。只是這個劉牢之的來意是什么呢？莫非他不死心，想要到北伐軍中撈取功勞，還是想要渾水摸魚？他年紀尚輕，不該如此心急才是啊！
謝安想了想當年見到劉牢之的樣子。當初謝萬北伐，劉建找到自己，說是擔心豫州軍的后路，想要留在后方調劑糧草。那一戰，豫州軍不戰自潰，人人損失慘重，唯有身在后方的劉建和王俠趁機收攏敗兵，增強了自己的實力。而且劉牢之那次也趁機出兵淮北，收攏了不少百姓，全部送進劉家的壽春莊園里。最近一次淮北戰事，劉建和高衡他們在淮北抵住燕軍的進攻，并趁機把汝南的百姓搬遷到了安豐郡，這劉家還真是善于渾水摸魚啊…
前些日子，劉來之給謝安來信詢問，豫州舊將們應該在這次北伐中采取什么樣的行動。桓溫狼子野心，想要代晉而立，這是士族們統一的看法。身為保皇一黨的成員，謝安遠離桓溫幕府，早就表明了不愿和桓溫媾同的態度。明眼人都看得出來，桓溫這次出兵北伐，是對晉廷的一次攤牌。如果這次北伐取得勝利，那么桓溫的威望將達到頂峰，攜北伐大勝之勢回歸的桓溫，不是司馬氏能夠與之匹敵的，即便是有眾多士族支持也不行。這個時候，謝安自然不可能希望豫州舊將們牽涉到北伐當中。他早就在回信中委婉地表明了自己態度。
還好，劉牢之接到謝安的回信后，火速通知了在安豐郡的劉建。也不知道前方經過了怎樣的一番交鋒，劉建、高衡居然不肯出兵。只有西陽太守胡彬和新蔡內史王俠頂不住袁真的壓力，各自帶了兩千兵馬要隨袁真出戰。剩下的人里，劉建告病不出，高衡聲稱這兩年沒有收到豫州軍府撥付的糧草器械，無法維持軍隊，早就把手里的軍隊解散了，如今正在安豐郡寄人籬下呢。至于何容，他只是劉建的帳下司馬，手里的兵力本來就不多。
劉建不肯出兵，不過讓他出些糧草到還痛快，而且他承諾，若前方糧草不繼，可以派兵押運一部分糧草，運送到前線。袁真念及此處，倒也沒有過分相逼。真是劉建率兵出征，要求袁真補齊糧餉，他還真是難以做到。自從高衡和王俠復起以來，除了當初出兵淮北時，袁真為他們補充過一些兵員和糧草，之后的兩年多的時間里，袁真愣是對他們不聞不問，也難怪這些人不肯向袁真效忠。
謝安深知，想借北伐建功立業的人不少，但是像自己一樣扯桓溫后腿的人更多。而且他的侄子謝玄現在就在桓溫的軍中，從他那里得到的消息，桓溫現在剛愎自用，不大聽得進去別人的意見。就連桓溫的“入幕之賓”郗超的意見，也常常不被采納，也不知道桓溫是不是顧忌自己剛奪了郗家的兵權，害怕郗超給自己出餿主意。北伐軍里問題重重，很難想象這樣的軍隊能有所建樹。