有了晉陵郡派出的工匠和役夫，南山書院的建設進度加快了不少，除了規劃的教工和學生的宿舍，還修建了一些客舍供客人臨時居住。書院也修建了不少景觀，什么亭臺、人工湖以及各種花園，秋天不適合種植花草，那些園子卻都已經預留好了。
晉陵郡治下八個縣，出動不少民夫輪流到南山書院來做工，劉衡借此機會，為這些民夫提供飯食的同時，還向他們宣傳劉氏醫館可以以工錢抵醫藥費，不少民夫當場便加入了劉氏醫館的“會員”。十月底，南山書院落成，京口至建康的大道晉陵郡境內的路段也已經竣工，晉陵太守王澹上書朝廷，希望丹陽郡小晉陵郡故事，出役夫修繕京口到建康的大道。
“這個王澹，真不是個東西，太好出風頭了。人家丹陽郡修不修路，關你晉陵郡什么關系？還他媽的‘效晉陵郡故事’，還想要讓老子出錢給你們修路不成？”劉牢之聽到這個消息，氣憤地想著。朝廷只出役夫，材料卻需要劉家準備，這種修路的方式只怕丹陽郡也不會拒絕。劉牢之有種搬起石頭砸自己腳的感覺。
八月中，一代書圣王羲之與世長辭；八月底，散騎常侍謝萬因病去世。朝廷本來是要起復謝萬為散騎常侍的，謝萬病故無法履職，朝廷便把“散騎常侍”作為贈官給了謝萬。謝萬去世的消息傳到荊州，與桓溫政治立場不同的謝安乘機投書請求奔喪，離開了桓溫。
十月，桓溫北伐之時，命安北將軍范汪率北府文武前出梁國，因沒有按計劃出兵，愈時未到，桓溫上表廢范汪為庶人。“欲先取之，必先與之”，這是桓溫對付政敵的手段，對付名士殷浩、謝萬以及范汪，皆是如此。
范汪曾歷任護軍將軍溫嶠參事、征西將軍庾亮參軍、郗鑒司空掾，曾參與征討蘇峻、郭默，是個允文允武的人物，并非沙場小白。那么他跟桓溫有何恩怨呢？
其實桓溫跟范汪頗有淵源。永和元年（公元345年），桓溫取代庾翼為荊州刺史，便以范汪為長史。永和三年，桓溫出兵平蜀時，把荊州托付給范汪，平蜀后，范汪進爵武興縣侯，這個時候，桓溫對范汪是很賞識的。但是范汪對桓溫日益暴露的不臣之心深為不滿，故意疏遠他。桓溫請他出任長史、江州刺史，范汪都沒去，自請還京，求為東陽太守。范汪這種親皇室而疏遠桓溫的行為，引起桓溫的記恨，何況北府兵強，桓溫深知，不愿北府兵權操于他人之手，于是便找了個“失期”的借口把范汪廢掉。
十一月，被免職的范汪從江北回到京口，劉牢之不避嫌疑，送上重禮前去拜訪。范汪三子一女，長子范康已經出仕，次子范寧跟在身邊。以范汪的身份，即便去職失爵，也不是劉牢之可以輕易結交的，因此出面接待的還是范寧。
從年初就任徐兗二州刺史，安北將軍到現在被免職，不過才九個月的功夫，安北將軍府門前已經從車水馬龍到門可羅雀了。范寧雖然豁達，也甚是感慨，這劉牢之在范汪得勢的時候，也不曾上門請托，送的禮物不過尋常而已，現在范家失勢了，多少親朋敬而遠之，劉牢之不過是一介將家子，卻能夠不避嫌疑，親自上門重禮相贈，實乃雪中送炭之舉。
劉牢之自然不是燒冷灶，因為他知道，范汪這灶徹底冷了，除非他向桓溫低頭。
會客廳里，行禮畢，劉牢之向范寧問起了范汪：“小子聽說老大人被人構陷去職，甚感不平，特來問候，老大人還好吧？”
“構陷？”這個用詞說起來雖然解氣，卻容易惹來禍端。桓溫現在權勢滔天，已經容不得別人說個不字。范寧不想在劉牢之面前失禮，笑道：“阿全，此事朝廷已有公論，不要徒逞口舌之快，為自己惹來禍端。勞阿全動問，家父一切安好！”
交情不到，劉牢之也覺得自己的關心很假。于是他直言自己的來意：“公道自在人心。縱然一時無人敢言，終究堵不住世人悠悠之口。不過小子今日冒昧前來，乃是有事相求。”
范寧苦笑道：“現在范家的處境，只怕幫不上什么忙。”
劉牢之正色道：“一時困厄而已，不必如此消沉。范公當代名士，一身所學淵博至極，更且范公允文允武，實乃當世奇才。當世風氣，儒門正宗不為時人所重，玄門清談者卻充斥朝堂，小子雖然見識淺薄，也深感痛惜。范公何不學至圣先師，廣授門徒，不枉自己一生所學！小子在南山興建書院，今日前來，是想延請范公出任南山書院山長。范公但有高見，也可刊印書籍，流傳天下；縱然此身在野，高聲一呼，聲音也可傳于朝廷！”
范寧終于動容。
南陽范氏入學世家，范汪父子一生崇儒。范寧對何晏、王弼等的玄學，更是深惡痛絕，他曾說：“時以浮虛相扇，儒雅日替。寧以為其源始于王弼、何晏。二人之罪，深于桀紂。”劉牢之之所以敢登門相請，就是知道范氏父子的這個立場。
范寧想不到，這個王澹口中錙銖必較有商賈習氣的將家子，竟然能說出這么一番話來。他正色道：“阿全能如此想，便是有大志的人，此事我必向父親進言，就只怕父親心灰意冷，一時不能振作起來！”
劉牢之從懷里拿出一個紙封，雙手交給范寧：“郎君肯進言，成不成的，小子都不勝感激。若范公肯出山，小子一定給足所有的禮遇。這是小子曾偶然得過的一篇文章，頗有些境界，今贈與范公，請范公定奪。”說罷告辭離去了。
劉牢之一走，范寧便拿著紙封來找范汪。
“劉家小子今天來做什么？”范汪面色憔悴，看起來渾身疲憊的樣子。他已經是五十多歲的人了，正是人生最得意的時候，突然遭到如此打擊，實在是有些接受不了。
范寧組織了下語言，笑道：“劉君今日來，乃是來探望父親，言語之間，殷切盼望父親莫要意志消沉。現在朝政握在桓南郡一人之手，會稽王獨木難支，還指望父親能匡扶社稷呢！”
“嘿”范汪嘆了口氣，“他是為會稽王來的？范某如今不過是一介草民，拿什么匡扶社稷！”
范寧道：“這小子異想天開，卻是想要請父親做他劉家南山書院的院長！”
“哦？”范汪非常意外，順口說了一句，“胡鬧！”他倒是聽王澹說過，劉牢之用出錢修官道的代價，換取晉陵郡出役夫為劉家修建南山書院，只不過他范汪士林名士，為一家私人書院講學，未免有失身份。
范寧拿出劉牢之給的紙封，遞給范汪：“這是他請兒子轉交給父親的！”
范汪隨意的拆開，掃了一眼，竟然是一片頗為精妙的文章，他忍不住雙手捧起，仔細的看了起來。范寧見父親如此作態，心中頗為好奇，卻又不敢探頭去看，只見到父親不斷地點頭，到最后，竟然大聲喝起彩來：“好，好，好！大丈夫當如是也！”說罷把那篇文章放在桌上，大踏步出去了，這點時間因被貶帶來的消沉之氣，竟然橫掃無余。
范寧拿起那篇文章，仔細的看了起來。
“…予嘗求古仁人之心，或異二者之為。何哉？不以物喜，不以己悲；居廟堂之高則憂其民，處江湖之遠則憂其君；是進亦憂，退亦憂。然則何時而樂耶？其必曰‘先天下之憂而憂，后天下之樂而樂’乎。”
范寧喃喃地說道：“怪不得，怪不得。士大夫正該有如此胸懷！父親此次被難，便有些意志消沉，著實不該呢！”
在劉牢之焦急的等待中，冬月底，范汪終于給出了答復，愿意在南山書院授學。
劉牢之大喜過望，親自趕著四輪馬車，將范汪父子送到了南山的別院。這處別院位于南山的山腰，環境優美，規模宏大，引泉水流居期間，招云彩散布其上，當得起門口的大招牌：“城市山林”。
劉牢之給了范汪最高的禮遇，出入配備四輪馬車，束修依照朝廷方鎮的俸祿標準；作為書院的山長，南山書院運作的事情一言而決，劉牢之絕不干涉。書院配備了雕版作坊，制作好的雕版隨時可以交付給一品匯書坊印刷成冊。
此時朝廷暗弱，朝政握于桓溫之手，仕進無望的范汪正好可以在書院觀望時局。他廣發請帖，廣邀好友幕僚同來書院，開壇講學。一時之間，南山書院聲名鵲起，吳郡、晉陵、廣陵等地的讀書人紛紛踏上求學之路。
在南山書院讀書，免費住宿，也不需要交學費，只需要支付自己生活的費用。實在沒有錢，南山書院也可以提供勤工儉學的方式幫學子們解決：抄書、刻板以及到劉氏族學代課。