提起北府軍，大概都會想到謝安、謝玄。但這支戰鬥力強大的北府軍，第一次組建卻與謝氏無關。
公元322年，隨著八王之亂的擴大化，西晉被蜂湧而入的五胡滅亡，胡人軍隊在北方大肆屠戮，大量漢人跟著晉室南遷。山東一帶的大族郗鑑率領族人和私人武裝南逃，在逃亡的過程中不斷招募青州、徐州一帶的流民入伍，他的私人武裝漸漸擴大，變為一支具有相當實力的軍隊。郗鑑的初衷和大多數悲慘的漢人一樣，只不過是為了躲避戰亂，但是他沒有想到，自己無意中創建的一支私人武裝，最後竟然演化為左右東晉政局的舉足輕重的力量。
而這支軍隊，就是日後赫赫有名的北府軍。
一、 王敦叛亂
東晉南渡後，開國之君晉元帝並沒有自己的軍隊，全靠琅琊王敦、王導兄弟的武裝幫助其立國。因此後來東晉的形勢，在政治上表現為大族共治，“王與馬，共天下”是其典型形態。田餘慶先生將之總結概括為門閥政治，因其概括到位闡發精微，遂被治史者奉為圭臬。晉元帝司馬睿的政治班底是其受封琅琊王時的勢力，渡江後得到琅琊王氏的大力支持，王氏之後，潁川庾氏、譙國桓氏、陳郡謝氏等士族相繼控制東晉政局，在皇室與大族對抗妥協的鬥爭中，各士族之間還存在千絲萬縷的聯繫和鬥爭。同時，以顧、陸、朱、張為代表的江南土著士族被北來的皇室和大族壓制，兩者之間也存在不同程度的對抗。這些政治矛盾一直在不斷醞釀積累，有時爆發為士族內部的戰爭，有時轉化為對外戰爭。
就在北府軍剛剛具備雛形時，東晉內部便爆發了內亂——王敦叛亂。晉元帝剛立國時，王敦、王導兄弟一內一外夾輔朝政，王敦控制了荊州（今湖南湖北）、揚州，王導則在朝中主政。王敦為人囂張，晉元帝不甘為其所制，遂在建康外圍徵發和部署軍隊，命令親信周顗、戴若思分別掌握兩支部隊。王敦對這種赤裸裸的挑戰行為不能容忍，公元322年，遂自荊州舉兵東下，攻陷都城建康，晉元帝無可奈何，當年年底憂憤而死。王敦雖然在軍事上完全壓制了皇室和其他士族，可以憑藉槍桿子篡晉自立。但是當時南渡士族為維護自身利益，都不希望王氏一家獨大。王導也明白王氏還沒有具備禪代的條件，他便在叛軍進攻建康時，親率王氏一族子弟在皇宮外請罪。王敦看到這樣的局面，深恐陷於眾叛親離的境地，只得返回荊州，繼續遙控朝局。這是王敦第一次叛亂。
郗鑑
此時郗鑑已將其部曲遷移至合肥，並在實質上獲得東晉政府的承認，因而專心在合肥編練軍隊。得益於東晉初年軍隊和行政體制的崩壞，郗鑑實際上成為合肥的軍政一把手，統管當地的軍事、人事、財政大權，這為北府軍擴充力量帶來極大便利。當時晉軍力量體系主要分為中軍、外軍、州郡兵和私兵部曲。中軍的職責主要是保衛皇帝和中央，其駐紮地在皇城內部和京城外圍，其主管將軍是中軍將軍。外軍的主要職責是彈壓地方，對外征戰，主要接受都督的管轄，都督制始於曹魏，西晉沿襲這一制度，晉武帝出於防範外軍都督擁兵作亂的考慮，曾一度將屬於軍隊系統的都督和屬於行政系統的刺史分開，實行都督管軍，刺史管行政。這一制度，同時也與州郡兵的罷廢有關。西晉建立後，國內沒有大的戰事，中央統治力威懾力很強，晉武帝決定罷州郡兵，但實際上州郡武裝力量仍不同程度存在。所以有爭論說，晉武帝罷州郡兵實質是剝奪刺史管軍制度，因而出現了短暫的都督與刺史分治軍政的局面。但到了晉惠帝時期，隨著宗室諸王對各王國控制的加強，諸侯王與中央分庭抗禮，都督的權力逐漸加大，很多地方出現都督兼管軍政的局面。這種趨勢，推動西晉走向內亂，同時也規範形成了貫徹東晉歷史一百多年的軍事體制。
北府軍系由士族建立的地方軍隊，屬於郡國兵。在東晉時代，作為中央政權基本實力的皇帝宿衛軍和京師主力部隊早已衰弱不堪，取而代之的是由各大州士族所掌握的外軍，在實力配置上也變為外軍強而中軍弱。所以當王敦叛亂時，缺少中央宿衛軍的晉元帝絲毫沒有抵抗能力。
二、忠心護主的郗鑑
郗鑑此人對晉室懷有忠義之心，他對王敦叛亂之舉痛心疾首，但苦於自身實力太弱，沒辦法南下幫助建康討平叛亂，於是加強北府軍的建設，開始更大規模的招募北來流民。晉代的兵役制度，起初繼承三國的世兵制，即從軍者世代為兵，父死子繼，兄亡弟補。到了後來，世兵軍戶地位逐漸卑微化，很多世兵實際上成為貴族和大將的奴僕，世兵戶逃亡現象愈演愈烈，兵員難以補充，這種徵兵制度難以為繼。晉軍於是不得不用徵兵制來補充，徵兵制是一種面向全體成年男丁的徵兵制度，但是這種制度能否施行取決於國家的控制力，東晉時戶口隱匿和人民流亡現象嚴重，在藉的民丁數量很少，而且在征戰頻繁的條件下，臨時徵集的民丁訓練時間少，作戰能力很弱，所以世兵制度此時也不是主流。諸般形勢演化，使得募兵制成為北府軍徵兵的主要方式。募兵制即面向廣大成年民丁，設置較高的入伍條件，募集想從軍而體質又較強的兵員。郗鑑最初在山東組建本家部曲，包括其後在合肥招募流民為兵，其主要來源是從山東、河北、河南、兩淮逃亡而來的漢人流民，郗鑑開出較高的應募條件，同時又保證這些流民的生命安全，為他們提供可以生活的環境，軍隊規模越來越大。正當北府軍實力逐步壯大時，東晉再次爆發了內戰——第二次王敦叛亂。
晉元帝死後，其子司馬紹即位，是為晉明帝。晉明帝對父親為王敦氣死耿耿於懷，圖謀消滅王敦。他懲於晉元帝手中無兵因而失敗的教訓，希望引入一支強軍來對抗王敦。於是便想借助郗鑑的軍事力量，他任命郗鑑為兗州刺史，都督揚州江西諸軍事，鎮合肥。
王敦對晉明帝的意圖洞若觀火，再次舉兵東下進攻建康，順便還上書中央，迫使朝廷召郗鑑到建康任職，從而使北府軍將帥分離，阻止其渡江參戰。郗鑑自己的部曲都遠在合肥，無法引軍入援，但他知道流民部隊戰鬥力較其他部隊為強，於是建議召蘇峻、劉遐等流民帥帶兵入援。
此時形勢依然嚴峻，無論是北府軍，還是蘇峻等人的流民軍，都沒有實戰經驗，不知能否擋住王敦大軍。不料天賜其便，已是風燭殘年的王敦不久病死，王導身在建康，不敢回荊州領軍，荊州軍群龍無首，蘇峻、劉遐趁勢發起進攻，取得了一系列勝利，王敦經營多年的荊州勢力遭到毀滅性打擊，第二次王敦叛亂以中央勝利告終。
這場戰爭打完，晉明帝深感手中無兵的痛苦，於是任命郗鑑都督徐兗青三州軍事、兗州刺史、假節，鎮廣陵。郗鑑在合肥的部曲遂得以遷至京口。晉明帝的意圖再明顯不過，以北府軍為皇室外援，防範再次發生王敦式的叛亂。然而晉明帝對流民部隊的猜忌並不因郗鑑的忠誠而稍有減少，郗鑑的北府軍畢竟不能直接過江而入建康。這也是晉元帝父子對流民軍的一貫態度，以祖逖之忠，憑收復河南之功，尚且不見容於晉元帝，何況他人。事實上這種態度也不無道理，晉室沒有強大的中軍，這使得皇帝不可能對任何一支外軍放心。而這種擔心，在北府軍剛剛到達京口後，就變成了事實。
三、流民帥再次叛亂
流民帥蘇峻發動叛亂。
在平定王敦之亂後，蘇峻因功被任命為歷陽（今安徽和縣）內史，即歷陽郡守。王敦死後，王氏領軍人物王導雖然沒有被殺，但地位大不如前。政治新星潁川庾亮以帝舅身份執政（庾亮妹妹系晉明帝之妃，晉成帝之母），庾亮對這支與建康近在咫尺的流民軍很不放心，想削去蘇峻的兵權，蘇峻立刻聯合祖約（祖逖之弟）起兵反叛。庾亮發各州兵勤王平叛，但出於防範其他流民軍借平叛再度控制中央的考慮，他嚴令北府軍不得渡江參戰。郗鑑隔岸觀火，眼見蘇峻、祖約攻陷建康而不敢南下入援。後來庾亮聯合溫嶠、陶侃合力打敗蘇峻，庾亮引咎自責，不再居朝執政，請求出鎮豫州，王導又執掌了中央權柄。
郗鑑和北府軍沒有參與戰爭，反而趁機進一步加強自身建設，通過不斷訓練逐步提高戰鬥力。軍隊訓練內容，除演習列隊陣法外，還要進行實戰演習，其歷時從七八天到十天不等。同時，因為地近建康，北府軍的後勤軍械供應也較在合肥時期有了進一步改善。北府軍所需的物資主要有兩大類，一是兵器和車船等裝備，二是糧秣。中央力量較強時，這些物資本應由中央政府統一供應，然而東晉時代迥異於前代，中央政府力量衰弱已極，所控制範圍不出三吳，因此製造兵器、裝備的“作部”，主要由各州當政的士族控制，軍器製造完畢後，除極少部分上交中央外，大多數存入地方州郡的武庫，一旦戰爭爆發便自行取用。糧秣供應也是如此，北府軍所需糧食、被服多為青州、徐州、兗州（上皆為東晉僑置州）本地所產，當然京口地近京師，中央政府有時也供應一部分。但大多數情況下，東晉政府是無力顧及外軍的。例如南渡之初，袓逖請求北伐，晉元帝心有餘而力不足，雖然口頭同意祖逖北伐，但一不給兵，二不給糧，祖逖慨然應允，自籌錢糧，自募兵士，居然也組建起一支數萬人的北伐軍，打下了黃河以南的廣大土地。北府軍此時的情形，與祖逖是別無二致的。
縱觀從王敦到蘇峻的三次叛亂，郗鑑及北府軍實質上是置身事外的。東晉立國之初，各大士族分別握有強兵，互相征戰，都是朝不保夕。而這三次叛亂，客觀上將東晉各派兵力進一步削平，各派互相制衡的態勢越發明顯。北府軍在這一過程中卻沒有受到絲毫削弱，反而在郗鑑的苦心經營下，從一支名不見經傳的小部隊，慢慢成長壯大為能夠左右政局的重要力量。
事實也證明了這一點。庾亮出鎮豫州，對居中執政的王導很是不滿，欲謀舉兵入京廢掉王導。荊州刺史陶侃，平定蘇峻之亂後實力膨脹，也想東下入京廢王導。但二者的軍事實力已遠不如當年的王敦，而北府軍多年養精蓄銳，已不能再視若無睹了。陶侃、庾亮在決策之前均向郗鑑諮詢廢王導之事，一則試圖與之聯合，二則探明北府軍的政治態度。郗鑑出於維護大族共治的局面，堅決反對再度舉兵反抗中央。陶、庾忌憚北府軍的實力，雖蠢蠢欲動而終於不敢舉兵。北府軍不發一兵而屈人之兵，足見其潛力之深、影響之大。
四、軍權旁落
公元339年，北府軍的開山人物郗鑑在病逝，軍權由其子郗愔接掌。此後遂成為慣例，掌握京口兵權的不是郗氏子弟就是故將。東晉中央為了保持局面的穩定，對徐兗青三州特別是京口的人事並不多做干預，而是刻意保持郗氏勢力在京口的存在，以使中央始終能夠借重這支忠於中央的軍隊威懾各士族。
但這一形勢隨著桓溫的崛起，發生了急劇的變化。
變化的源頭是士族力量的消長。庾亮兄弟去世後，其勢力也漸漸衰落，曾是庾氏門下將領的譙國桓溫勢力逐漸壯大。桓溫擔任荊州刺史，全盤繼承了庾氏在荊州的力量，但因為其宗族子弟沒有人在朝中任顯職，雖然實力強勁，卻沒有達到王敦當年軍政皆專的局面。桓溫為提升其威望，先後兩次率荊州之眾北伐，第一次在354年，北伐前秦，桓溫率晉軍一度打破長安城，因為糧運不繼和諸路協同出現問題而退兵；第二次在356年，桓溫北伐姚襄（割據河南山西一帶的羌族勢力），併成功收復舊都洛陽。其聲望漸漸超越諸士族，與中央的矛盾也越發顯現，但桓溫忌憚北府軍這一存在，不敢貿然舉兵威脅建康。
桓溫北伐
北府軍雖未參與東晉歷次內戰，但徐州流民歷來驍勇好鬥，其所組成的流民部隊戰鬥力非常強悍，桓溫就曾說：“京口酒可飲，兵可用。”因而解決京口的異己力量，掃清控制中央的絆腳石，成了桓溫念茲在茲的心結。
公元369年，桓溫發動第三次北伐。這次北伐的真正重心其實仍在於解決桓溫和中央的矛盾，一方面，桓溫企圖再次通過北伐提高威望，為篡奪帝位積累資本，另一方面，借這次機會徹底解決北府兵的問題。大軍出發前，桓溫邀請徐州都督郗愔一同襄贊北伐事宜。此前，庾氏忌憚北府勢力時，也曾要求北府兵向北移駐，以便更直接與北方作戰，但郗鑑始終不同意北移。桓溫的意圖與庾氏相同，然而郗愔政治野心不大，不欲與桓溫相爭，在桓溫的裹挾和兒子郗超的慫恿之下，讓出了京口的兵權，北府軍被分解編入桓溫軍中。京口的鎮守權也落入桓溫手中，至此，這一階段的北府兵終於告一段落。