之后他投身北府兵，在刘牢之麾下做事。刘牢之在攻打孙恩时，特意举荐了刘裕带领几十个人去探查敌营。结果刘裕一伙人在途中不幸碰上了数千名敌军主力，几乎全员战死。刘裕的直属长官奇怪于众人为什么这么久还不归来，赶忙率兵接应，抵达时才发现现场已血流成河，遍地都是自己士兵的尸体。正当他以为刘裕也凶多吉少时，突然看到了令他永生难忘的一幕：孤身一人的刘裕，举刀大声呼喊，竟然一人追在上千敌人后面乱砍，而敌人竟然也只有逃跑的份，无一人敢回头还击。
此后，众人都对刘裕的作战能力惊叹不已——而刘裕这种天不怕、地不怕的刚猛作风，也始终贯穿于他的军旅生涯，使他之后百战百胜，差点创立一统天下的惊世之功，成为中国历史上唯二能够北伐成功之人，另一个是明朝开国皇帝朱元璋。
刘牢之眼见刘裕战力如此强悍，便派遣他继续进攻叛军，每次都能成功斩杀数千人。
当初孙恩刚起兵攻陷会稽时，得意地对手下说：“天下自此不会再有战争，我会和各位一同穿上朝服，进入建康称王称霸。”等到听说刘牢之已经带领北府兵前来，赶忙改口：“就算浙江以东被晋国攻陷，我也可以做个和越王勾践一样的皇帝。”之后刘牢之都带兵功到眼前了，孙恩才感到害怕，只剩嘴硬地说道：“我认为暂时撤退也不是一件羞耻之事。”说罢便向东逃往海岛。
刘牢之抵达后，为了犒赏一直跟随自己的将士，放纵他们抢掠百姓，因而大失人望。
身处河西（甘肃、青海）的鲜卑人秃发乌孤也自称大单于，建立了五胡十六国中的“南凉”，后凉的吕光派兵讨伐，双方战于当年马谡兵败的街亭（甘肃），后凉的军队被打得大败。
之后吕光又派遣弟弟讨伐西秦的乞伏乾归——乞伏国仁的继承人。乞伏乾归对众人说道：“战争的胜败在于用兵的巧妙而不在于人数多寡，后凉的军队虽然人多但缺乏纪律，吕光的弟弟也的确骁勇却没有谋略，只要打败他，吕光就不敢再来进犯。”于是派人欺骗吕光的弟弟：“乞伏乾归的军队已经溃散，他自己也向西逃窜。”吕光弟弟的手下劝他道：“乞伏乾归智勇过人，又怎会只听到我们进攻的风声就溃逃呢，这必然是他的诡计。”吕光的弟弟不听，结果闯入了乞伏乾归设置好的包围圈最终被杀。
当初，胡人沮渠罗仇归附了吕光。等到吕光弟弟战败，沮渠罗仇的弟弟对他说：“如今的主上已经年老昏聩，十分容易轻信小人谗言，再加上刚刚兵败，我们兄弟二人一定不会被他所容，与其死后寂寂无名，还不如振臂一呼夺取凉州之地来得容易。”沮渠罗仇素来将忠孝看得很重，没有同意，后来吕光果然听信谗言将他杀害。沮渠罗仇的侄子沮渠蒙逊是一个英明伟略之人，曾略读史书，趁着沮渠罗仇的葬礼邀请了一万多族人，哭着对他们说：“吕王昏庸不讲道理，杀死众多无辜，我们沮渠氏世代在河西都能占据一席之地，现在我要率领各位洗刷先辈的耻辱，恢复祖辈的事业，大家认为如何？”于是得到一众支持，攻占了附近的城池作为据点。吕光派遣刚刚助他平定叛乱的儿子吕篡前去进攻，将沮渠蒙逊打回了山里。
后来沮渠蒙逊投降了太守段业，协助他于甘肃省武威市建立了五胡十六国中的“北凉”，然后又发动政变杀死他篡夺了政权。
陇西人（甘肃）李暠喜爱文学，在外的名声又好，被众人一致推举为敦煌太守，结果遭到段业猜忌而派遣将领前去接替。之后，李暠偷袭杀死了那位将领自立为王，建立了五胡十六国中的“西凉”。
这个李暠大家可能并不熟悉，但他的子孙却是家喻户晓——唐高祖李渊。
于是，甘肃和青海这两个本来只有几个郡县的地区被分割成了数个小国，相互之间战乱不断，其中以吕氏的“后凉”，乞伏鲜卑的“西秦”，沮渠胡人的“北凉”以及秃发鲜卑的“南凉”最为强大。
结果没过多久吕光病重，将太子吕绍立为继承人，他知道吕绍没有足够的才能，所以嘱咐他道：“现在国家正是多灾多难，群狼环伺之时，乞伏、沮渠和秃发三个邻国无时无刻都想入侵我们。我死之后，你要让哥哥吕篡掌管军事和朝政的重任，切勿因相互猜忌而导致内乱。”
结果吕光死后，吕篡竟没有丝毫悲伤之情，参加葬礼时态度十分傲慢。手下劝吕绍除掉他，然而吕绍一向是个软弱听话的孩子，将父亲吕光的遗言牢牢铭记心中，始终不肯同意。然而吕篡可不是善男信女，很快就连夜发动政变闯入了皇宫，逼迫吕绍自杀后篡位。
魏军中发生大瘟疫，人和牲畜死伤超过半数，将士们也都想早日离去，但拓跋珪却说：“这是天意，如今四方百姓都可成为国之栋梁，就看我如何役使，又何必担心他们死光后无人可用？”——虽然无情，但却有理。
之后魏军进攻后燕的都城中山（河北），慕容麟率军阻击，正当拓跋珪也打算出兵时，手下文官说道：“今天不是吉日，正是商纣王灭亡的日子。”拓跋珪反驳道：“纣王是在今天灭亡的，然而周武王不也是在今天兴起的吗？”说罢率兵出击，大败慕容麟，打得他只剩下几十残兵，不得不带着妻女逃回邺城。拓跋珪顺利进入中山，得到府库珍宝
