东路谢玄率领的北府军从五月初开始北上进攻。左路前锋桓石虔攻克项城之后，因桓冲之死而停止进攻，回荆州奔丧。但右路北府军的进攻却没有停止。
五月中，刘牢之率三万前锋军望西北方向进攻，攻入彭城西北梁郡，高平郡，陈留郡。两个月的时间，连克三郡之地，迫近洛阳以东的河南郡。
谢玄率中军五万北进，下任城，克鲁郡，东平郡。
至七月中，北府军不但收复了淮北数个州郡，并且已经将矛头同时指向了洛阳和关东之地，挺进黄河南岸。在两个月的时间里，将大晋的疆域以极快的速度往北推进了上千里。
原本，谢玄是做好了艰难作战的准备的。毕竟北府军之前损失巨大，在补充了新兵之后，整体的作战能力不足，训练程度不够。这一点谢玄是心知肚明的，所以他心中一直保持着谨慎。
但是，北伐发起之后，北府军大军所致，几乎没有遭遇到敌人像样的抵抗。所到之处，敌军少量敌军闻风而逃，城池官员纷纷投诚。这和想象的艰苦作战完全不同，几乎是兵不血刃便占领了地方，小规模的战斗根本无法迟滞大军的兵锋所指。
谢玄突然明白了，为何李徽能够以四万东府军的兵力迅速占领北徐州和青州四郡之地。原来不是李徽有多强，东府军有多么勇猛，而是因为，敌人太拉胯。
整个中原乃至关东以南之地，遭遇的敌人兵马加在一起不足万余。谢玄认为，秦国之前大征兵马南侵，已经令北方人力枯竭，所以导致了这样的结果。敌人没有兵力，所以北府军才能如赴宴一般，从这座城赶到那座城，只要兵马踏足，那片地方便归于己方所有。
这一切，让之前李徽的警告之言仿佛是个笑话一般。甚至有一种故意误导的嫌疑。因为事实便是如此，北府军一路势如破竹，如入无人之境，这便是证明。
在胜利的鼓舞之下，谢玄的心态起了变化。他的警惕之心逐渐放松，取而代之的是心中涌起的雄心勃勃的计划。
之前，即便没有李徽的告诫，叔父谢安在出征之前也向谢玄交代，北伐要适可而止，不可操之过急。谢安和李徽的论调是一样的，一则此刻大晋的兵力不足完全一统北方。二则，为避免司马道子等人的猜忌，北伐之事当适可而止，免遭猜忌。
对谢玄而言，所虑者无非是力量不足，敌军强大。至于后者，谢玄反倒认为，对司马道子王国宝以及新进得势的司马曜的妻兄王恭等人而言，一个强大到他们不敢染指的谢氏才是保证。自己只有率领北府军打出威风打出风采，让所有人都明白，北府军是不可战胜的。才能阻止司马道子王国宝等人对谢氏的心思。也能彻底的让司马曜明白，谢氏有能力做到一些事情，但是谢氏不会做，除非他逼着谢氏去做。
鉴于眼前的情形，谢玄调整了策略。本来攻至黄河以南便已经是极限，但现在，谢玄所想的却不仅仅是眼下的收获了。
七月下旬，谢玄下令刘牢之进攻河南郡，并伺机夺取洛阳。一旦攻克洛阳，便打开了进入关中的大门。当然，谢玄知道，此刻还不是进攻关中的时候，那是下一步计划。在进攻关中之前，要首先解决关东之敌，将盘踞在邺城和北方的慕容垂的兵马消灭殆尽，彻底的占领关东。之后，再集中力量从洛阳往西进攻。
为了实现这个雄心勃勃的计划，谢玄开始了细心的准备。鉴于多年以前桓温进攻关东，在坊头遭遇的粮草物资不济的危机，以至于大败而归的前车之鉴。谢玄一面下令于秋季的枯水期到来之前广运物资粮草做好准备，并且就地开始征发百姓疏浚河道，防止后勤保障不力。
不得不说，谢玄在作战这件事上还是颇为谨慎的，虽然计划宏大，但他并没有激进的立刻进行，而是为此做出各方面的提前的准备。不光是在军事上准备，在物资粮草，甚至还准备了柴薪棉衣帐篷等物资于彭城备用，便是做好了冬天进攻的准备。
八月中，刘牢之攻克河南郡，兵临洛阳城下。一路高歌猛进，本以为所向披靡的北府军在洛阳遭遇了北伐以来的第一次挫败。
洛阳本是平原公苻晖在此驻守，但几个月前，慕容冲的兵马进逼长安，所以苻坚急令周围兵马入关勤王，苻晖率领三万洛阳守军便是在那时离开洛阳的。
但洛阳自然不可能弃守，苻坚命身在晋阳的苻丕派部分兵马接替苻晖守洛阳。毕竟慕容垂说了，他不入关中，洛阳以西之地寸土不取，那么洛阳只需少量兵马驻守便可。即便是入关的战略要冲之地，眼下兵马捉襟见肘，也只能如此了。
苻丕身在晋阳，有太行山阻隔，目前甚为安全。所以他是不可能来洛阳亲自守城的。手下大将张蚝也是不可能让他来洛阳的，慕容垂虎视眈眈，万一交战，还需要依靠张蚝领军作战。思来想去，最终苻丕决定让幽州刺史王永率领五千兵马前往洛阳驻守。
王永倒是痛快的答应了下来，他本和苻冲守卫壶关，但慕容垂显然没有进攻壶关之意，而苻丕也没有反攻慕容垂的想法，故而王永觉得留在壶关也无大用，不如来洛阳守城，同时招募兵马，以防不测。
他是不信任慕容垂的，慕容垂说不入关中的话，王永半点也不信。王永认为，那不过是慕容垂的缓兵之计。他不是不想要关中之地，而是目前而言他无力取关中，所以索性做个人情，显得他如何的仁义，以减轻他人对他忘恩负义背叛大秦的指责罢了。
就像他的父亲王猛一样，王永从不认为慕容垂这等亡国贵族会甘心臣服于大秦。当年父亲王猛竭力劝说苻坚将这些亡国贵族斩草除根，可惜陛下不听，以至于有今日之祸。和父亲一样，王永也根本不相信慕容垂说的话。
三个月前，王永率领五千兵马来到洛阳，接手洛阳防务。这三个月他可没闲着，除了挑选青壮入军之外，还修缮城墙，完善防备，做了不少的事情。眼下洛阳城中守军近一万六千人，数量着实不少。且夏粮收割之时，王永亲自带人四处抢收粮食，甚至从其他郡县抢夺粮草，囤积了大量粮草物资。
和他父亲王猛一样，王永也颇有治理之才，短短三个月，将人心惶惶的洛阳城中的百姓安抚下来。现如今，洛阳城数万军民情绪稳定，生活平稳，这在乱成一团的中原之地倒是颇为难得。
但刘牢之率军一路攻来之时，王永早就得到了消息，知道迟早他们会攻到河南郡，攻到洛阳城。一方面，他积极的派人收拢被北府军击败的残兵败将，逃尽管他们当中许多是从贼之兵，是慕容垂的兵马。此时，人力是最为宝贵的资源，特别是能打仗的兵马，所以王永搜罗并收留了他们。光是残兵，便收拢了三千多人。
在刘牢之的兵马攻入河南郡之后，王永没有派兵去抵抗，而是将所有百姓都提前收拢进城，将所有可用物资全部搜罗进城，采取了坚壁清野的策略。所以当刘牢之的兵马进入河南郡之后，看到的是到处一片荒山野地，村舍之中空无一人，水井被泥土填埋，但凡能住人的房子一律推倒，山野之中别说粮食了，半生不熟尚未到收获季节的瓜果蔬菜全部空空如也，什么都没给晋军留下。
不过，这对刘牢之的北府军而言倒也没有造成太大的困扰，他们本就有充足粮草物资供应，并不靠以战养战的物资补充。
不过在扎营扎寨，就地取材打造攻城云梯等器械上确实遇到了麻烦。洛阳周边的林木稍微粗一些的早已被王永命人砍伐殆尽，扎营的木头都找不到，只能用杂树细枝对付。扎下的营盘简陋粗糙，薄弱之极。
攻城云梯军中自然携带了一些，但许多时候，这种简易的攻城器械都为临时打造。此刻却也只能勉强打造一些七歪八扭的杂树梯子，长度也无法保证，使用起来更是别提多别扭了。
但无论如何，一路势如破竹攻至洛阳的刘牢之的军队自然不会因为这些困难而停止进攻。八月十一清晨，面对洛阳城头寥寥的守军，刘牢之发动了攻城作战。
刘牢之以为，这洛阳城虽然大些，但守军数量定然不多。毕竟经过好几天的观察，城头上的守军数量不过数千人。算是冗余和轮班歇息，人数也不会超过六千人。以三万精锐之兵，配合大量攻城器械攻城，或许会遭遇一些困难，但最终必会拿下。
然而，刘牢之没想到的是，他的估算完全错误。北府军前锋军在洛阳城下的进攻遭受了北伐以来的重挫。
