洪秀全、杨秀清数次接到北伐军主帅林凤祥、李开芳报告北伐失利及请求火速增援的奏章，于是组织抽调队伍北上增援。
当时，西征军在江西失利，清军已解太平军南昌之围。西征军移师进攻湖北，首都天京受到向荣江南大营的包围。
第一批北伐援军的北上
太平天国已经没有多少兵力可援，只好撤出扬州的驻军约万人为基本队伍，加上天京部分驻军、安徽的一部分西征军约7000人组成了第一批北伐援军。
咸丰四年（1854年）2月4日，派原扬州守将夏官又副丞相曾立昌、曾随朱锡锟出发而六合败回之冬官又副丞相许宗扬、恩赏丞相陈仕保率兵北上。
北伐援军经安徽桐城、舒城，在皖北捻军的支持下，于2月17日攻下六安州（今安徽六安县）。2月21日至正阳关。2月24日攻下颍上县（属清颍州府）。3月1日攻下蒙城县，经亳州（今毫县）于3月6日攻占河南省永城县。3月7日，在夏邑县城外打败地主团练。3月8日克城，知县徐本立死亡。遂折向东行江苏省砀山县境（今改属安徽省）。3月10日，前锋至肖县（今改属安徽省）董家口。
这时期，沿途大量的捻党参加，又有遗勇数千附义，北伐援军力量扩大了，但是新参加援军的人军纪比较差，给援军带来不利的影响。
北伐援军自3月14日在丰北黄河漫口下游包家楼、蔡家庄一带，乘黄河断流，扑筏浮渡，至3月16日渡毕北上。
是时，清军袁甲三率军赶至徐州府（今徐州市）北辰集，知北伐援军已渡河，转回宿州（今安徽宿县）。这时，北伐军已退守阜城。
由于清在皖、鲁兵勇早已征调他去。北伐援军自皖北上以至渡黄河，未遇清方正规军阻挡。
北伐援军渡河的太平军后队二千余人待大军渡过河，仍经永城回皖，于3月25日抵颍州（今安徽阜阳县）之回溜集，安徽太平军备船在此迎接，趁船由颍河南下，过正阳关，经六安回庐州。
清廷闻北伐援军已渡河北上，令胜保带兵进驻山东德州。僧格林沁、胜保派绥远城将军善禄、副都统魁福等自阜城带兵三千多人于3月20日南下。
临清州城为漕运咽喉，帆樯络绎，货物荟聚，南城尤为繁庶。城垣坚固，衔庙壮丽。北伐援军千里转战，到临清后，分据城外东、西、南三角典肆，并于东南方筑木城十余座，一日而成。
4月1日起，北伐援军力袭西门，屡用云梯、吕公车等攻城，不克。4月2日，以地雷轰塌南门（即南复门），虽未破城，却把城里的布政使崇恩吓慌，急忙带兵从北门逃往夏津县。张亮基率勇二千余人于次日赶到，驻于城东。胜保率骑兵、步兵七千多人于三月初七日（4月4日）到达，驻州城西北。崇恩也从夏津回到临清城外。胜保、善禄军沿途大肆掠夺，人民积怨甚深。
太平天国北伐援军分军抵御胜保、善禄诸军，同时乘清军统帅互相矛盾、勾心斗角之机，倍加努力猛攻临清州城。4月12日深夜，北伐援军轰毁西门和西南城两处，胜保逢入城的川勇反正内应，北伐援军备勇登城，城内兵勇溃散。次日，太平军入城，部分守军巷战，全被北伐援军歼灭。知州张积功投井死。副将德庆、广顺、参将武殿魁被击毙。
但是，张积功在破城之际，竟将储备于火药局的粮食纵火焚烧，致使粮食、火药、军械均付之一炬。曾立昌仅获空城，援军并无所得，整补困难。此事与北伐援军的迅速遗败颇有干系。
临清州的溃散
北伐援军攻占临清州，在战略上是重大失策。
北伐援军的主要任务是救援被困于阜城的北伐军，它应该如在河南、山东的进军方式，避实击虚，直趋北上，不宜贪攻城池，耽误时间。援军之攻临清，其错误与北伐军之攻怀庆相同。北伐援军如置临清不顾，一意北上，清军在后者仅张亮基、善禄两军，只能尾随，还没有拦截的能力。临清至阜城直线仅二百多里，前方沿线未驻重兵，北伐援军全力集中力量赶至阜城，胜保军很可能南下阻截，在阜城的北伐军压力将会减轻，可以突围南下，同北伐援军会合，整师南退，保存实力。
北伐援军占临清不久，清方不断增兵，在临清州的北伐援军遇到严重困难。
4月18日太平军企图西趋，被胜保军截回。当日夜，北伐援军中新军数千人不听指挥，相率南行，军心更加涣散。曾立昌下令于22日夜，以神像伪装守兵，率部出城溃退，次日至李官庄。清军尾追，北伐援军伤亡溃散较多。从此，北伐援军走向了覆灭的道路。
北伐援军被迫南下，未能实现与北伐军会合的战略目标。临清的溃败是北伐援军从胜利走向失败的转折点。北伐援军的失败，又决定了北伐军覆没的命运。
北伐援军于4月25日再退清水集，沿途拒战。均失败。
4月27日深夜，北伐援军向冠县撤退，受到地主团练的截击，胜保又整军追至，前后受敌，新军先奔，军心动摇，于是大溃。曾立昌等率残部经金乡于5月3日退至江苏丰县，全军只剩数千人。5月5日，胜保追至，围攻四门，曾立昌知难久守，乘夜退至丰北漫口支河，不意河水陡涨，人马陷入泥淖，伤亡甚多，后转至黄河河岸，曾立昌指挥残军渡河，敌兵追至，力竭，跃马黄河死难。
陈仕保、许宗杨率领过河残军于5月9日在肖县境内打败地主团练，仍经河南永城回安徽。5月12日占领蒙城，尚有剩下的部队二三千人。5月14日，陈仕保在凤台县属展沟集，不幸被地主团练王恩绥等战败，阵亡。许宗杨率残军于5月16日过颍上县渡淮，与清军提督秦定三战，又败。经霍邱县，再与清军刘玉豹战，伤亡不少。余部归六安州（今安徽省六安地区六安县）。许宗杨回天京被东王杨秀清追究囚于东牢。
第二次援军中道夭折
天京方面得知曾立昌、陈仕保、许宗扬北伐援军溃败的消息后，于同年5月将顶天侯秦日纲从安庆调回，晋封为燕王，令其统军进行第二次北援。
秦日纲军行至安徽舒城县杨家店折回。《李秀成自述原稿》说：“封燕王秦日纲复带兵去救，兵到舒城杨家店败回（杨家店清将，现今日久，不能记得姓名）。”李秀成说记不清守杨家店守将名，他就是清福建提督秦定三。
秦日纲向杨秀清申诉的“北路官军甚多，兵单难往，”并非完全是因畏难情绪而制造的谎言。清军在山东方面，胜保北返时，留军二千余人交桂明督率。崇恩所统山东绿营和鲁西南各县团练，也有相当数目和力量。袁甲三、徐广缙所统兵勇不多，李湘芳系前任漕督，兵勇也只有一千多人，咸丰帝因为他没有阻挡住北伐援军渡河南归，下令将他发往军台效力赎罪，所统之勇交徐州镇总兵百胜、徐州道王梦龄统带，他们所部还有兵勇数千。另外，和春统帅重兵约二万余人正猛攻庐州。秦定三、郝光甲、刘玉豹带兵三四千人守正阳关一带。又据和春、福济奏，舒城知县张请有招集乡团三万余人会攻舒城的计划。
秦日昌
太平军由安徽北援，会遇到秦定三、和春等清军的阻挡。此时情况已和北伐军、第一次北伐援军时有很大不同。当时太平天国正大力进行西征，清江南、江北大营仍包围天京，首都需重兵防守，从而造成兵力严重不足，北伐军及援军的失败，使其兵力更加不敷分配。兵源不足是造成秦日纲北援夭折的主要原因。
林凤祥连镇覆灭
北伐援军到达临清时，由于受清军包围，林凤祥等并没有得到消息。他们从阜城又派人南下请援，被清方拿获。
由于驻地是小城，粮食军需，都十分困难。北伐军经过多次战斗，仅剩数千人，而城外，敌军共达二万三千多人。
清军重兵合围，北伐军久守困难，相持一个多月后，于5月1日深夜乘风用火器焚毁侍郎培成、副都统乌凌额营盘，突围扎敌濠外围。
僧格林沁再在濠外加筑长濠。北伐军乃于5月5日夜向东退据东光县之东、西连镇，占据附近村庄。
连镇横跨运河，北伐军搭造浮桥，兼尽量运用水道运输之利，跨运河以守。僧格林沁军追至，偕西凌阿扎营河东，托明阿扎营河西。又挖长濠围因北伐军。胜保留桂明统陕甘兵二千余人驻守曹州，与善禄分统全军北返，于5月19日到达连镇。
李开芳
北伐军此时才知道援军到达山东的消息，乃于5月28日由定胡侯李开芳率领马队约一千多人突围南下迎接。李开芳在南下途中，始知援军已在临清败退，乃守高唐州与胜保相抗。从此北伐军分割两地，被清军重重围住，无法挣脱，力量更加孤单。
林凤祥留守连镇，部下有数千人，皆“南方之强”。林凤祥在连镇建木城深濠，外设梅花坑，下掘地道，广数十里，纡四折，多筑暗门窟室，坚守待援。北伐军英勇御敌，将达洪阿击伤，旋即毙命。副都统麟瑞带吉林兵一千人于6月1日抵营。僧格林沁请再调察哈尔马队二千、绥远城马队一千、圆明园旗军一千前往。
北伐军因敌我人数悬殊，无法击溃敌军，惟有冲破长墙，突围而出。7月22日乘筏凫水，向东猛冲，出袭东光连镇清军，斩参领伊郎阿，重创清军。
清军在东连镇作堤灌水，到8月初，水深已三尺至四、五尺。北伐军谷米大半在东连镇，多被水淹，米麦渐缺，到10月间，将士俱食黑豆，马草更为短少。10月中旬，守军粮食更加困难，突围的要求更加迫切，乃制吕公车及挖掘地道冲出，僧格林沁则在周围深掘濠沟，严密防备以破地道，又以梅花坑数重，遍树大小木桩以防战车冲出。北伐军虽然多次出击，均失败。
僧格林沁又从北伐军的叛徒中得知李开芳南下时，曾与林凤祥约定暗号，若来北援时，以夜间放喷简火弹为号，乃派马队千人假扮太平军北援之师，于12月9日伪作进攻清营之态，设伏以待，并使叛徒宁宗扬等走近北伐军的营垒，捏称自高唐来援，沿途放火弹，希望北伐守军出而接应，即乘虚而入。林凤祥欣喜过望，即开放南面木城，以大队扑出接应，连镇内亦出队为后援，不料清军胆怯畏战，距离尚远即开炮轰击。林凤祥知道中计，急勒军队退入，闭门坚守。清军毫无办法，但北伐军中伏，亦稍受损失。
僧格林沁
清朝僧格林沁部于咸丰五年（1855年）1月20日至21日，派员带北伐军之叛徒施绍恒至营地叫骂诱战，林凤祥派军出击，检点黄某战死。这时，北伐军粮草将尽，已无法再坚守了，其间，有冒死冲出者，多为地雷炸死。僧格林沁见北伐军粮食已尽，又抓紧诱降，“以抚助剿”，部分北伐军及城镇居民逃出者不少。先后逃降者约二千多人，僧格林沁全部收留，编为“义勇”参战。2月8日僧格林沁用叛徒施绍恒、宁宗扬等统率叛降人员进攻北伐军，北伐军遭到一些损失。
2月12日，僧格林沁督都统西凌阿、侍郎瑞麟分路攻西连镇：焚其房屋，护军参领松林阵亡。2月13日，林风祥部鄄城人詹启纶出降，西连镇的一部分地区陷落。
林凤祥坚持到2月19日，考虑到人数已过少，不宜防地过大，且西连镇已被焚毁，于是将河西全部所存兵卒及军需尽移到河东，只守东连镇，全军只剩下二千人。
3月7日，僧格林沁知北伐军力竭，乃全力进攻。兵分四路，发起攻势，林凤祥乃率众作殊死的抗争，因寡不敌众，弹尽粮绝，被清军破木城，放火焚毁木栅。林凤祥身先士卒督战，身受重伤，由是无法指挥。清军入城，北伐军仍血肉相搏，白刃相接，杀死清兵多人，林凤祥部伤亡惨重，由于房屋被毁，无可防身，且战且退，退至河边，将士纷纷投河殉难，有的凫水而走，北伐军在连镇二千余人，全部壮烈牺牲。
在当时北伐军被俘者有将军汪一中、总制江玉道、萧在仁、李开兰、吉金祥、军帅杨吉金、师帅杨文清等。不久，他们被解赴沧州杀害。
林凤祥
林凤祥偕一部将士退入地道中暗室，服毒不死，叛徒施绍恒入深处寻获，林凤祥被俘，槛送北京。林凤样被解到北京后，于3月15日在北京西市被敌人寸磔，“刀所及处，眼光视之，终未尝出一声”，英勇地表现了太平天国将士忠贞不屈、视死如归的高贵气节。同治二年（1863年），林凤祥被追封为求王，子袭其爵。咸丰皇帝晋封僧格林沁为博多勒噶台亲王，令即移军高唐州，进逼李开芳部。
李开芳冯官屯覆灭
李开芳占领高唐后，加紧布置防御工事，于东南三关立栅筑垒，征人民助掘四周濠沟，沟深至丈余。
咸丰四年（1854年）6月10日胜保用云梯攻城，被李开芳凭城击败。副都统明庆以是革职。其后，胜保用吕公车亦失败，反伤亡将士多人。其间，清廷曾调固安、内蒙及圆明园旗兵前来增援，也没有什么效果。
胜保用水攻计，决堤灌水入城，惟因大雨滂沱，反冲决东南官兵营盘，北伐守军即乘于夜间出击，在泥水中杀死清军多人。7月25日李开芳指挥军队从南面出击，冲散敌方马队，并绕至胜保营后，用刀矛刺破其营帐。由是胜保率军营于离城远处，不敢逼近，尤不敢轻言进攻。北伐军居然在重兵包围下，敢于开城门，自由出入，充分表明胜保之无能。
李开芳部经过长期战斗，到咸丰四年（1854年）8月初，军火已十去五六，仍凭城抵抗超过北伐军数倍的清军。胜保于9月4日以进攻为掩护，暗于州城东北二三丈处筑营架炮，轰击城防。9月底，其一万五千斤炮已经铸成，架于州城东北约二百步处，抓紧轰城，并于正北、西北二面近城处筑营，续造八千斤大炮。同时又派地主李启昌入城，谋作内应。
咸丰帝又以胜保久战无功，于9月27日下令革职，“仍着督率将并迅速图克复，倘再玩延，朕必重治罪。”胜保开挖地道，于10月26日轰塌东北角城墙五丈余，浓烟滚滚，反遮迷清军，无敢冒死登城者，李开芳督众迅以树枝堵塞缺口，阻止了清军上城。
苏完瓜尔佳?胜保
另一次，知州黄良楷已带勇登城，胜保营中忽炮声大作，北伐军知道，奋勇将上城之敌消灭。
战事拖延至12月间，胜保又调兵二千，暗挖地道多处，深长至百册余丈，然终不能攻近城垣。李开芳于12月14日两路出击，破敌栅栏，焚其营帐。
当时北伐军往往远赴数十里外征取粮食进城，在清军重兵包围下，李开芳的北伐军能坚持这么长时间，与粮食不缺有很大关系。
林凤祥部在连镇覆灭后，僧格林沁即选派马、步兵八千余人交察哈尔都统西凌阿、西安副都统绵询等分别统带南赴，僧格林沁本人也于咸丰五年（1855年）3月8日带一部分兵丁驰至。
咸丰帝命僧格林南攻高唐时，同时密令俟布置妥当，即将胜保押京问罪，结果清廷以其围攻高唐九月余，不能克复，糜饷劳师，发往新疆效力赎罪。
僧格林沁3月11日到达高唐后相度形势，权衡利害，看到高唐北伐军金城汤池，久经善战，攻坚并非上策，总结了胜保失败的原因，决定用“纵而擒之”之策。
僧格林沁
当时李开芳见僧军来，知道了林风祥已经败走，乃谋突围南走。僧格林沁知悉，乃于3月17日故令南门外疏防停更，诱使李开芳部逃出，另行布置追杀之计。深夜，李开芳率部八百余人从南面开城冲出，向南疾驰，原拟走济宁州，不成，只得到距州城四十里之冯官屯（离准平县十八里）。冯官屯三村相连，其中多富户，高楼广厦，外匝高墙，李开芳占据后，布置防卫。第二天，清军马队追至，西面二村被夺，伤亡二百多人，北伐军仅剩五百多人。在僧格林沁督都统德勒克色楞、西陵阿等进攻中，侍卫达崇阿、吉林协领委营总丰山、委参领丰玉被打死，僧格林沁遂下令围困。
李开芳部人数虽少，但精诚团结。村内房屋俱被清军大炮击毁。李开芳环村筑壕，内挖地窖，贯以地道，以避炮火，而资住宿。窖外遍挖小孔，俟敌逼近，用鸟枪仰射，子无虚发，能击中清军，而可避开敌人射击。僧格林沁在奏报中都不得不承认北伐军“人心团结，毫不疏屏。”
清军日日进攻，伤亡不少。僧格林沁乃于四周筑厚端，插深壕，建炮台，严密防卫，务于此一隅之地困死李开芳余部。
李开芳部驻地粮草较丰富，可使北伐军长久支持，所缺军火不足。4月14日，李开芳再欲率队突围，结果失败。次日夜，又自村内开地道轰毁清方西南炮台，乘机冲出，清军慌乱，纷纷逃窜，北伐军占领炮台外之围濠，据而死战，僧格林沁亲随三等护卫巴萨拉被斩，炮位也被太平军夺去。终因清军愈来愈多，寡不敌众，被逼得退回村内，再没有突围出的机会。
僧格林沁清楚知道攻坚并非上策，但又不能再施纵敌，若按服以前死围的办法，又得拖延时日，而且无以对付急盼捷报的咸丰皇帝。
前广西左江道张群晋献以水灌村之计。冯官屯旁旧有汉河，可通徒骇河，河形尚存，若果用上游开引运河之水即可灌其地。僧格林沁乃用残忍手段，一面加紧围困，一方面划札令河东道总督长臻、山东巡抚崇恩于河厅三孔桥挑掘引河，计水道自东昌境起至是冯官屯，共长120里，并在冯官屯外造筑围增，引入运河之水以淹屯，由于工程浩大，逾月始竣。
但冯官屯地势较高，濠内水深三四尺不等，并不能灌及地窖。僧格林沁乃赶造水车，用人力车水慢慢灌入，一个多月后，围墙内高处水深二三尺，低处水至四五不等，情势危急。李开芳在屯内造木簿长梯，拼命扑出，均未成功。
僧格林沁乘机令人向冯官屯内进行诱降活动，李开芳部将士一千余人出降（一说诈降），僧格林沁用小船把他们渡出，不久，将他们全部杀害。此时，濠沟地洞内已不能藏身，楼房全毁，炊饭无地，且粮草火药全湿已不能用，无法再守。
李开芳
李开芳于5月31日投书约降。李开芳与部将黄懿端、谢金生、随员李天佑、谭有桂、韦名传、曾得相、刘志隆等及全部出了围濠，就被槛送北京。咸丰五年（1855年）6月11日，李开芳与黄懿端等八人在北京被处死。临刑时，其部将黄懿端还把敌人踢死两个、踢伤两个。
至此，太平天国北伐的活动完全失败。
太平军孤军北伐是太平天国历史上悲壮慷慨、可歌可泣的一页，北伐军历经江苏、安徽、河南、山西、直隶、山东六省，历时二年多，在没有根据地，没有援军和缺乏粮食军火的情况下，转战千里。
最后，林凤祥、李开芳分别以微弱的兵力，坚守孤城达一年之久，清朝方面几乎集合了全部北方的武装才得以胜利。
