黄永胜的资历很老，参加过秋收起义和三湾改编，是井冈山的老人。红军时期担任过师长并参加了长征，因为作战勇敢，获得过三等红星奖章。抗日战争全面爆发后，他进入晋察冀军区任职，担任过军分区司令员。抗战胜利后，他跟随部队挺进东北，担任过热辽军区司令。
1947年8月，冀察热辽军区的三个独立旅组成了东北民主联军第8纵队，黄永胜出任司令，黄鹄显为参谋长，邱会作任政治部主任。在政委人选上，程子华一开始是准备让段苏权担任的。红军时期段苏权就担任过师政委，有资历，干政工也是一把好手。不料段苏权却不愿意和黄永胜搭档。
黄永胜能打仗是不假，但身上的毛病也很多，最大的缺点就是看不起政工干部。红军时期他当师长的时候，邓华是师政委。邓华也是老革命，而且军政双优，但黄永胜却和他相处的很不愉快，致使邓华的工作无法开展，后来就离开了红二师。抗日战争全面爆发后，陕北红军主力改编为八路军，黄永胜和邓华又成了搭档。
当时黄永胜是115师343旅685团团长，邓华为副团长，实际上负责政委的工作。结果在部队开赴前线的途中，黄永胜再次和邓华闹了不愉快，他一点也不尊重政委的职权，大小事情都要自己说了算。见黄永胜如此霸道，邓华也很生气，就和他顶了起来。黄永胜气急之下，拍了桌子，还说了粗话。
罗荣桓得知此事后十分生气，将黄永胜调到了独立团当副团长，685团的团长由杨得志接任。当时115师独立团的团长是杨成武，长征途中，他带领的红4团在飞夺泸定桥和强攻天险腊子口的战斗中都有十分亮眼的发挥，为中央红军顺利北上立下了大功。但杨成武也是政工干部出身，红军时期的资历和黄永胜相比也略有不及。
因此黄永胜到独立团后对杨成武也不服气，不打招呼就带着两个连单干去了。聂荣臻对黄永胜很头疼，后来晋察冀军区成立后，就把他调到了第三分军区给陈漫远当副手。陈漫远恰巧也是一位政工干部出身的司令员，黄永胜和他相处的也很不愉快。后来陈漫远对黄永胜忍无可忍，撂挑子不干了，要求回延安学习。
陈漫远走后，黄永胜就出任了第三军分区的司令。和邓华、杨成武、陈漫远都闹过不愉快，黄永胜也成了有名的难搭档。东北民主联军8纵成立后，程子华有意让段苏权担任政委。段苏权知道黄永胜不好合作，因此直接推辞了，最后刘道生出任了8纵的政委，后来又换成了邱会作。
8纵成立后不久，东北民主联军就发起了秋季攻势作战。黄永胜率部在杨杖子三战三捷，消灭敌军15000余人，并缴获了大批的武器装备。通过改造俘虏兵和吸收青壮年参军等办法，8纵由成立时的两万多人迅速扩充到了4万余人，林彪也对黄永胜称赞有加。但程子华却对他不感冒，因为黄永胜经常顶撞上级，而且在个人生活上也不检点。
为此程子华先后多次找到林彪，建议用段苏权替代黄永胜，但被林彪以“一将难求”为由拒绝。后来黄永胜因病到后方休养，在程子华的推荐下，段苏权接任8纵司令。1948年春天，黄永胜病愈出院，该去哪里任职成了难题。如果回8纵，就只能给段苏权当副手，这是他不能接受的。
但不回8纵的话，其他纵队又没有空缺的职位。最后为了安置黄永胜，林彪竟然把6纵司令员调离，让黄永胜去接任。并对他说：让你去6纵，是为了让你把这支老部队带好，带出战斗力。言外之意非常明显，就是6纵司令打仗不行。当时6纵的司令是洪学智，红军时期他在四方面军长期从事政工工作，没有军事主官的经历。
抗日战争全面爆发后，洪学智先是在八路军任职，担任抗大分校副校长，后来率部来到新四军工作，短暂担任过二级军区的司令员，不久后调任第三师参谋长。抗战胜利后跟随黄克诚挺进东北，担任第三师的副师长。1946年7月，洪学智出任黑龙江军区司令员，主要任务就是剿匪。
后来陈光离开了6纵，洪学智接任司令员。上任不久就发生了德惠战斗，在兵力占据优势的情况下，6纵打了败仗。战后林彪对6纵提出了批评，认为“一点两面”的战术没有掌握好，所以部队才打了败仗。德惠战斗失利，原因有多种，东总在情报方面的误判也是战斗失利的一个重要原因，把板子都打在6纵身上并不公平。
之后洪学智吸取了教训，仗越打越好。但林彪为了安置黄永胜，还是把洪学智调离了，让他去东北军区办训练班，负责培训基层指战员。黄永胜就这样接替了洪学智，他上任后不久，辽沈战役打响，6纵奉命堵截廖耀湘兵团，在厉家窝棚和敌人爆发了激战。最终歼敌26000余人，自身也伤亡了数千人。战果很大，伤亡也不小。
辽沈战役结束后，段苏权离开了野战部队，黄永胜重回8纵担任司令。不久后8纵改编为45军，黄永胜出任军长，率部参加了平津战役和衡宝战役，累积战功升任13兵团副司令。新中国成立后，黄永胜出任13兵团司令员。抗美援朝战争爆发前，他和邓华对调，离开13兵团到15兵团当司令，因此错过了第一批入朝参战的机会。
1953年5月，黄永胜入朝参战，担任志愿军第19兵团的司令员。此时停战谈判已经接近尾声，因此他并没有太多表现的机会。当年10月，黄永胜回国治病，在朝鲜一共待了5个月的时间。回国后他出任中南军区第二副司令兼参谋长，1955年调任广州军区司令员并被授予上将军衔。
