王麓水出生于江西省萍乡县芦溪区长丰乡宗里村一户农民家庭。宗里村位于萍乡与安源之间，是党联络工作的重要通道。八七会议后，湖南省委转移到安源，由于王麓水全家倾向革命，住处又宽敞，自然成了党的落脚点，刘少奇、夏笃生、袁德生等领导人先后在王麓水家住过。
1929年，16岁的王麓水参军入伍；红军长征途中，王麓水随1军团行动，担任1军团2师5团政委。
1937年抗战爆发后，王麓水被任命为八路军第115师343旅685团政治处副主任。平型关战斗他头部负重伤。伤愈后，王麓水被调到晋西独立支队任政治部主任。
1940年5月，王麓水随晋西独立支队奉命开赴山东；同年7月到达鲁西后，王麓水就立即参加了讨伐石友三的战斗，击退石部的进攻；其后，独立支队支队长陈士榘和王麓水率领一个团继续东进，于1940年10月5日到达鲁南，和115师主力会师。
1940年10月下旬，晋西独立支队编入115师教导2旅，王麓水任2旅政治部主任。
1943年3月，在鲁南抗日根据地最困难的日子里，中共山东分局和山东军区决定王麓水任鲁南区党委书记、鲁南军区政委。
王麓水到达鲁南后，决定以区党委为核心，实行党政军一元化领导。同年11月，王麓水指挥部队消灭了长期盘踞在鲁南的惯匪刘桂棠部，以此作为打开鲁南地区局面的第一仗。
刘黑七本名刘桂堂，是民国时期的山东籍巨匪。20世纪30年代，流窜华北一带，干尽了坏事。
抗战开始后，他时而投降日军，时而投靠国民党顽固派，在鲁南称霸一方，鱼肉人民，无恶不作。
1941年3月，根据抗战形势的需要，罗荣桓和八路军115师主力离开鲁南，移往鲁东南的莒南县后，刘黑七更加肆无忌惮，频频进攻鲁南的八路军地方武装，大肆屠杀共产党人和抗日民众。
1941年8月，为了恢复鲁南抗日根据地，解救当地群众，罗荣桓命令115师教2旅和鲁南军区的部分地方武装回师费县，将刘黑七部歼灭过半，收复了天宝山根据地。
此战，鲁南3团涌现出战斗英雄、爆破手马立训。战斗中，马立训手提炸药包冲在最前面，运用“偷爆”等技术摧毁敌人无数道鹿砦和碉堡，连破敌阵，为战斗胜利立下汗马功劳。战后，被抗日军民亲切地称为“开路先锋”“鲁南3团的一门神炮”。
此后，八路军鲁南军区主力部队多次将寻歼刘黑七作为重要作战目标，有几次，八路军得到刘黑七夜宿地的情报，连夜组织奔袭，遗憾的是，抓到的都是刘黑七的替身。
刘黑七屡遭八路军的打击，开始向国民党靠拢。国民党顽固派李仙洲奉命接替于学忠任新的国民党苏鲁战区总司令后，刘黑七立即投靠。
1943年初，李仙洲部命令其部下国民党第142师师长刘春霖率3个团进入鲁南山区，刘黑七接受了国民党新编第36师的“封号”，遂与该部勾结在一起，疯狂地围攻八路军天宝山根据地，大肆制造摩擦，残杀了不少抗日群众。
八路军将刘春霖部赶出了鲁南地区后。刘黑七失去靠山，马上又投靠了日军。这时，驻山东日军因为支援太平洋战场，刚调走了三个师团，正感兵力捉襟见肘，见刘黑七来投，便欣然“笑纳”。于是，刘黑七摇身一变成了“和平建国军第10军第3师师长”。
1943年春，115师教1旅政委王麓水调任中共鲁南区党委书记兼鲁南军区政治委员。临行前，罗荣桓单独和他谈话，叮嘱他一定要完成消灭刘黑七的任务。
王麓水不负重托，7月他联合鲁中军区，集中8个主力团，配备了多门野炮，一举捣毁了刘黑七的据点南锅泉。刘黑七部在战斗中损失惨重，仓皇逃窜到费县西南的柱子山一带，原本1万多人的队伍，此时只剩下1500人。
刘黑七遭到八路军的沉重打击，一改过去四方流窜的旧习，投靠驻崮口山区的伪军荣子恒部，被编为第3师，龟缩在费县柱子山一带，建立了新的巢穴。
刘黑七在柱子山周围选择了几个地势险要的地方，修建了几个碉堡和据点，与伪一、伪二师互为依托，成为插在山东抗日根据地鲁南、鲁中两区间的一颗新钉子，严重地影响着根据地的发展。
罗荣桓再次向鲁南军区司令员张光中、政委王麓水下了死命令：刘黑七过去多次受重创都重新拉起队伍，这次一定要活捉他，没有活的，死的也行！
1943年11月15日晚，战斗首先由5团打响。紧接着，3团向东面发起猛烈攻击。刘黑七见大势已去，便带着他的书记官和两名亲兵悄悄用绳溜出炮楼外，向西南方向的一道山岭逃跑。
负责在炮楼外围包围敌人的鲁南军区3团4连通信员何荣贵等八路军战士见有几个敌人从炮楼上溜下来，便开枪追击，两个亲兵中弹后倒地身亡，刘黑七和书记官分头向两个方向逃跑。
刘黑七一边逃跑一边回头射击，何荣贵等一边追一边还击，刘黑七身中两枪，重重地跌倒在地上。何荣贵见死者五短身材，脸黑得像黑炭团一样，浑身长毛，很像传说中的刘黑七，就把他的死尸带回去，经被俘的伪军辨认，这具尸体是刘黑七无疑。
16日晨，附近的日伪军赶来增援，均被八路军的阻击部队击退，并乘胜攻克埠下、刘庄、宋家峪、燕庄等多座据点。
至此，柱子山战役全部结束。
战役共毙敌伪军240人，俘匪军官36人，俘匪徒1000余人，缴获金银珠宝及其他军用物资无数。同时解救了被抓被押的壮丁、妇女500余人。
柱子山战役一举击毙惯匪刘黑七，为民除了害，在山东乃至全国引起了很大反响。延安新华广播电台连续多日、每隔4小时播发一次《山东我军击毙惯匪刘黑七》的重要新闻。
中共中央机关报《解放日报》在为此发表的题为《山东军民反扫荡胜利》的重要社论中指出：击毙混世魔王刘桂堂，为山东人民除了大害，为中华民族伸张了正义，特别值得大书特书。
不久，罗荣桓签发山东军区嘉奖令，嘉奖鲁南军区参战部队，并授予击毙刘黑七的八路军战士何荣贵为山东军区甲等战斗英雄称号。
从1944年起，王麓水率领部队对盘踞在鲁南地区的伪顽军发起了一系列进攻，先后歼灭和击溃了荣子桓、李子瀛部，完全恢复并逐步扩大了鲁南抗日根据地的基本地区。
抗日战争胜利后，王麓水任山东野战军第8师师长兼政委，他先后率部解放了峄县城、邹县城。
1945年12月，王麓水奉津浦前线指挥部命令攻打滕县城。
王麓水牺牲地（滕县东关房家坑）
解放滕县城战斗于1945年12月12日晚打响，攻城部队经过彻夜战斗攻占了四关厢，直逼城下，等待13日黄昏发起总攻。
1945年12月13日下午2时许，王麓水由师指挥所来到主攻团22团，在团长王吉文陪同下深入前沿阵地检查攻城准备情况，当走到房家坑一处院落时，突然从城墙上飞来一颗炮弹在他面前爆炸，王麓水及王吉文同时身负重伤，虽经奋力抢救，王麓水还是停止了呼吸。
王麓水牺牲后，副师长何以祥接替指挥战斗。
总攻按时发起，在火炮支援下，突击排仅用5分钟就攻破了东门，占领了东门楼，经过11个小时的激烈巷战，守敌大部被歼，1945年12月14日凌晨滕县城解放。
1946年3月1日，鲁南区党政军机关及各界群众代表在滕县城举行了隆重的追悼大会，沉痛悼念王麓水师长。
党和国家领导人朱德、董必武、谢觉哉、陈毅、罗荣桓、萧华等分别为其题词。
