郑淮舟同志1916年12月出生于安徽省怀远县考城乡（现属凤阳县），1938年12月参加革命工作，1939年8月加入中国共产党。1938年12月在泗县参加我党领导的巡回视教团，进行抗日救亡工作。1939年2月至1944年6月，历任泗县特区办事处主任、半城区区长、青阳区区长，泗五灵凤县办事处秘书、主任，县政府秘书、城工部长，新四军四师十一旅敌工部长、敌工站站长。1944年7月起，历任洪泽县县长，宿怀县副县长、县长，夏邑县、凤台县委书记。1951年6月起，任安徽省阜阳专署副专员兼地委-部长。1952年8月起，历任省政法委员会秘书长、省检察院副检察长、省委政法部副部长、省人民委员会秘书长。1964年1月起，历任宿县地委副书记兼专员，地区革委会副主任、第一副主任、主任，地委副书记；安徽大学党委书记、省委副秘书长；省政府副秘书长、秘书长。1983年3月起，任省人大常委会副主任、党组成员。1990年12月离职休养。2004年2月，享受省长级医疗待遇。
在70多年的革命生涯中，郑淮舟同志在不同岗位上呕心沥血、辛勤忘我地工作，为革命、建设、改革事业作出了卓越贡献。早在青年时代，他就追求真理、立志革命、决心报国。抗日战争爆发后，他满怀豪情寻觅抗日救亡之路，并秘密加入中国共产党，随后在党组织和新四军领导下，以大无畏的精神投身抗战烽火，先后参加和领导建立抗日民主政权、抗击日伪扫荡、剿灭土顽湖匪、巩固拓展根据地、发展壮大抗日武装等工作，尤其在担任新四军四师所属部队敌工部负责人期间，积极开展搜集情报、策反分化、秘密发展党组织等工作，在隐蔽战线上进行了卓有成效的斗争；在担任淮河北大堤复堤领导人期间，坚持复堤与军事斗争准备、政治宣传并举，显示出卓越的组织才能。
解放战争时期，在豫皖苏区和凤台等地区敌我力量悬殊特别大、斗争环境极端恶劣的情况下，他团结带领当地军民不顾生死、浴血奋战，进行了艰苦卓绝的斗争，再次经受了血与火的严酷考验，得到陈毅同志高度评价。
新中国成立后，郑淮舟同志在不同时期、不同领导岗位上，始终保持和发扬战争年代的奋斗热情，以强烈的革命热忱和高度的敬业精神投身社会主义革命、建设和改革事业，奉献了大量智慧、心血和汗水。特别是在省人大常委会担任领导职务7年多时间里，始终坚持人大工作正确政治方向，牢固树立党的意识、大局意识和法治观念、群众观念，以高度的政治责任感和历史使命感履行法定职责，紧紧围绕党和国家以及安徽工作大局开展工作，在加强地方立法、强化法律监督和工作监督、依法决定重大事项、抓好-工作、发挥人大代表作用、推动地方国家权力机关建设等方面主动作为、积极探索、锐意创新，为坚持和完善人民代表大会制度、推进安徽民主法治建设、维护人民群众根本利益做了大量开创性工作、积累了宝贵经验。
从领导岗位上离休后，郑淮舟同志继续保持炽热的革命情怀，老骥伏枥、奋斗不已，担任省新四军历史研究会等组织的领导职务，围绕经济社会发展和民主法治建设等开展调研、献计献策，做了不少实事益事，续写了人生辉煌。
郑淮舟同志政治立场坚定，党性原则强，始终坚持党的基本理论、基本路线和基本纲领，认真贯彻执行中央和省委决策部署，自觉践行中国特色社会主义核心价值观，在思想上政治上行动上始终与党中央保持高度一致。他忠于党、忠于人民、忠于事业，一生始终以身作则、严于律己，胸怀坦荡、正直无私，敢于担当、勇于负责，清正廉洁、艰苦奋斗，崇尚宽容、注重团结，关心群众、爱护干部，严格要求子女和身边工作人员，体现出一名党员高级领导干部坚强的党性修养、优良的精神风范和高尚的道德情操。
郑淮舟同志因病医治无效，于2017年1月7日15时23分在合肥逝世，享年101岁。