陈履谦，化名梁兔如、陈缺，1911年出生在安徽省岳西县响肠镇一个农民家庭。
1928年春，陈履谦在夹山私塾就读时，感于四书五经之类束缚青年思想，乃经常至吴介唐执教的自强新塾请教，并借阅《向导》《新青年》等进步书刊，思想上受到很大启发。同年暑期他在无愁加入中国共产党。同年秋，他考入当时由共产党人掌握的潜山中学。不久共青团潜山县委成立，他被选为共青团潜山县委委员。当时，潜山后北乡农民运动在党的领导下如火如荼。为了对农民进行深入细致的思想教育工作，他利用群众喜闻乐见的民间小调形式，以农民受压迫、受剥削的事实为内容，编写了很多通俗易懂的歌谣，如×童叹革命歌》《农人自叹》《土劣自叹》等，组织农民学唱，启发群众起来斗争，很受欢迎。同年冬天，陈履谦回乡度假，便积极投入农运的领导工作，使潜山后北乡党的组织和农民运动，都有新的发展。1929年春，中共潜山县委决定对党的组织进行一次整顿，陈履谦被派至汤池、响肠、沙村等地整顿区委组织。在整顿过程中，他不徇私情，坚持党的原则，果断地把混入党内的个别坏人清除出党，对工作消沉的少数党员予以孤立之。经过整顿使党的组织更加纯洁，战斗力更加增强，党在群众中的威信也大大提高，有力地推动了农民运动的发展。
1929年秋季，潜山因遭遇旱灾，五谷歉收，地主劣绅除向佃农逼租外，还趁机抬高稻价。中共潜山县委委员王效亭在茶园庵开会研究，开展反对地主抬高稻价的斗争。陈履谦参加了这次会议，积极支持王效亭的工作。在会上，他与李亚、王德耀、程鹏等共同提出︰“稻卖两块半，地主头要断!”“稻卖两块钱，留你(指土豪)过个年!”的斗争口号。一时间，后北乡的地主豪绅家周围的墙上被贴上警告性的标语，卖黑稻者房屋被砸，造谣生事者草堆被焚，恶意攻击者耳朵被割，整个后北乡的反抬高稻价斗争开展得非常火热。
同年11月，中共安徽省临委和安庆中心县委先后来信，指示潜山县委，迅速做好武装暴-动的准备，以策应六霍暴-动。中共潜山县委按照上级指示精神，分赴全县各地组织武装小组，陈履谦被派至响肠、无愁、浒漕一带发动农民协会会员，参加武装小组，并负责在以上三地组织“摸瓜队”。
这三支“摸瓜队”成立后，立即投入了斗争。他们先后火烧了大地主秦建吉家的田契借据；镇压了十恶不赦的大地主方廷献、陈晓初父子。穷苦人民扬眉吐气，地主豪绅却如丧家之犬，惶惶不可终日。
“摸瓜队”的连续胜利，使敌人大为震惊，并开始对农民运动疯狂地进行镇压。1930年元月29日，国民党潜山县长崔树龙派自卫团匪兵化妆潜入无愁、响肠地区，逮捕“摸瓜队”员崔南山、储翰平、陈志贤之后，又伙同地方团防捉拿农会会员。一时间人心波动。陈履谦与王效亭、王进等人计议，于2月4日领导安徽省著名的清水寨暴-动，并成立了中国工农红军潜山独立师。王效亭任师长，陈履谦任党代表。
清水寨武装起义后，国民党反动当局进行疯狂反扑。2月上旬，崔树龙纠合400多民团进犯水吼岭，妄图侵入天堂地区，扼杀新生的革命武装力量。为了给敌人以迎头痛击，王效亭、陈履谦召开党员大会，制定作战方案，决定分三路迎击。会后，部队冒雨行军，拂晓到达前沿。经过3天激战，红军攻占水吼岭，敌人抱头鼠窜。伪县长崔树龙坐骑被击中，翻身落马，狼狈逃回县城。红军首战告捷，缴获一批武器和物资，军民欢欣鼓舞。
崔树龙贼心不死，不久，又纠集了匪徒千余人，进犯清水寨。敌我力量悬殊过大，为保存实力，以利再战，王效亭、陈履谦决定部队暂时转移到霍山闻家店。此后，红军潜山独立师与红三十三师配合，活动于潜山、霍山、英山、舒城、太湖、相城一带，多次取得胜利。
1930年4月下旬，潜山独立师在红军三十二师、三十三师配合下，进军天堂，收复衙前镇，并在衙前镇建立了潜山县革命委员会。在此期间，独立师进一步发展壮大。后来，根据上级指示，潜山独立师改编为中国工农红军三十四师，王效亭任师长，陈履谦任师政治部主任。
陈履谦在担任党代表、政治部主任期间，为加强党的领导和政治工作，先后在红军中建立各级党组织(师设师党委会、团设团党委会、营设党支部、连设党小组)和政治工作制度(团设政委、连设指导员)。要求党员做到︰“冲锋在前、退却在后、吃苦在前、享乐在后。”他还编写了《红军战士歌》，颁发了《红军战士条例》；还开办了列宁小学，让战士学文化、学政治，以提高红军战士政治觉悟和文化水平，使中国工农红军三十四师成为当时一支作战勇敢，纪律严明，深受群众拥护的军队。中共安徽省临委在写给中央的报告中，对这支军队给予了很高的评价。
陈履谦在担任红军领导期间，与师长王效亭并肩作战，身历三十余战，曾率领红军二克水吼岭，一破英山，二进霍山城。每次战斗，他都身先士卒，为创建和发展潜山县工农红军，开辟、扩大、巩固皖西根据地，做出了重要贡献。
同年9月4日，主力红军-衙前失利后，陈履谦和胡绍瑷、王树良等率领一支赤卫队，转战于菖蒲、五庙、店前一带。同年10月，他不幸被当地反动民团和国民党保安团搜捕，受尽酷刑，坚贞不屈，被害于五庙。时年19岁。
陈履谦一向勇敢乐观，临刑前他高唱《国际歌》，大义凛然走向刑场，为共产主义事业英勇地献出了自己短暂而宝贵的生命。