徐乐义1928年4月在上海出生，广东南海人，大学学历。1946年7月在上海南洋模范中学加入中国共产党，从事革命工作。
1947年9月考入上海暨南大学化学系，开展学生工作，参与组织化学学会和党的外围组织“雷社”等活动。1948年4月发动同学参加了上海地下学联组织的到杭州“春游”，因组织同学参加反内战、反破孩等活动，被国民党特等刑事法庭通缉，并被学校开除。1948年9月从上海撤退到安徽无为县内的皖西军区第四分区，在地委联络部交通站工作。1948年12月到安徽公学任大队组织教育干事，1949年初任副站长带学员组建兵站，为大军过江筹措粮草。
安徽解放后，被分配到安庆地区地委和县机关任秘书、科长等职。1953年4月国家开始第一个五年计划建设之际，调到马鞍山，参加马鞍山铁厂的改建和恢复工作，先后在马鞍山钢铁公司任科长、车间主任、厂长、厂党委书记等职。1961年调马鞍山市委工作，曾任市委办公室主任、副秘书长，文革中“靠边”，被批斗审查，1969年“解放”后在马鞍山革委会任办事组、生产指挥组长、副主任，后任市委副书记；1976年“反击右倾翻案风”中被整，1977年3月调到铜陵市任市革委会副主任、市委副书记。党的十一届三中全会后任市委副书记兼铜陵有色金属公司党委第一书记。1982年调安徽省委组织部任副部长，1983年4月任中共马鞍山市委书记，1984年底任中共安徽省委副书记。1988年转任安徽省政协常务副主席、党组副书记。1993年至2003年，任全国政协八届、九届政协委员，2004年离休。