湖南省湘潭县人，1909年4月23日出生在湘潭县城沿江东路224号。自幼接触过民歌、小调、花鼓戏等民间音乐，学过笛子、箫、琵琶、扬琴等民族乐器，开始显露出音乐才华。1927年入国立上海音乐专科学校学习钢琴、声乐、作曲。1932年一二八事变时，在上海参加左翼剧联，后赴武汉，与张庚等组建左翼剧联武汉分盟。1933年冬，重返上海，与聂耳、任光等组建上海左翼剧联音乐小组，领导正在蓬勃发展的救亡歌咏运动。1935年2月，加入中国共产党。聂耳赴日本后，他主持音乐小组工作，成为30年代新音乐运动的主要领导者之一。曾与沙梅、盛家伦等组建业余合唱团，是左翼上海救亡歌咏运动的中心，培养了一批歌曲作者与群众救亡歌咏运动的组织者，使救亡歌咏运动在上海掀起高潮，促进了左翼文化运动。他还在电通影片公司任作曲，创作了影片《自由神》主题歌《自由神》、插曲《摇篮曲》等歌曲，在救亡歌咏运动中产生很大影响。1936年在上海与作曲家贺绿汀、词作家孙师毅等组建词曲作者联谊会和歌曲研究会，培养了一批青年曲作者，并为群众救亡歌咏运动创作和提供了一批演唱歌曲。《救亡进行曲》、《打回老家去》、《大刀进行曲》等具有全国影响的著名歌曲，为后来席卷全国城乡的救亡歌咏运动奠定了强大基础。《保卫马德里》是其创作的中国第一首体现国际主义精神、声援西班牙人民反法西斯斗争的革命歌曲，在国内传唱后，被译成世界语和多国语言，在西班牙和世界各国流传。还为活报剧《放下你的鞭子》写了插曲《新编九一八小调》和《中华民族不会亡》等歌曲，在国内久唱不衰，传入新加坡、马来西亚等国。
1937年10月赴延安，在抗日军政大学与陕北公学负责学生歌咏活动，创作《抗日军政大学校歌》，把朝气蓬勃的青春活力与雄壮豪迈的战斗气概融为一体，具有独特的音乐风格。1938年，参加鲁迅艺术学院的筹建，先后任音乐系主任、教务主任，创作歌曲《毕业上前线》。1939年，随陕北公学与鲁艺部分师生赴晋察冀边区敌后抗日根据地，创办华北联合大学，任文艺部副主任兼音乐系主任，创作《华北联合大学校歌》、《开荒》等歌曲，为活报剧《参加八路军》创作全部音乐。1940年重返鲁艺，接替赴莫斯科的冼星海任音乐部主任兼教务主任，同时主持陕甘宁边区音乐界抗敌协会工作。1942年，参加延安 与鲁艺的文艺整风，组织鲁艺师生认真学习中国革命音乐史与优秀的传统音乐、外国音乐、民间音乐，并与安波、马可、向隅等组成中国民间音乐研究会理事会，任主席。在晋察冀、晋西北、陇东等解放区建立分会，编印会刊《民间音乐研究》，撰写《中国民间音乐研究提纲》，指导各地开展民间音乐的搜集、整理与研究，出版《陕甘宁边区民歌集》、《山西民歌集》、《河北民歌集》，组织鲁艺师生创作秧歌剧《兄妹开荒》、《夫妻识字》与著名歌剧《白毛女》，使中国现代音乐在学习民间音乐的基础上，又有了创新和发展。1945年，率鲁艺师生赴东北解放区，组建东北大学鲁迅文艺学院，任院长。1947年，任东北音乐工作团团长，创办音乐理论刊物《人民音乐》，任主编。1948年，组建东北鲁迅文艺学院，出版《新音乐论文集》、《民间音乐论文集》、《东北优秀歌曲选》。1949年当选为中华全国文学艺术界联合会委员、中华音乐工作者协会主席。此后任中国音乐家协会历届主席。参加筹建中央音乐学院，任党组书记、副院长，认真贯彻理论与实践相结合的教育方针，有步骤地改革旧的高等音乐教育制度与教学内容、教学方法，与全校师生共同探索出一条新的高等音乐教学路子，使中央音乐学院名副其实地成为中国第一流的高等音乐学府。
1957年起，专任中国音协主席，坚持为人民、为社会主义服务方向，领导办好《人民音乐》、《音乐研究》、《音乐译文》等7种全国性音乐刊物；组织国内音乐界不断地对音乐理论、音乐创作、音乐史、民族音乐、古典音乐、民间音乐、外国音乐以及音乐教育等进行深入的研究与探索，采取多种举措繁荣社会主义音乐创作。先后创作《祖国颂》等数十首歌曲，写了《谈社会主义管乐问题》等百余篇论文。1988年，人民音乐出版社汇编出版的《吕骥文选》(上、下集)，达50余万字。近年又出版了《吕骥全集》。
为弘扬中国民族音乐文化，他于1952年倡导成立北京古琴研究会，出版《琴曲集成》一书。1977年，率音乐考古工作组赴西北考察，确定中国五声音阶观念形成于母系氏族社会的繁荣时期。通过在山西、陕西、湖北等地对编钟的研究，发现同一个编钟能发出大三度或小三度或四度两个乐音，这对中国乐律系统的认识，是一个革命性的突破。从1979年起，任中国民间音乐五大集成主编。这是全国艺术学科七五规划的重点科研项目，也是中国音乐建设的一项宏伟工程。
他是第五、六届全国人大常委会委员。现任中国音乐家协会名誉主席。从30年代起，他从事音乐事业60余年，用歌声唤起民众走上消灭日本侵略者和推翻蒋家王朝的战场，鼓舞人们用自己的劳动去创造幸福的今天与更美好的未来。2002年1月5日在北京逝世，终年92岁。