崔可夫1900年2月12日出生于贫苦农民家庭里，1917年在俄波罗的海舰队当水兵。十月革命后加入红军。1919年加入苏共。苏联国内战争期间，历任连长、团长，并获得两枚红旗勋章。1922年8月进入伏龙芝军事学院第五期学习，1925年8月毕业后继续在伏龙芝军事学院东方系中国部深造，在此期间学会了汉语，1927年毕业后被派往中国担任军事顾问。1929年参加了因中东路事件而爆发的中苏战争。
大清洗期间，崔可夫等年轻军官得以快速提升，以填补那些被清洗掉的高级将领留出的空位。1938年崔可夫已经是集团军司令，少将军衔。1939年9月崔可夫指挥第4集团军参加了入侵波兰的行动。在其后的苏芬战争中崔可夫担任第9集团军司令，但因作战不利被解职。
1940年因有出使中国的经历，且通晓汉语，崔可夫被斯大林选中再次出使中国，担任苏联军事顾问团团长，成为蒋介石的军事顾问。在华期间，崔可夫除协助中国抗日外，还大量收集了中日两国情报，并据此准确判断出日本帝国南进的可能性更大。
苏德战争爆发后，崔可夫请求回国参战，1942年3月崔可夫结束了在中国的使命回国。5月被任命为第64军团副司令，7月率部开赴斯大林格勒前线，9月被派往第62军团担任司令，崔可夫指挥部队一次又一次地击退了数倍于己的德军进攻，完成了苏联最高统帅部“不许后退一步”的任务。因在斯大林格勒战役中的英勇表现崔可夫获得“苏联英雄”称号。
1943年4月第62军团被改编为第8亲卫军团，崔可夫担任司令并指挥该军团参加了库尔斯克战役、白俄罗斯战役、明斯克战役、维斯瓦河—奥得河战役、东波美拉尼亚攻势，一直到纳粹德国柏林。其间崔可夫又一次获得“苏联英雄”称号，并晋升为上将军衔。
战后，崔可夫先后担任驻德苏军副总司令、总司令，基辅军区司令员，-副部长，陆军总司令等职，1955年获苏联元帅军衔。
崔可夫元帅着作颇多，主要有《集体英雄主义的集团军》、《战火中的180天》、《空前的功绩》、《在乌克兰的战斗》、《斯大林格勒近卫军西进》、《在战火中锤炼青春》、《第三帝国的末日》、《本世纪之战》、《在华使命》、《斯大林格勒∶经验与教训》、《从斯大林格勒到柏林》等。