吕光午，生卒年不详，一名文，字正宾，号四峰，别号长离，吕世东之子，也是吕光洵之兄弟，他与其胞兄吕光升（字尚宾，号对明，又号莲峰）与徐渭、杨珂（秘图）相往来。并与他们结社,号称“越中十子”。志载称他们“诗词翰墨，号称两绝”，皆当时才俊。吕光午师事泰州学派宗师何心隐，为人倜傥不羁，有膂力，善诗文，工真草，兼苏黄笔法，更善画，喜谈兵，谙韬略，与徐渭杨珂等有诗文唱和。早年绝意功名，好读古书，喜壮游，颇多传奇故事流传于世。
吕光午得宋杭州刺史张咏古剑法真传，嘉靖年间，倭寇骚扰东南沿海，浙江督抚胡宗宪养僧兵于杭州禅寺，吕光午与一少年入寺，为僧兵戏弄，怒击五百人，皆流血被面，被称为“天下勇士”，徐渭作诗赞曰：“幕府厅前脚打人，夜报不周崩一壁。”又倭寇围困桐乡，形势甚危，吕光午逾城击倭，解其围，徐渭又作诗赞之：“有如前日桐乡之围无吕君，却是睢阳少南八。吕君虎腰额虎额，万橹梯城双臂格。”比喻他为唐安史之乱中睢阳解围之猛将南霁云。又督抚阮鹗被倭寇困于桐乡，吕光午单骑破围，杀倭数百解围，阮鹗感激涕零，欲封官与他，被他谢绝，遂赠米五百石作为酬劳，吕光午全部分给当地饥民，而以空囊而归，其仗义疏财如此。徐渭送吕光午参加金山口抗倭战争时，有《赠吕正宾》诗：海气扑城城不守，倭奴夜进金山口，铜签半传鸊鹈青，刀血斜凝紫花绣。天生吕生眉采竖，别却家门守城去，独携大胆出吴关，铁皮双裹青檀树。楼中唱罢酒半曛，倒着儒冠高拂云。从游泮水践绳墨，却嫌去采青春芹。吕生固自有奇气，学敌万人非所志，天姥中峰翠色微，石榻斜支读书处。
其击倭寇时，每于倭酋之腰夺其刀，解桐乡之围后，吕光午邀请徐渭做客新昌，席间，赠以倭刀，徐渭以《正宾以日本刀见赠，歌以答之》为题赋诗作答：“杀倭之首取腰下，赠我宝刀人一口。”万历初年，关白（日本）犯朝鲜，下诏聘天下谙将略者七人，吕光午居第二，辞不赴诏。
吕光午乃何心隐弟子，为其奔走效劳，不遗余力。陈士业《答张谲宿书》有云：“弟又闻心隐之门人有吕光午者，浙之大侠也。其人与文之奇，不减心隐。心隐尝以金数千畀光午，使走四方，阴求天下奇士。光午携蒯缑，衣短后之衣，挟健儿数辈，放浪湖海，穷九塞，历郡邑。所至凡缁衣黄冠，与夫商贾驵僧，佣夫厮养，以至椎剽掘冢之流，备一节之用，擅一得之长者，皆籍记而周旋之。以故心隐所谙奇士，尽于海宇”。张居正诛何心隐，暴尸于朝天门，卫以羽林数千，月下有两人负其尸以去，吕光午仗剑殿其后，人莫敢仰视，有记载称吕光午“犯相国之怒，仰天大哭，收其遗骸，为之掩葬”。他与何心隐另一弟子敢于不惧权相张居正之淫威，其慷慨侠义的行为绝不可等闲视之。明笔记小说张大复《笔谈》载其事，后不知所终。
吕光午尚有书法作品传世，2013秋季拍卖会上北京百衲国际艺术品拍卖有限公司有其草书诗贴立轴落款为“戊辰（即1568年）夏日四峰”作品参加拍卖。其介绍云：吕光午，吕世东子。为人勇猛，抗倭屡立奇功，徐渭有诗盛赞。善诗文，精絵事。书法最擅真草，有苏黄笔意。