王繇是唐中宗第三女定安公主和驸马王同皎的儿子。长大后，于开元十年（723年）娶唐玄宗长女永穆公主为妻。永穆公主是唐玄宗的爱女，但她和驸马都是性格老实规矩的人，《资治通鉴》就记载过一则李林甫党羽王鉷的儿子王准，欺负戏弄永穆公主和驸马王繇，身边人都气愤不已，而驸马夫妻却忍气不去告诉唐玄宗，最终息事宁人的故事。
王繇和永穆公主生有一子，叫王潜，也是老实人。小时候皇帝赏赐给他一些玩具，他一律不爱。长大了，有意给他配一个公主——那王家就是祖孙三代娶公主了，也算一段佳话。但他坚辞不受，做了个很清廉的官。
王繇死后，天宝七年（748年），永穆公主奏请出家为道士。遂将平康坊的家宅建为道观。