先后就读于日本赤穂寻常高等小学校(现长野県驹ヶ根市立赤穂小学校)、伊那中学校、松本高等学校。1943年10月东京帝国大学法学部政治学科入学。后入伍,任日本军二等兵、少尉。1946年复学、1949年毕业于东京大学法学部卒。1962年以《宪法制定权研究》获得东京大学法学博士学位。1949年任东京大学法学部助手(指导教师:宫泽俊义)。1952年任助教授。后赴美国哈佛大学法学院留学。1963年起任教授。1984年退休。后历任学习院大学教授、放送大学教授。1999年去世。
芦部对于日本的
违宪审查标准的确定有着极大影响,是重要的宪法学者之一。曾在中曾根内阁下担任“关于阁僚参拜靖国神社问题的恳谈会”的成员。芦部也是台湾宪法学者
李鸿禧的指导教授。