1952年，杨在葆考取了宿城一中，在校期间担任了学生会文娱部长，常组织周末晚会，并亲自参加话剧《民主青年进行曲》、《方珍珠》等。1955年，杨在葆考入了上海戏剧学院表演系。1959年，毕业于上海戏剧学院表演系，后担任上海青年话剧团的演员。
1960年，参演个人首部电影《
红日》。1964年，出演根据周而复同名作品改编的传记电影《
白求恩大夫》。1965年，在上海电影制片厂担任演员，并与
达式常合作主演了剧情电影《
年青的一代》；同年，与
李玲君共同主演剧情电影《
这是我应该做的》。
1971年，杨在葆因被诬陷为“现行反革命”，而入狱4年3个月14天。1976年，与
袁岳、王定华联合主演剧情电影《
江水滔滔》。1977年，与潘军、
仲星火联合主演根据郭澄清同名小说改编的剧情电影《
大刀记》。1979年，与张金玲合作主演战争电影《
从奴隶到将军》，在片中饰演始终追求真理、不屈从于恶势力的罗霄将军。
1983年，主演由文彦执导的剧情电影《
血，总是热的》，在片中饰演既能指挥全局、又善于身体力行的厂长罗心刚，该片根据同名话剧改编，以1979年中国经济体制急需变革为背景，他凭借该片获得第4届金鸡奖最佳男主角奖、第7届百花奖最佳男演员奖。1984年，与许还山共同主演剧情电影《
双雄会》，在片中饰演为人狡诈多变的农民起义领袖张献忠，该片根据姚雪垠的长篇小说《李自成》改编。
1985年，自导自演剧情电影《
代理市长》，在片中饰演敢为人民说实话、办实事的代理市长萧子云，他凭借该片获得第9届百花奖最佳男演员奖。1986年，执导由
温锡莹、
田华合作主演的剧情电影《党小组长》。
1988年，与
刘晓庆共同主演改编自曹禺同名话剧的剧情电影《
原野》，在片中饰演粗野刚烈、勇于反叛的仇虎。1998年，自导自演剧情电影《
昨日的承诺》。2002年，由其出演的战争电影《
绥远之光》上映。2003年，出演由
虎子执导的犯罪剧《
终极目标》。2007年，在古装剧《
卧薪尝胆》中饰演吴王阖闾。2014年2月4日，获得全国德艺双馨10周年大型公益活动“德艺双馨终身成就奖”称号。
1936年，杨在葆的父亲因脑溢血而逝世。杨在葆的第一任妻子是夏启英，在主演电影《血，总是热的》期间，夏启英因尿毒症不治而逝世。1984年，在电影《双雄会》中，与比他小22岁的陈丽明相识；后来，两人结婚。1996年，儿子杨冶天患了尿毒症。后来，陈丽明生下女儿杨小卉，她是杨在葆三个孩子中唯一一个学电影的孩子。
杨在葆不是眉清目秀、温文尔雅的奶油小生，而是粗犷健壮、个性鲜明的男子汉，他有着刻苦钻研和兢兢业业的艰苦创业精神。而且，他还是个进取心强，对艺术充满激情而不肯休息的人（《电影评介》评）。
在电影《血，总是热的》中，杨在葆追求着一种含蓄、深沉的美，他将人的热烈、奔腾的感情深藏在心底，以饱满的内心感受和极其控制的表情和形体，展现了角色内在的激情，杨在葆又以他那紧锁的双眉和深沉的眼睛，以他那刚毅、稳重的气度，以及那宏亮中带有沙哑的嗓一音，在内心动作、外部动作、语言动作的细微变化中，将罗厂长精神世界的全部准确地、完美地传递给观众。他所塑造的罗厂长形象，具有着角色应有的性格之美和容貌、形体、声音、表情之美，所以全身上下透露出一种难以言喻的气质美（《电影新作》评）。