1918年，金山进入私塾读书，课余对文明戏、苏州戏曲发生兴趣，并模拟表演。1921年，进入上海徐汇公学。1927年，因得罪神父而被校方开除。后来，在西园寺的国民革命军第十七教导团当兵。
1932年，加入中国共产党，并主办了日报《远东时报》；同年，与
章泯等组织东方剧社。后来，加入左翼戏曲家联盟。1935年，与
赵丹等创建了上海业余剧人协会；同年，主演个人首部电影《昏狂》。
1936年，与
王莹成立四十年代剧社；同年，与
王人美共同主演由
史东山执导的爱情电影《长恨歌》，在片中饰演玩弄女性的坏蛋；此外，还主演了根据
果戈理作品《
钦差大臣》改编的剧情电影《
狂欢之夜》。1937年，与
胡萍合作主演爱情电影《
夜半歌声》，在片中饰演旧民主革命时期的革命者宋丹萍；同年，与
顾兰君合作主演古装电影《
貂蝉》。
1942年，主演话剧《屈原》。1947年，自编自导抗战电影《松花江上》，该片由
张瑞芳、
浦克共同主演。1948年，担任剧情电影《
小白龙》的制作人，该片由
朱文顺执导；同年，担任战争电影《
哈尔滨之夜》的制作人。1950年，主演话剧《保尔·柯察金》。1954年，参演话剧《万尼亚舅舅》。
1956年，执导根据舒慧同名戏剧改编的剧情电影《
黄花岭》。1958年，执导改编自田汉同名话剧的科幻电影《
十三陵水库畅想曲》，该片由
邓止怡、姜祖麟、吴雪联合主演。1959年，自编自导自演革命电影《
风暴》，在片中饰演风云变幻时代中的工人领袖施洋。
1978年，执导话剧《于无声处》；同年，担任中央戏剧学院院长、中国电视艺术委员会主任等职务。2005年，在中国电影诞生100年之际，金山被评为“中国电影百位优秀演员”。
1942年，在重庆排演话剧《屈原》时，结识了
张瑞芳，两人在剧中分别扮演屈原和婵娟，相恋并结为夫妻。两人在一块儿演戏，能互相交流和欣赏，但作为丈夫，金山却在生活中表现得不负责任，性格独立要强的张瑞芳还是选择结束这段婚姻。
1950年，在参演话剧《保尔·柯察金》时与
孙维世相恋；10月14日，金山与孙维世在北京青年宫举行结婚典礼。
金山有着独特的艺术构思。在电影《风暴》中，他以精湛的演技，真实地塑造了革命知识分子的英雄形象，把人物真挚、朴素、博识、机敏而有时不免带有激动、急躁的性格特征，刻画得淋漓尽致，生动感人（网易评）。
着意塑造具有鲜明个性特征的典型人物形象，这是金山表演艺术最根本的特点。他牢牢抓住塑造典型人物的原则，不断创新，努力探求与众不同的惊人之笔，不达目的誓不罢休。因此，他创造的人物形象，都有鲜明的个性特征，绝无雷同之感，也非金山本人，而是特定的“这一个”。这些闪光的艺术形象，风姿绰约，具有特殊的艺术魅力。他在表演中非常注意挖掘和体现角色的核心。在创造人物形象的过程中，金山十分重视体验和体现的有机结合，并通过长期的艺术实践形成了自己独特的表演风格——深刻的体验、巨大的激情和准确而富有表现力的美的形式的统一。他能够挖掘出人物灵魂深处的东西，善于在尖锐的矛盾冲突中使人物的激情由积累、控制到爆发，具有极大感染力（《人民戏剧》评）。