父亲是海军军医。在他10岁那年就病死了，1921年进入东京大学哲学系。1922年留学德国，接触表现派、构成派的美术、戏剧和舞蹈。1923年回国。次年参加刚刚成立的筑地小剧场，担任乔治·凯泽的《从清晨到午夜》一剧的舞台设计。1925年参加
河原崎长十郎等人创建的心座剧团，开始由达达派倾向转向日本无产阶级文艺。1926年同
佐佐木孝丸、佐野硕、
千田是也等组织劳农艺术家联盟(简称“劳艺”)，1927年，村山知义和
藏原惟人等组织前卫艺术家联盟，创作了具有社会意义的剧本《勇敢的主妇》、《解放的堂吉柯德》、《穿裙子的尼禄》，1928年，成立东京左翼剧场，村山知义担任领导工作。1929年发表被称为日本无产阶级戏剧代表作的《暴力团记》和根据
德永直原著改编的《没有太阳的街》(1930)等，歌颂中国工人运动史上有名的“二七”大罢工，抨击帝国主义和中国军阀对工人运动的镇压。
1931年参加日本共产党，从1931年除夕到1932年1月20日，左翼剧场还组织了一次包括18台节目的、总称为“红色喇叭” 的演出。 其中包括村山知义创作的剧本《今年还是这样》。此外，他还创作了中国题材的剧本《最初的欧罗巴之旗》(《鸦片战争》)、《东洋车辆厂》、《胜利的记录》等。1932年被捕，1933年出狱，发表小说《白夜》。1934年，无产阶级戏剧同盟被迫解散，在他倡议下又组成了新协剧团。1937年创建“新协剧团”，演出久坂荣二郎和
岛崎藤村等人的戏剧，培养和团结了一批进步的演员。1940年再度被捕，剧团被强行解散。出狱后前往朝鲜。
日本战败后回国重新组织新协剧团。他的作品还有描写战后初期渔民苦难生活及其觉醒的剧本《死海》(1932)，戏剧评论《新剧的再建》、《现代演出论》和长篇小说《新选组》、《天国地狱》等。1959年改组为东京艺术座。1960年，日本5个主要话剧团组成日本新剧访华团，首次到中国访问演出，村山知义担任团长。 村山知义曾将中国小说《红岩》改编为2幕9场话剧，在东京艺术座上演。1965年参加日本民主主义文学同盟，成为副议长。1974年，在多方面的活跃。著有回忆录《演剧的自传》。