胡文森生於一九一一年四月十七日，曾在英文书院就学，但父亲却是典型的书塾老师，胡文森从父亲处承传了深厚的国学修养。他两位姐姐胡淑英（艺名“陈皮梅”）、胡淑贤（艺名“陈皮鸭”）是一九三○年代的著名粤剧艺人，酷爱音乐的胡文森受影响下也不知不觉走近
粤剧粤曲界去，得到机会为歌伶撰写粤曲曲词。
现在能见到的胡文森最早撰写的粤曲词，是在一九三五年的时候写给小
明星演唱的《夜半歌声》。记得小明星英年早逝，其後有一首悼念她的粤曲唤作《星殒五羊城》，开始的一段调寄《平湖秋月》曲词，其实就是胡文森作的《夜半歌声》的第一段曲词，如此搬字过纸，旨在引起听众对小明星的印象和思念。不过，现在若再听到这一段《平湖秋月》唱词，怀念的应不止小明星，还有胡文森。
胡文森一生所写的粤曲，即使未必数以千计，也肯定数以百计。比较特别的是他写的俱是歌坛粤曲、唱片粤曲，又或是用於
电影或电台播唱的粤曲，可是从未写过在舞台上
演出的粤剧剧本。胡文森的粤曲创作水平甚高，当时人们誉吴一啸为“曲王”、王心帆为“曲圣”，而胡文森亦有“曲帝”之美誉，三人在粤曲撰词方面鼎足而立，是一时之瑜亮。五十年代初，胡文森曾任幸运唱片公司的撰曲主任，也彷佛成了该公司的“御用”撰曲家，现在流传下来的幸运公司的粤曲唱片，大多数是由胡文森撰曲的。其实在三、四十年代，胡文森也曾主理过“歌坛”，所以他非常懂得伶人在曲词上的需求。
生活在上世纪上半叶的殖民地之中，胡文森既受英文书院教育，於是十分锺爱看西方电影，并且率先用中词填入西洋曲调放到粤曲中去，又不时把西片故事移植进粤曲曲词内，比如说平喉四大天王徐柳仙的名曲《魂断蓝桥》，便是根据同名西片的故事来创作的，还把该影片的插曲《Auld Lang Syne》填词，用於这支粤曲。又比如另一阕胡氏的粤曲作品《魂归离恨天》，其原形是荷里活三十年代末的同名电影，这部西片是据名著《咆哮山庄》改编的，主演者是罗兰士奥莉花、玛莉奥勃朗。这阕《魂归离恨天》，现存录音的有女薛觉先和上海妹合唱的版本。
说胡文森的粤曲曲词作品，不仅有像写给小
明星的《风流梦》（近期的武侠
电影《一代宗师》中也能听到一点片段）、《无价美人》或刘凤的《肠断大江东》等优雅词章，也有不少为人津津乐道的慷慨激昂、讽刺时弊之作，如徐柳仙的抗战粤曲《血债何时了》、小明星的抗战粤曲《人类公敌》，又或是写文天祥一心报国的《忠义撼山河》（靓次伯、罗丽娟合唱）、讽刺贪官的《介之推》（梁无相、梁无色合唱）等，都是别开生面的。
胡文森长年累月为粤曲界及电影界的曲词创作付出过度的脑力劳动，染上肝病，时有复发。一九六三年末，他肝病再复发而终告不治，於是年十二月十四日去世，享年只有五十二岁多，委实可惜。