他出生于书香门第,自幼颖悟聪慧,9岁时,父亲教授唐诗,读到“即从巴峡穿巫峡”,他立即应答道:“此可对‘直把杭州当汴州’。”稍长,以县试第一名考中秀才。27岁,考中举人。
壮年时,应友人邀,“别乡里,陟关塞,渡辽河,绝沙漠”,至松花江畔哈尔滨,主持《远东报》。为谋生,张素前后在白山黑水间盘桓了十余年,年近五旬方萌生归意。南归后,应同里好友姜若之请,往返苏、浙、沪间佐政、治史。
张素深受
杜甫、
陆游的影响,少年时取陆游“寒与梅花同不睡,闷寻鹦鹉说无聊”的诗意,把居室命名为“闷寻鹦馆”,其诗风沉郁顿挫、慷慨雄健,和他沉稳的性格很契合。
1909年11月13日,
柳亚子和陈去病 、高天梅在苏州虎丘成立中国近代第一个以诗文鼓吹革命的文学社团体南社,首批社员共17人,其中有丹阳的林立山 。1911年2月6日,林立山介绍同乡挚友姜胎石和张素加入南社 ,张素的入社号是113。1912年5月29日,姜胎石和张素 、胡尹皆又介绍其二弟
姜可生加入南社。在南社里,张素不是辛亥前后政坛上的风云人物,只是普通一员而已,但他始终和南社主流的政治主张同心。