光绪卅一年，入松江融斋师范学堂读书，因反对好色嗜赌的学堂经理杨荫安而被开除。东渡日本，入早稻田大学攻读法政。并由同乡高天梅介绍，加入中国同盟会，改名剑虹。不久，受命回国，在上海和高天梅等创立中国公学，暗为同盟会秘密机关，从事革命。后立健行公学，和
柳亚子、高天梅、朱少屏等人任讲师，以《黄帝魂》《法国革命史》《荡虏丛书》等为教材，宣传爱国主义、民族主义和资产阶级民主革命思想。同盟会在东京出版的《民报》《复报》《洞庭波》《鹃声》《汉帜》等报刊，经常通过健行公学散发出去。
光绪三十二年（1906年）秋，第二次去日本，接办《民报》和《醒狮》周刊，并担任暗杀部副部长。当时，他经常去听
章太炎讲课，陶遗之名，就是章为他改的，意为“陶唐氏之遗民”。翌年，任同盟会江苏分会长。这年初夏，他奉命谋刺两江总督端方，因叛徒告密被捕，经营救一年后获释。端方曾用官职笼络他，遭到拒绝。出狱后写诗明志，有“死别未成终有死，生还而后始无生”句。
宣统元年（1909年），柳亚子等人发起组织南社，他为其中骨干。宣统二年，受命去南洋执教，并为同盟会募集革命经费。翌年3月，黄兴、赵声等准备去广州起义，他应召从南洋赶赴广州，刚到香港，广州黄花岗起义已提前举行并遭失败。
民国元年（1912年）8月，同盟会改组为国民党，他当选为国民党江苏省支部长，随孙中山、黄兴等往北京和袁世凯会谈。次年3月，袁世凯暗杀了宋教仁，孙中山、黄兴号召南方各省反袁失败而出国流亡，他回家隐居。
民国14年冬，军阀孙传芳割据苏、浙、皖、赣、闽，自称五省联军总司令，提出“苏人治苏”口号，他被张一麟推荐，到南京就任江苏省长。任职期间，尽力维护地方治安；重视农业，关心治螟；废除若干苛捐杂税，减轻人民负担；还提议收回租界。
民国15年某日，他得悉孙传芳密令吴江县公署逮捕柳亚子，即派亲信星夜赶赴吴江黎里通报，使柳幸免于难。民国16年初，他劝说孙传芳联合北伐军，未被采纳，遂愤然挂冠而去。
侵华日军总司令冈村宁次也上门来“请”，他不为所动。抗日战争胜利后，他看到国民党接收人员巧取豪夺，非常气愤，告诫小辈不要做官。民国35年（1946年），国民党要他出任上海市参议会会长，遭到拒绝。是年4月27日，他在贫病忧愤中去世。黄炎培等人为他举丧，乡邻友好称他“贞毅”先生。