清光绪二十九年（1903）癸卯科会试，遂以三甲进士钦点为翰林院庶吉士。不久，清廷在京师大学堂设进士馆，有癸卯进士百余人于1904年春入馆学习新学，接受新式的学堂教育。1906年十二月，林步随以“最优等”的优异成绩从进士馆毕业，“授职翰林院检讨并记名遇缺题奏”。1907年四月十三日，林步随列名于赴日游历的名单，取得了留日学生的资格。后来，林步随似未赴日游学，却奉命赴美当了中国留学生的总监督。
他是清末最后一代翰林，任翰林院编修。曾被派往美国任留学生总监督八年。这期间，他进入美国西北大学学习英语，攻读法学，并结交了
顾维钧、
颜惠庆、
施肇基、
王宠惠等中国外交官。北洋政府时代曾任国务院秘书长、铨叙局副局长、币制局副总裁、税务专科学校校长等职。他还担任过袁世凯的法律顾问
古德诺的翻译，将他著名的《共和与君主论》，由英文译成中文在《亚细亚日报》发表，在当时产生了巨大影响。北伐战争以后，他弃官从商，想走实业救国之路，和林轼垣、林灏深一起，把多年的积蓄几乎全部投资实业。他先后开办过山西汽车运输公司、通州电力公司，担任过天津聚兴诚银行经理等。但在军阀混战、政治动荡的年代，他们不断地被劫受骗，加上身为书生也不善经营，最终血本无归，家道中落，沦为寓公。林步随晚年常和
陈宝琛等清朝遗老轮流在各自的家里举行诗会。