哈尔滨中俄工业学校是哈尔滨工业大学的前身，创建于1920年，当时设铁路建筑和电气机械工程两个科，主要为铁路培养技术人才。

哈尔滨中俄工业学校的创建，同沙俄在中国建设“东清铁路”有直接关系。（后称“中东铁路”；1945年抗日战争胜利后，又改称“中长铁路”）19世纪末，帝国主义列强掀起了瓜分中国的狂潮，哈尔滨的地理位置及其优越的水陆交通条件，使之成为俄国沙皇政府在我国东北最先攫取的一块土地。1895年2月，沙皇政府开始制订西伯利亚铁路穿过中国东北到达海参崴的计划。这个计划是从满洲里直接穿过东北到达绥芬河，而不用沿着中苏边界绕道修筑铁路，可以缩短行程1000余公里，大大减少运营时间，获得巨大的经济效益，中东铁路（即“东清铁路”）于1877年8月开始修建，1903年7月14日竣工通车。以哈尔滨为中心，西至满洲里，东至绥芬河，南至旅顺口，中东铁路全长2400余公里。中东铁路建成以后，特别是在俄国十月革命成功以后，大批俄国铁路工程技术人员及其他工业技术专家携家带眷纷纷来到东北，大都集中到哈尔滨。到这里来的商人、传道教士以及形形色色的俄国人与日俱增。大批高级技术人才的到来，为建立哈尔滨工业大学提供了师资条件，而俄籍铁路员工子女又有着接受高等教育的迫切要求；中东铁路运营业务的迅速发展，也急需补充大量的铁路工程技术人员。哈尔滨工业大学正是在这种背景下诞生的。

哈尔滨中俄工业学校是1920年5月开始筹建的。同年8月5日，成立了哈尔滨中俄工业学校筹建协会。中东铁路理事会主席宋小廉将军为名誉主席，中东铁路管理局局长德·勒·霍尔瓦特将军为主席。9月9日，筹建协会推举阿·阿·摄罗阔夫工程师为哈尔滨中俄工业学校首任校长；10月17日，举行开学典礼，哈尔滨中俄工业学校宣告成立。校址在哈尔滨市南岗区公司街41号，即位于现在的原哈尔滨建筑大学教学楼后院。哈尔滨中俄工业学校首届三个班共招收103名学生，实行学分制，学制四年，一律用俄语教学。

1922年4月2日，由于哈尔滨中俄工业学校的声望日益提高以及工业迅速发展的需要，哈尔滨中俄工业学校筹建协会全体成员会议决定，将哈尔滨中俄工业学校改名为哈尔滨中俄工业大学校。学制由四年改为五年，招收中学毕业生，讲授的课程作了相应的改变。原来开设的两个科分别为铁路建筑系和机电工程系。培养目标：铁路建筑系为交通工程师，机电工程系为电气工程师和机械工程师。哈尔滨中俄工业大学校毕业生，经考试委员会答辩合格，授予工程师称号。

1923-1924学年，第一次录取31名女大学生。

1924年10月，哈尔滨中俄工业大学校有了首届毕业生。铁路建筑系22名毕业生都获得了工程师称号。

1925年，机电工程系有了第一期毕业生，共25人，获得工程师称号。1925年12月4日，首任校长阿·阿·摄罗阔夫因病离职，勒·阿·乌斯特鲁格夫继任校长。

1928年1月，铁路建筑系改为建筑工程系，50年代初期改为土木建筑系。

1928年2月4日，学校隶属关系发生变化，改由中华民国东省特区领导，校名改为东省特区工业大学校。东省特区行政长官张寰湘将军担任校理事会主席，东北政府国民教育部总长刘哲任校长。刘哲是哈尔滨工业大学的第一位中国校长。

1928年10月20日，东省特区政府和中东铁路董事会达成协议：东省特区工业大学校将法政学院和商学院并入，学校正式定名为哈尔滨工业大学，由中苏共管。按对等原则，共同派人组成理事会，双方各派5名代表。张学良将军任哈尔滨工业大学理事会主席。推选刘哲再任哈尔滨工业大学校长，副校长是勒·阿·乌斯特鲁格夫教授（原第二任校长）。

1928/1929学年在校生815人。

1931年春，开始招收研究生。机电工程系的任栋梁，建筑工程系的王竹亭、夏树森3人是哈尔滨工业大学首届中国籍研究生。

1931年秋季开始，学校开设了第三个系商业运输系，该系于1935年停办。

随着日本帝国主义入侵东北，哈尔滨工业大学逐步被日本人接管。1932年，伪满洲国政府从中东铁路聘请26名工程师来校任教和充任领导工作；解聘12名苏俄教授和教员。新组织起来的教师队伍，对教学工作不够熟悉，影响了正常的教学活动。从这一年起，学校经费锐减。

1933年，伪满洲国政府拨给经费5.3万金卢布，仅为原有经费的1/4；1934年又锐减2.5万金卢布。在这种动荡不安的形势下，不少学生纷纷离校。

1933年6月24日，校长易人，刘梦庚任哈尔滨工业大学校长。

1935年，学校完全被日本帝国主义侵占接管，除少数行政人员外，学校其他人员都被解雇离职，改用日语授课；学校指定招收中、日籍学生。经费由伪满教育部拨给。

1935年1月23日，王宇清任哈尔滨工业大学校长。

1936年1月1日，伪满洲国文教部命令哈尔滨工业大学改名为国立哈尔滨高等工业学校，系、科设置未变，学制为四年。

1937年，学校建立了电机、机械、化学、采矿、建筑、冶金等六个系。所有课程完全由日语授课。

1937年开始，哈尔滨工业大学由日本人任校长。日本人铃木正雄从1937年4月任校长，直到1945年8月15日离任。

1938年1月1日起，国立哈尔滨高等工业学校改名为哈尔滨工业大学。

从此，哈尔滨工业大学的校名就一直沿用下来。

1920年至1922年为四年制；1922年至1930年为五年制；1930年至1945年为四年制；1945年以后又恢复为五年制。五年制的教学计划是根据前苏联同类性质的高等工业学校的教学计划制定的。

1920年学校创办初期，学制四年，实行学分制，一律用俄语进行教学，按俄国规章办学，即俄式办学。学校有严格的考试制度。每学年有两次考试。考试方式多采用口试。毕业答辩设立特殊的考试委员会，由该校教学人员和中东铁路的高级职员组成，一般有十六七人之多。经考试委员会答辩合格，才准予毕业，并授予工程师称号。1936年12月，学校决定取消俄语教学，从此不再招收俄文班学生。但学校对原有的俄文班学生仍按原来的教学计划、教学方式用俄语讲课。最后一批用俄语授课的学生于1938年12月全部毕业。取消俄语制的决定，宣告了俄式办学告终。从1937年1月以后，学校完全转入按日本方式办学阶段。授课的语种由俄语改为日语，学制四年。学校不再招收俄国学生，只招收中国、日本、朝鲜学生。学校经费被列入了伪满洲国预算。把分科教学制改为年级教学制，教学方法也进行了大改革。学校体制及一些相应的制度都改变成为名副其实的日本式国立高等工业学校的模式。

从1920年建校起到俄文班最后一批学生1938年末毕业，按俄式办学的哈工大共培养毕业生1267人，其中中国学生382人，占30%；前苏联及波兰人885人，占70%。这些毕业生分布在中国大陆及台湾、香港和前苏联、澳大利亚、波兰、美国、加拿大、新西兰和巴西等世界各国。俄语班学生在校学习的特点是：普遍地接受了西方早年的学制教育，获得了当时欧洲先进的科学技术知识。因此，哈工大的毕业文凭得到前苏联等欧洲国家的承认。许多毕业生以他们在哈工大取得的全部考试成绩顺利进入世界著名大学深造，取得更高的学位。在国外的哈工大毕业生，都能够以完全称职的工程师或技术专家的身份，在许多国家里工作，在经济、科学技术研究及教育事业中为人类作出贡献。

解放前的30年，哈尔滨工业大学培养了许多在科技教育界享有声望的学者，也有的成为社会活动家。例如，1934年毕业的范绪箕教授曾任上海交通大学校长；1940年毕业的王竹亭教授曾任北方交通大学

早在1925年，学校就有了中国共产党党员。1926年哈尔滨市学生党支部成立，有哈工大4名学生党员。1931年建立了学生党团支部。在中共北满地委直接领导下，哈工大地下党组织在反对瓜分中国的《九国条约》、声援“五卅”运动、反对日本在东北修筑“五路”斗争中，积极宣传抗日，组织反满抗日活动。哈工大的地下党员和进步青年，在反动势力实行黑暗统治的岁月里，利用各种机会，采取灵活形式，为维护中国人民的尊严和权益，为中国人民的解放事业，进行着英勇顽强的斗争。孟兆麟、苏丕承等一些优秀地下党员和爱国青年在抗日斗争中献出了年轻的生命。他们的图章、学习笔记等遗物，现展览在东北烈士纪念馆里，永远激励着年轻的一代。

1945年“九三”抗日胜利后，哈工大由中苏两国政府共同管理，由中长铁路局领导。这时的办学宗旨是为中长铁路培养工程技术人员。学制五年，一律用俄语上课。教学计划和教学大纲都是教学人员自己编制的，其基本内容和前苏联高等工业学校的教学计划和教学大纲大体相似，到1950年新中国接管前，设有土木建筑、电气机械、工程经济、采矿、化工和东方经济等系及预科。这时的哈工大不仅有所发展，而且积累了一定的办学经验，为新中国接办、改造和发展哈工大提供了一定的物质条件。