中国人民解放军某部八连，在关连长带领下整训待命，随时准备投入解放上海的战斗。他们在整训中刻苦学习文化，以适应革命形势的需要。关连长和八连战士都出身贫苦，没有读过书，因此在整训学习中困难重重，但在连指导员和文化教员的帮助下，取得了良好的成绩。上海战役打响后，上级让八连作为预备队，继续待命。眼看战斗进入激烈阶段，关连长与八连战士个个摩拳擦掌，纷纷写保证书请缨，终于得到上级批准。他们奉命迂回到敌后，正待向敌军指挥所发起攻击，关连长发现敌军据守的指挥所却是一座孤儿院，楼内有数百名孤儿。关连长当机立断，决定放弃使用炮火，改用白刃战。连队战士终于在保护孤儿们生命安全的同时消灭了全部敌军，而关连长却永远地倒下了。
《关连长》上映后，观众和一些评论家的反映竟然大相径庭，评论家认为影片“歪曲”了解放军的形象，观众则认为“关连长这个人真可爱！”不管怎么说，
石挥塑造的关连长是是新中国银幕史上第一个具有鲜明个性的、富有立体感的解放军形象。