胶东半岛是我党工作基础较好的地区之一。1937年12月，日军从海上登陆进攻青岛、烟台等地，胶东地区形势紧张，原胶东特委书记理琪，立即在文登县召开特委扩大会议，决定发动抗日武装起义。
1938年1月19日成立了“胶东军政委员会”，理琪任主席，吕志恒任副主席。同时成立“山东人民抗日救国军第三军”，理琪兼任司令，林一山任政治部主任，下辖2个大队、1个特务队。
掖县在1937年冬也组建了一批群众武装，并与该县国民党员赵森堂的一支武装联合成立“掖县民众抗敌动员委员会”。1938年1月县委又先后争取了全县10个区的大部分区队。3月8日，各路部队汇聚于掖县城北的玉皇顶，翌日攻克掖县城，俘伪县长刘子容及其保安队、警卫队全部。“掖县民众抗敌动员委员会”改名“胶东抗日游击第三支队”，郑耀南任支队长，张加洛任政治部主任，赵森堂任参谋长。
1938年5月6日，平度国民党顽固分子张金铭在第三支队拒绝为其改编后，勾结招远、栖霞、莱阳等县土顽部队，悍然进攻第三支队。由山东人民抗日救国军第三军、八路军鲁东游击队和第三支队组成“胶东抗日联军”，在夏邱堡一带击溃了顽军主力，消灭张金铭部200余人。