从
东汉时期开始，“山东”不再指崤山以东，而是指
太行山以东。汉代有时候也将“山东”视为齐鲁地区的代称。关于这一点，清代著名学者
钱大昕就在《十驾斋养新录·山东》进行过考证：“ 汉时亦有称
齐鲁为山东者，如《酷吏传》：‘御史大夫宏曰：臣居山东为小吏时， 宁（人名）成为济南（郡）都尉。’”
盛唐，指
太行山脉以东，包括现在的河北省、
山东省，河南省北部。这时的“山东”，范围比春秋战国的“山东”，范围大大缩小。《
史记·晋世家》提到了春秋时期发生的这么一件事：“冬十二月，晋兵先下山东。”意思是，寒冬腊月，盘踞在山西的晋国，出兵山东——这一次军事行动引发了史上著名的
城濮之战，城濮在今天山东省
菏泽市
鄄城西南地区。晋国出兵华北平原，无须经过崤山，而是要跨过
太行山，这里的山东，说的就是
太行山以东地区——虽然得名原因跟今
山东省相同，但这里仍是泛指。
安史之乱时期，长安已经沦陷，这时候诗词中出现的“山东”也指的是
太行山以东。如
杜甫《洗兵行》：“中兴诸将收山东，捷书夜报清昼同。” 后人仇兆鳌在这里标注：“ 山东，河 北也。 安禄山反，先陷河北诸郡。”翻译成白话就是：将军们收复的山东，指的是
安禄山作乱的黄河下游以北地区，大致为今
山东省西北部到河北省一带。
唐之后的五代时期，“山东”也常常指今河北到山东一带。如《新五代史·张源德传》： “晋已先下全 燕 ，而 镇 定 皆附于晋 ，自河以北、 山以东皆归 晋 。”根据前后文，这里“山以东”说的是
太行山以东、黄河以北地区。
到了宋金时期，作为行政区的“山东”正式出现，金朝设置了“山东西路”“山东东路”，覆盖今山东省大部分地区及江苏北部一小部分。这里的“山”，也是太行山，这里的“山东”也是今天山东省名称的渊源和出处。
宋朝，“山东”范围继续缩小，大多数时候就指现在的
山东省了。而山东正式作为行政区在世界上出现是在金朝，到了明朝山东的管辖区才出现与山东省现在更为接近的称呼。
元、明王朝延续了这一传统，后来先后有“山东东西道宣慰司”（元代机构，介于省、路之间的一种机构，属中书省管辖）、山东承宣布政使司（明初设立，习惯上称山东行省），至此，山东省版图基础确立。
明朝，全国设两京十三布政使司。山东布政使司包括今天的山东省、河北省，以及北京市、天津市。这就意味着，明朝时期，山西山东的分界线为
太行山。