山东的名称最早出现在战国时期，当时关中的秦人将崤山或华山以东的地区称为山东，有时也泛指秦以外的六国领土。

到了唐代和北宋时代，人们开始将太行山以东的黄河流域广大地区称作山东，到了唐代末年，有人用山东专指齐鲁之地。

金代时期，设置了山东东、西二路，山东才真正成为政区名称。明代初期设置山东行省，后改称山东承宣布政司。清朝初年，设置山东省，“山东”正式成为本省的专称。