西周境內有禹國及魯國啟陽、中邱等邑。

啟陽，乃今臨沂城最早名稱。

春秋末期為魯國地。

戰(zhàn)國后期歸楚國。

秦為啟陽縣，屬郯郡。

西漢時，為避景帝劉啟諱，啟陽易名為開陽。

元封五年（前106），在今城北白沙埠鎮(zhèn)境內的諸葛城置臨沂縣、即丘縣，與開陽縣均屬徐州東�？�。

東漢建初五年（80），置瑯琊國于開陽。

北魏中期，瑯琊國改作瑯琊郡。

永安二年（529），為北徐州治所。

南朝宋移郡治于即丘，有臨沂、開陽二縣。

隋大業(yè)初年（605），將開陽、臨沂、即邱3個縣合并為臨沂縣，治今臨沂城。

唐武德四年（621年），在今郯城縣褚墩鎮(zhèn)西南部之蘭山腳下置蘭山縣，武德六年蘭山縣撤銷，轄境并入臨沂縣版圖（據《方輿紀要》）。

北宋時，屬沂州瑯琊郡。

爾后金、元、明、清幾朝，皆沿用沂州之稱。

明初，臨沂縣撤銷入沂州（即以州代縣）。

清雍正十二年（1734），沂州改稱府，府治周圍地區(qū)設縣，名為蘭山縣。

民國二年（1913）沂州府撤銷，蘭山縣恢復臨沂縣之稱。

新中國成立后，臨沂縣于1958年12月至1963年3月期間改稱臨沂市，后又稱為縣。

1983年9月，國務院批準恢復臨沂市，為山東省轄縣級市。

1994年12月17日，國務院同意原縣級臨沂市撤銷，其原轄行政區(qū)域內設置蘭山區(qū)、羅莊區(qū)、河東區(qū)3個縣級行政區(qū)。

蘭山區(qū)轄蘭山、金雀山、銀雀山3個辦事處，義堂、大嶺、南坊、棗溝頭、白沙埠、半程6個鎮(zhèn)，李官、朱保、馬廠湖3個鄉(xiāng)。

1997年3月，馬廠湖撤鄉(xiāng)設鎮(zhèn)。

2001年6月，大嶺鎮(zhèn)撤銷，所轄38個行政村并入蘭山辦事處。

2002年1月，蘭山辦事處、銀雀山辦事處、金雀山辦事處分別改稱蘭山街道辦事處、銀雀山街道辦事處、金雀山街道辦事處。

3月，朱保、李官撤鄉(xiāng)設鎮(zhèn)。

截至2002年12月，全區(qū)下設3個街道辦事處，8個鎮(zhèn)。

2003年1月，撤銷南坊鎮(zhèn)，設立南坊街道辦事處。

截至2003年12月，全區(qū)下設4個街道辦事處，7個鎮(zhèn)。

2011年1月經山東省人民政府批準，將費縣新橋鎮(zhèn)、方城鎮(zhèn)、汪溝鎮(zhèn)劃歸蘭山區(qū)管轄。

2011年8月經山東省人民政府批準，撤銷朱保鎮(zhèn)，將其原行政區(qū)域并入義堂鎮(zhèn)；撤銷新橋鎮(zhèn)，將其原行政區(qū)域并入方城鎮(zhèn)。

截至2022年3月，全區(qū)下設4個街道，8個鎮(zhèn)。