先秦時期，山城街道先后屬倪、小邾、楚等國。

秦屬合鄉(xiāng)縣。

兩漢屬昌慮縣、合鄉(xiāng)縣。

三國屬蕃縣、合鄉(xiāng)縣。

晉至南北朝屬昌慮縣、合鄉(xiāng)縣，北齊劃入蕃縣。

隋開皇六年（586）改蕃縣為滕縣。

宋以后先后屬滕縣、滕陽縣、滕州，屬濟寧府、兗州府。

民國時期先后屬滕嶧邊、費滕嶧、雙山、麓水、白彥、滕等縣。

1983年11月，區(qū)劃調(diào)整，由滕縣改屬山亭區(qū)管轄，1984年3月，社改鄉(xiāng)，由山亭公社改稱山亭鎮(zhèn)，2001年2月26日，撤山亭鎮(zhèn)，以原山亭鎮(zhèn)行政區(qū)域設(shè)山城街道辦事處。