1949年隸屬第二區(qū)（石花區(qū)）管轄。

1951年6月，屬石花區(qū)真武鄉(xiāng)。

1956年成立高級社時，取名軍山社、軍為社，屬縣轄真武鄉(xiāng)。

1958年人民公社化時期更名為軍山大隊、軍為大隊，屬幸福之家（石花）人民公社真武管理區(qū)。

1961年恢復區(qū)制，屬石花區(qū)真武公社。

1975年撤區(qū)并社，兩大隊合并為將軍大隊，屬石花公社真武管理區(qū)。

1981年更名為老軍臺大隊，屬大峪橋公社真武管理區(qū)。

1984年“政社分設”時更名為老軍臺村，屬石花鎮(zhèn)街道辦事處。

1995年，屬大峪橋鎮(zhèn)。

2001年大峪橋鎮(zhèn)被撤銷，其所轄行政管理區(qū)劃歸石花鎮(zhèn)，老軍臺村由石花鎮(zhèn)管轄。

2002年成立社區(qū)后，更名為老君臺社區(qū)，隸屬石花鎮(zhèn)管轄至今。