古山鎮(zhèn)清代為義和鄉(xiāng)廿七都，是游仙鄉(xiāng)的一部分。

民國時期稱古雅鎮(zhèn)，仙義鄉(xiāng)的一部分。

1949年5月成立古山鎮(zhèn)人民政府，1950年8月劃分為后塘鄉(xiāng)、世雅鄉(xiāng)，1958年后塘鄉(xiāng)、世雅鄉(xiāng)合并稱為古山管理區(qū)，1961年改為古山公社，1966年5月文化大革命開始，各級政府被迫停止活動。

1976年10月，恢復(fù)了公社黨委及政權(quán)組織。

1983年改稱古山鄉(xiāng)，1984年4月鄉(xiāng)改稱古山鎮(zhèn)但仍為鄉(xiāng)一級政權(quán)，1985年改為建制鎮(zhèn)，1992年4月金川鄉(xiāng)并入，2001年原古山、胡庫、方巖、新樓三鎮(zhèn)一鄉(xiāng)合并為古山鎮(zhèn)，設(shè)古山、胡庫、方巖、新樓四個管理處，鎮(zhèn)政府駐地世雅下街，2006年5月方巖、新樓管理處析出，名稱沿用至今。