長山堡一帶，是清末放荒招墾較早的地方。

清光緒三十二年(1906)甘井子荒務(wù)行局成立后，始駐甘井子屯，翌年遷至二站。

中華民國成立后。

1926年甘南設(shè)治局成立，劃歸設(shè)治局管轄，后隸第三區(qū)。

東北淪陷后，1933年12月隸屬甘南縣第三保。

1938年改設(shè)韓家溝村。

1943年改稱長山堡村。

1945年“九三”抗日戰(zhàn)爭勝利后。

1946年3月設(shè)置長山堡區(qū)，區(qū)政府駐長山堡，后改為第六區(qū)。

1955年底和1956年初，為接收安置山東移民，于區(qū)內(nèi)新建13個移民新村(稱“長”字片，即長一村至長十三村)。

1956年3月，撤區(qū)劃鄉(xiāng)，將原六區(qū)劃分為長山堡、興安堡、景利、八里崗子4個鄉(xiāng)。

1958年4月，將長山堡鄉(xiāng)劃出部分區(qū)城與景利鄉(xiāng)合并，設(shè)立四方山鄉(xiāng);將興安堡、八里崗子鄉(xiāng)并入長山堡鄉(xiāng)。

1958年9月，將長山堡、四方山兩個鄉(xiāng)合并為長山人民公社。

1984年4月，政社分開，改為長山鄉(xiāng)。

名稱沿用至今。