“衢山”之名始于清末，與朐山并用。

1923年《定�？h志》“定�？h總圖”“列島分圖五”載為“衢山”，1923年《定�？h志》冊一載為“朐山”：“在岱山東北二十五里許，長三十里，寬十里，居民三千余戶......亦稱衢山�！鼻骞饩w《定海廳志》卷十四：“國朝蓬萊鄉(xiāng)……光緒六年（1880）新增衢山。”1923年《定�？h志》冊一：“（蓬萊鄉(xiāng)）初并五都為三都，分十六隩，后改五莊……光緒間增朐山，共六莊�！鼻逍y(tǒng)二年（1910）設(shè)朐山鄉(xiāng)（含今屬嵊泗縣的大洋山）。

1919年設(shè)衢山鄉(xiāng)，1945年設(shè)衢山區(qū)，轄衢一、衢二、長涂、黃龍、大羊5鄉(xiāng)，均屬定海縣。

1949年屬滃洲縣，分設(shè)島斗、乍門2鄉(xiāng)。

1953年改屬岱山縣。

1958年改設(shè)衢山人民公社。

1961年分島斗、太平、桂花、四平、萬良、鼠浪5個人民公社，屬岱山縣衢山區(qū)。

1962年以衢山區(qū)與嵊泗縣的大小洋山、灘滸、徐公等島合建大衢縣。

1964年撤縣復設(shè)衢山區(qū)，屬定海縣。

1983年島斗人民公社改為鎮(zhèn)。

1984年太平、桂花等4人民公社改為鄉(xiāng)。

1992年撤區(qū)，太平、桂花2鄉(xiāng)并入島斗鎮(zhèn)，鼠浪鄉(xiāng)并入萬良鄉(xiāng)。

2001年島斗鎮(zhèn)和四平鄉(xiāng)、萬良鄉(xiāng)合置衢山鎮(zhèn)，形成現(xiàn)今之政區(qū)范圍。