南宋咸淳間（1265～1274）屬於潛城，明成化間（1465～1487）屬坊郭鄉(xiāng)，清嘉慶十七年（1812）凰山莊屬坊郭鄉(xiāng)。

民國初屬於潛城，民國21年（1932）上塘湖、鳳山莊屬湖山鄉(xiāng)，民國36年（1947）屬潛陽鎮(zhèn)至解放。

1950年為橫山鄉(xiāng)橫山頭村，1958年為昌化縣潛陽公社潛陽管理區(qū)橫山生產(chǎn)隊，1960年9月屬臨安縣，1961年為潛陽公社橫山生產(chǎn)大隊，1984年為於潛鎮(zhèn)橫山村。

2007年村規(guī)模調(diào)整時，橫山村規(guī)模不變。

原轄張家、阮家、橫山頭3個自然村，今廢止，統(tǒng)一編入集鎮(zhèn)門牌。

設(shè)8個村民小組。