明朝洪武元年柴均壽從下圖山遷移到屠山,后柴氏修譜,改為上圖山。
上圖山有句口頭禪:柴李吳屠臧金凌方郎江,反映了當時居民大姓有十姓。
原先隸屬于圖山鄉(xiāng),解放后建政時為上圖山農(nóng)會,1950年為場口區(qū)圖山鄉(xiāng)上圖山村(一村),1956年為東圖鄉(xiāng)五一高級農(nóng)業(yè)社,1958年為東圖公社上圖山民兵連,1960年為場口大公社上圖山管理區(qū),1961年為東圖公社上圖山大隊,1984年3月為東圖鄉(xiāng)上圖山村,2003年12月屬場口鎮(zhèn)。