舊上海市圖書館位于黑山路181號,采用的是現(xiàn)代建筑與中國建筑之混合式樣。處于行政中心南北主軸線上位于府前右路與府南有路之間,座西向東,與博物館相對。平面為“工”字型,前部兩端橫展向前突出,與午門相似?偯娣e3,470平方米,而且還為將來留有擴建余地,容量可增加一倍。
圖書館中央正面設計了門樓,屋脊最高處約25米。一層中央為入口大廳,依次是報紙閱覽室,書庫,左翼為辦公室,右翼為兒童圖書室,演講廳。二層為閱覽室、借書室和目錄室。左右翼為研究室和特別閱覽室。二層中央前部上有夾層,為儲藏室,由此可通過露天階梯登門樓。圖書館在設計上防傳統(tǒng)門樓,在平頂?shù)膬蓪咏ㄖ,設置“中國固有形式”的重檐歇山門樓。左右對稱,具有新古典主義縱橫三段式構圖的特征。室內(nèi)采取紅柱、彩畫的傳統(tǒng)風格。
舊上海市立圖書館是區(qū)級文物保護單位文物保護單位。2014列為市級文物保護單位文物保護單位。