小西銘村原為西銘的附屬小村，乾隆年間分理村事被叫作小西銘村，一直沿用至今。

1953年，太原市第五區(qū)劃鄉(xiāng)，小西銘村歸于西銘鄉(xiāng)人民政府管轄。

1956年，萬(wàn)柏林區(qū)調(diào)整為下轄1鎮(zhèn)、8鄉(xiāng)、4街，小西銘村屬西銘鄉(xiāng)人民政府。

1961年5月，太原市區(qū)劃調(diào)整，區(qū)域內(nèi)所轄大小人民公社分別劃歸北郊區(qū)、河西區(qū)。

小西銘當(dāng)時(shí)為生產(chǎn)大隊(duì)，歸西銘人民公社管理。

1962年初，屬于河西區(qū)東社人民公社下的小西銘生產(chǎn)大隊(duì)。

1970年，屬于北郊區(qū)西銘人民公社管理。

1978年，小西銘新村建成，1981年，太原市北郊區(qū)下設(shè)人民公社革委會(huì)15個(gè)，生產(chǎn)大隊(duì)180個(gè)，小西銘村為小西銘生產(chǎn)隊(duì)，屬于西銘生產(chǎn)大隊(duì)。

1984年，北郊區(qū)恢復(fù)實(shí)行鄉(xiāng)（鎮(zhèn)）村制，全區(qū)設(shè)居民委員會(huì)，小西銘生產(chǎn)大隊(duì)更名為小西銘村委會(huì)。

1997年，撤銷(xiāo)了北郊區(qū)建制，從北郊區(qū)劃歸萬(wàn)柏林區(qū)。

1998年，屬于萬(wàn)柏林區(qū)西銘鄉(xiāng)人民政府，仍為小西銘村委會(huì)。

2006年，萬(wàn)柏林區(qū)劃調(diào)整，小西銘村劃歸西銘街道辦事處管轄，地名沿用至今。