舊稱墨爾根。

兩漢及南北朝時期屬北夫余。

隋唐為室韋地。

遼屬東京道。

金屬上京蒲峪路。

元屬遼陽行省開元路。

明屬奴爾干都司。

清為黑龍江將軍轄地。

清康熙二十四年（1685），于此地設北路驛站第六站，稱“墨爾根站”。

清康熙四十九年（1710），隸屬黑龍江將軍管轄。

清光緒三十三年（1907），裁將軍改設行省，隸屬黑龍江行省管轄。

清光緒三十四年（1908），裁撤墨爾根副都統(tǒng)，設嫩江府，駐墨爾根城。

1913年，嫩江府改為嫩江縣，縣署駐墨爾根城，隸屬黑龍江省。

1914年6月，改隸龍江道。

1929年2月，復由省直轄。

1931年后，隸屬黑龍江省。

1934年，將嫩江以西的行政區(qū)域劃歸巴彥旗。

同年12月，改隸龍江省管轄。

1939年6月，改隸北安省。

1943年10月，劃歸黑河省管轄。

1945年，劃歸嫩江省管轄。

1947年2月至9月，隸屬黑龍江嫩江聯(lián)合省第二專區(qū)。

1949年5月，黑龍江、嫩江兩省合并后，隸屬黑龍江省管轄。

1954年8月，劃歸新設嫩江專區(qū)。

1970年3月，改屬黑龍江省黑河地區(qū)。

1993年3月，屬黑河市。

2019年7月撤銷嫩江縣，設立縣級嫩江市，由黑龍江省直轄黑河市代管。

名稱沿用至今。