古屬羌地，與世居河西走廊的古老民族月氏（ròuzhī）人毗鄰。
漢高祖六年（前201）月氏人遭匈奴人攻擊，大部西遷，小部分南入祁連山，稱小月氏，與海北地區(qū)羌人雜居。
西漢神爵元年（前61），置臨羌縣，今州境東南部屬臨羌縣，隸金城郡。
新莽在今海晏縣設(shè)置西�？ぃ锡堃某牵ń窈ｊ炭h三角城），今海晏、剛察縣為西�？ぽ爡^(qū)。
更始元年（23），郡廢，復(fù)為羌地。
東漢永元十四年（102），移金城西部都尉駐此，今海晏、剛察縣仍屬之。
三國(guó)時(shí)，今海晏縣屬西平郡臨羌縣地，今州境其余地區(qū)仍為羌地。
西晉因之。
前涼時(shí)，分屬西平郡長(zhǎng)寧縣、西平郡臨羌縣、祁連郡和鮮卑乙弗部（又稱“乙弗勿敵國(guó)”）。
北魏時(shí)，州境大部為吐谷渾(tǔyùhún)國(guó)地，僅今門源縣屬西平郡西都縣。
孝明帝孝昌二年（526），今門源回族自治縣入吐谷渾。
隋大業(yè)五年（609），破吐谷渾，在其故地置郡縣，今剛察、海晏、祁連3縣西海郡屬宣德縣。
隋亡，吐谷渾復(fù)其故地。
唐龍朔三年（663），入吐蕃。
北宋初屬唃廝啰(ɡūsīluō)地方政權(quán)轄地。
崇寧三年（1104），分屬湟州和吐蕃諸部。
政和六年（1116），北宋于此置震武軍，治在今門源回族自治縣克圖鄉(xiāng)古城，隸熙河蘭湟路。
元屬吐蕃等處宣慰使司，隸宣政院。
明初州境大部分地區(qū)為藏族部落居地。
明洪武八年（1375），置罕東百戶所于今剛察縣，洪武三十年（1397），改為罕東衛(wèi)。
罕東衛(wèi)西移后，今剛察縣隸朵甘行都指揮使司。
清雍正二年（1724），設(shè)大（dài）通衛(wèi)于北大通城（今門源回族自治縣浩門鎮(zhèn)），隸西寧府，今門源全境和祁連縣東部屬之。
次年，分置和碩特北右旗、前左頭旗、西右前旗、南左末旗、南右后旗、東上旗，統(tǒng)歸欽差辦理青海蒙古番子事務(wù)大臣（簡(jiǎn)稱青海辦事大臣或稱西寧辦事大臣）節(jié)制。
雍正五年（1727），又于衛(wèi)治置大通鎮(zhèn)。
雍正十三年（1735），裁大通鎮(zhèn)改設(shè)大通協(xié)，歸西寧鎮(zhèn)總兵節(jié)制。
乾隆九年（1744），移大通衛(wèi)治于白塔（今大通回族土族自治縣老城關(guān)），今門源全境和祁連東部仍為大通衛(wèi)轄地。
乾隆二十六年（1761），省衛(wèi)置大通縣，今門源全境和祁連東部屬大通縣，隸西寧府。
1917年，海晏屬湟源縣和都蘭理事公署。
1929年，析置亹源縣，直屬于青海省，今剛察縣為都蘭理事公署轄區(qū)。
1937年，改設(shè)海晏設(shè)治局。
1939年由門源縣析置祁連設(shè)治局。
1943年，設(shè)海晏縣，直屬青海省。
1953年12月，設(shè)海北藏族自治區(qū)(地級(jí))，自治區(qū)人民政府駐亹源回族自治縣浩門鎮(zhèn)，1955年，改海北藏族自治區(qū)為自治州，州人民政府駐地不變。
1959年，改亹源回族自治縣為門源回族自治縣。
1993年7月，州人民政府駐地遷至西海鎮(zhèn)。