牙克石市歷史悠久。

《盛京通志》稱牙克石為扎敦昂阿，《中國(guó)歷史地圖集》標(biāo)雅克薩。

在距今6000年前的新石器時(shí)期，雅魯河、綽爾河流域已有人類活動(dòng)。

先秦，屬東胡地。

西漢初，匈奴擊敗東胡，建奴隸制政權(quán)，為左賢轄地。

東漢，在大興安嶺北部深山密林中游獵的鮮卑拓跋部南遷大澤（今呼倫湖），此地為鮮卑部落領(lǐng)地。

隋，屬遼西室韋部落領(lǐng)地。

唐，歸河北道室韋都督府管轄。

遼，大興安嶺以東地區(qū)歸上京道東北路招討轄，嶺西地區(qū)由烏古敵烈統(tǒng)軍司轄。

金，嶺東歸蒲與路轄，嶺西歸東北路招討司轄。

元，實(shí)行領(lǐng)戶分封制，嶺西為合拙·哈薩爾封地，嶺東為合赤溫·額勒赤封地。

元至元十五年（1278年），諸王封地納入行省，嶺西歸嶺北行省和林路轄，嶺東歸中書省泰寧路轄。

明，嶺西歸努爾干都司斡難河衛(wèi)海刺兒千戶轄，嶺東歸卓爾河衛(wèi)轄。

清，嶺西歸呼倫貝爾副都統(tǒng)衙門轄，嶺東歸布特哈總管衙門轄。

雍正十年（1732年），索倫（鄂溫克）等民族從大興安嶺以東布特哈地區(qū)遷至呼倫貝爾草原，建索倫左、右兩翼八旗，左翼四旗駐牧在通俄羅斯道路邊境一帶，大興安嶺以西地區(qū)為轄地。

同年，清政府加強(qiáng)邊防統(tǒng)治，在齊齊哈爾至呼倫城設(shè)10臺(tái)（境內(nèi)設(shè)5臺(tái)）。

光緒二十九年（1903年），中東鐵路通車營(yíng)運(yùn)，在巴林至牙克石間建10個(gè)火車站。

此后，人口漸增，聚成村落。

1912年，嶺西歸呼倫貝爾地方自治政府轄，嶺東歸布西設(shè)治局轄。

1920年，嶺西歸呼倫貝爾道尹公署轄，嶺東歸西布特哈總管公署轄。

1929年，嶺西歸呼倫貝爾市政籌備處轄，嶺東歸雅魯縣轄。

1931年，“九·一八”事變后，日本侵略軍占領(lǐng)東北，建滿洲國(guó)。

東北劃19省，牙克石境內(nèi)大興安嶺以西地區(qū)歸興安北分省轄，嶺東歸興安東分省轄。

1934年，嶺西歸興安北省索倫旗轄，嶺東歸興安東省布特哈旗轄。

1936年，索倫旗設(shè)牙克石街。

1945年10月，日本侵略軍投降后，牙克石街由索倫旗劃出，建街公署，直屬呼倫貝爾自治政府管轄。

1946年8月，建中國(guó)共產(chǎn)黨領(lǐng)導(dǎo)下的人民民主政權(quán)—牙克石街政府。

1947年5月，內(nèi)蒙古自治區(qū)聯(lián)合政府成立，嶺西歸呼倫貝爾盟政府，嶺東歸納文慕仁盟政府。

1949年4月，嶺東歸呼倫貝爾納文慕仁盟布特哈旗，嶺西歸索倫旗。

1949年10月1日，中華人民共和國(guó)成立。

1950年1月，以牙克石街為基礎(chǔ)，劃出索倫旗所轄扎羅木得努圖克、免渡河努圖克，布特哈旗所轄博克圖努圖克，成立喜桂圖旗人民政府，隸屬呼倫貝爾納文慕仁盟。

1953年4月，喜桂圖旗隸屬內(nèi)蒙古自治區(qū)東部區(qū)行政公署。

1954年4月，喜桂圖旗隸屬呼倫貝爾盟。

1955年1月，喜桂圖旗人民政府改稱旗人民委員會(huì)。

1958年10月，旗人民委員會(huì)與大興安嶺林業(yè)管理局合并，稱喜桂圖旗大興安嶺林區(qū)人民政府。

1962年8月，復(fù)稱喜桂圖旗人民委員會(huì)。

1967年12月，成立喜桂圖旗革命委員會(huì)，隸屬呼倫貝爾盟革命委員會(huì)。

1969年8月，喜桂圖旗隨同呼倫貝盟劃入黑龍江省。

1979年7月，劃回內(nèi)蒙古自治區(qū)。

1980年1月，撤喜桂圖旗革命委員會(huì)，建喜桂圖旗人民政府。

1983年10月10日，經(jīng)國(guó)務(wù)院批準(zhǔn)，撤喜桂圖旗人民政府，建牙克石市人民政府，1984年1月1日，正式實(shí)行市建制。

2000年，全市總面積27540平方千米。

總?cè)丝?05403人，其中農(nóng)業(yè)人口15750人，非農(nóng)業(yè)人口386672人；少數(shù)民族人口40005人，其中蒙古族17588人，回族6622人，鄂倫春族130人，鄂溫克族425人，其他少數(shù)民族15260人。

轄15個(gè)鎮(zhèn)、6個(gè)街道，即牧原鎮(zhèn)、免渡河鎮(zhèn)、烏奴耳鎮(zhèn)、博克圖鎮(zhèn)、巴林鎮(zhèn)、綽源鎮(zhèn)、塔爾氣鎮(zhèn)、煤田鎮(zhèn)、烏爾其汗鎮(zhèn)、原林鎮(zhèn)、庫(kù)都爾鎮(zhèn)、新帳房鎮(zhèn)、西尼氣鎮(zhèn)、圖里河鎮(zhèn)、伊圖里河鎮(zhèn)、勝利街道、紅旗街道、新工街道、永興街道、建設(shè)街道、暖泉街道。

2001年10月，國(guó)務(wù)院批準(zhǔn)撤銷呼倫貝爾盟，設(shè)立地級(jí)呼倫貝爾市，牙克石市隸屬呼倫貝爾市。

撤銷西尼氣鎮(zhèn)、新帳房鎮(zhèn)，并入圖里河鎮(zhèn)；撤銷原林鎮(zhèn)，并入庫(kù)都爾鎮(zhèn)。

調(diào)整后，全市轄6個(gè)街道、12個(gè)鎮(zhèn)：勝利街道、紅旗街道、新工街道、永興街道、建設(shè)街道、暖泉街道、牧原鎮(zhèn)、免渡河鎮(zhèn)、烏奴耳鎮(zhèn)、博克圖鎮(zhèn)、巴林鎮(zhèn)、綽源鎮(zhèn)、塔爾氣鎮(zhèn)、煤田鎮(zhèn)、烏爾其漢鎮(zhèn)、庫(kù)都爾鎮(zhèn)、圖里河鎮(zhèn)、伊圖里河鎮(zhèn)。

2001年末，全市總?cè)丝?04524人，其中農(nóng)業(yè)人口15441人，非農(nóng)業(yè)人口386697人。

2006年，撤銷牧原鎮(zhèn)，將牧原鎮(zhèn)原管轄的行政區(qū)域288.8平方千米和免渡河鎮(zhèn)原管轄的行政區(qū)域33.8平方千米合并設(shè)立街道辦事處；撤銷烏奴耳鎮(zhèn)，將其原管轄的行政域整建制和原牧原鎮(zhèn)原管轄的行政區(qū)域并入免渡河鎮(zhèn)；撤銷塔爾氣鎮(zhèn)，將其原管轄的行政區(qū)域整建制并入綽源鎮(zhèn)；撤銷伊圖里河鎮(zhèn)，將其原管轄的行政區(qū)域整建制并入圖里河鎮(zhèn)；撤銷巴林鎮(zhèn)，將其原管轄的行政區(qū)域整建制并入博克圖鎮(zhèn)；撤銷煤田鎮(zhèn)，將其原管轄的行政區(qū)域整建制和牧原鎮(zhèn)的1814.9平方千米并入烏爾其漢鎮(zhèn)。

2011年，恢復(fù)烏奴耳鎮(zhèn)、塔爾氣鎮(zhèn)、伊圖里河鎮(zhèn)。

2016年4月，撤銷東興街道辦事處設(shè)置牧原鎮(zhèn)。

2017年撤銷巴林便民服務(wù)中心、煤田便民服務(wù)中心。

調(diào)整后，全市轄6個(gè)街道、10個(gè)鎮(zhèn)：勝利街道辦事處、紅旗街道辦事處、新工街道辦事處、永興街道辦事處、建設(shè)街道辦事處、暖泉街道辦事處、牧原鎮(zhèn)、免渡河鎮(zhèn)、烏奴耳鎮(zhèn)、博克圖鎮(zhèn)、綽河源鎮(zhèn)、塔爾氣鎮(zhèn)、烏爾其漢鎮(zhèn)、庫(kù)都爾鎮(zhèn)、圖里河鎮(zhèn)、伊圖里河鎮(zhèn)。