東晉永和三年（347年）罷德陽郡，于德陽縣東南析置遂寧郡，治所初設(shè)德陽縣（今遂寧市城區(qū)），后遷徙巴興縣（治今大英縣回馬鎮(zhèn)長江壩），轄廣漢、德陽、晉興、巴興4縣。

南北朝劉宋時期（420～479年），廣漢郡轄雒、什邡、新都、陽泉、五城、郪6縣，析廣漢郡置新城郡，治北伍城縣（今三臺縣城），轄北伍城、懷歸2縣。

西魏廢帝二年（553年)，宇文泰平蜀。

恭帝（554～556年）改西宕渠郡為涌泉郡，遷治涌泉縣（治今射洪縣洋溪鎮(zhèn)），轄涌泉、廣魏（廣漢更名）2縣。

析北伍城縣置射江縣，縣治今射洪縣金華鎮(zhèn)，屬昌城郡。

今遂寧市境屬懷化、東遂寧、涌泉、昌城4郡，縣地及治所全在遂寧市境的有方義、長江、射江、廣魏、涌泉5縣，始興縣部分區(qū)域在境內(nèi)、治所在境外。

建德四年（575年），置安居郡，治柔剛縣（今安居區(qū)安居鎮(zhèn)），轄柔剛縣，屬普州，今遂寧市境設(shè)遂州及石山、懷化、涌泉、安居4郡。

縣地及治所全在遂寧市境的有方義、長江、柔剛、射洪（射江改名)、廣漢（廣魏更名）、通井（涌泉更名)6縣，始興縣部分區(qū)域在境內(nèi)、治所在境外。

1949年12月8日，遂寧解放。

1950年1月12日，成立遂寧分區(qū)，駐遂寧縣城，屬川北區(qū)行署區(qū)（駐今南充市），轄遂寧、潼南、樂至、三臺、鹽亭、蓬溪、安岳、中江、射洪9縣。

1952年9月1日，川西、川北、川南、川東4行署區(qū)合并為四川省，遂寧分區(qū)改為專區(qū)。

1958年10月18日，撤銷遂寧專區(qū)，遂寧、蓬溪、中江、三臺、射洪、鹽亭、潼南7縣劃歸綿陽專區(qū)，安岳、樂至2縣劃歸內(nèi)江專區(qū)。

1985年2月8日，撤銷綿陽地區(qū)，分置遂寧、綿陽、廣元3個地級市，遂寧市轄原綿陽地區(qū)的遂寧、射洪、蓬溪3縣，遂寧縣改為市中區(qū)。

1997年12月28日，析蓬溪縣置大英縣。

2003年12月18日，市中區(qū)分為船山、安居2區(qū)。

2019年，經(jīng)國務(wù)院批準(zhǔn)，射洪撤縣設(shè)縣級市。

2019年，經(jīng)省政府批復(fù)，全市減少鄉(xiāng)鎮(zhèn)建制36個（其中船山區(qū)3個、安居區(qū)5個、射洪縣9個、蓬溪縣11個、大英縣8個）。