開遠古稱阿迷，1932年改稱開遠，意在“四面伸開，連接廣遠”。開遠境地古為阿寧蠻。夏商周時屬古畹町國范圍。先秦時期屬滇國領(lǐng)地。西漢元封二年（公元前109），在今開遠至建水一帶設(shè)毋棳縣，隸益州郡，始有建置。東漢屬益州益州郡。蜀漢建漢三年（225）后稱西豐縣，屬益州興古郡。西晉復(fù)稱毋棳縣，隸寧州興古郡。東晉至南朝梁隸寧州梁水郡。北朝周隸南寧州。隋屬南寧州總管府。唐初屬劍南道戎州，唐南詔國為爨部地，隸通海都督。宋大理國在今開遠置最寧鎮(zhèn)，轄哈迷（阿寧、阿迷）部，納樓部，鐵鎖甸、大甸、七十城門甸、褒古部、王弄部、教合三部、矣尼迦部、維摩部、鐘家部11地，相當(dāng)于今開遠、丘北、硯山、文山、富寧、馬關(guān)、河口、屏邊、蒙自、個舊、金平、元陽、建水一帶范圍。

元憲宗七年（1257）置阿迷萬戶府于開遠，轄納樓、茶甸兩個千戶所。至元二年（1265）改屬南路。至元十三年（1276）撤阿迷萬戶府，置阿迷州。大德三年（1299）改隸臨安路。明洪武十五年（1382）置阿迷州，轄4鄉(xiāng)，屬臨安府；永歷二年（1648）更名開遠州，后復(fù)名阿迷州。清初襲明制，阿迷州屬臨安府。清雍正八年（1730）7月，臨安府屬迤東道；乾隆三十一年（1766）10月，臨安府屬迤南道；光緒十三年（1887）10月，臨安府屬臨安開廣道。民國二年（1913）4月，廢州改縣，稱阿迷縣，轄東、南、西、北、中5個區(qū)，隸蒙自道。民國18年（1929）廢道，直隸云南省。民國20年（1931）12月，改阿迷縣稱開遠縣，轄8個區(qū)，意在“四面伸開，連接廣遠”。民國37年（1948），屬云南省第五行政督察區(qū)（駐建水縣）。

1950年，開遠縣轄6個區(qū)，隸蒙自專區(qū)。1957年，開遠縣劃歸紅河州。1958年10月20日，國務(wù)院全體會議第81次會議決定：撤銷開遠縣，將原開遠縣的六區(qū)全部和七區(qū)的4個鄉(xiāng)、五區(qū)的1個鄉(xiāng)劃歸文山縣，其余地區(qū)劃歸個舊市（國務(wù)院9月16日批準(zhǔn)，省人委10月3日通知）。設(shè)開遠公社（原一、二區(qū)）、五星公社（原五、七區(qū)）、燎原公社（原三區(qū)、七區(qū)的左美底鄉(xiāng)和蒙自草壩），隸個舊市。1959年2月成立人民公社開遠聯(lián)社，為政社合一組織，轄開遠、布沼、五星、大莊、草壩五個公社，隸個舊市。

1960年9月13日國務(wù)院全體會議第103次會議通過：恢復(fù)原并入個舊市并撤銷的開遠縣建制，其行政區(qū)域仍照原撤并前不變，開遠縣由個舊市領(lǐng)導(dǎo)。開遠縣轄5個公社。次年，草壩公社劃歸蒙自縣。1961年2月14日，國務(wù)院批復(fù)：將原由個舊領(lǐng)導(dǎo)的開遠縣劃歸紅河哈尼族彝族自治州直接領(lǐng)導(dǎo)。轄城關(guān)、開遠、中寨、小龍?zhí)?、大莊5個公社及馬者哨、中和營、吉德、宗舍4個區(qū)。1981年1月18日，國務(wù)院批準(zhǔn)：撤銷開遠縣，設(shè)立（縣級）開遠市，以原開遠縣的行政區(qū)域為開遠市的行政區(qū)域；11月18日，開遠市正式成立，轄5鄉(xiāng)3處，隸紅河州。

1996年，開遠市面積1950平方千米，人口約25.1萬人，其中漢族占總?cè)丝诘?4%，彝族占32.3%。轄3個街道、5個鄉(xiāng)：樂白街道、靈泉街道、小龍?zhí)督值?、馬者哨鄉(xiāng)、羊街鄉(xiāng)、大莊回族鄉(xiāng)、中和營鄉(xiāng)、碑格鄉(xiāng)。市政府駐樂白道街道。

2000年第五次人口普查，開遠市常住總?cè)丝?92039人，其中：樂百道街道66953人，靈泉街道91993人，小龍?zhí)督值?1746人，大莊回族鄉(xiāng)18291人，羊街鄉(xiāng)34049人，馬者哨鄉(xiāng)9721人，中和營鄉(xiāng)24770人，碑格鄉(xiāng)14516人。

2005年10月13日，省政府批準(zhǔn)同意開遠市撤銷中和營鄉(xiāng)和馬者哨鄉(xiāng)，設(shè)立中和營鎮(zhèn)，鎮(zhèn)政府駐原中和營鄉(xiāng)政府駐地。2006年3月16日，省政府批準(zhǔn)同意開遠市將小龍?zhí)督值擂k事處改設(shè)為小龍?zhí)舵?zhèn)，鎮(zhèn)政府駐原小龍?zhí)掇k事處駐地。

2006年，開遠市總面積2009平方千米，總?cè)丝?1.59萬人。轄1個街道、2個鎮(zhèn)、3個鄉(xiāng)（其中1個民族鄉(xiāng)）：靈泉街道、小龍?zhí)舵?zhèn)、中和營鎮(zhèn)、大莊回族鄉(xiāng)、羊街鄉(xiāng)、碑格鄉(xiāng)。共有21個居委會、51個行政村。

2010年第六次人口普查，開遠市常住總?cè)丝?22693人，其中：樂白道街道96691人，靈泉街道91413人，中和營鎮(zhèn)37708人，小龍?zhí)舵?zhèn)24986人，大莊回族鄉(xiāng)19453人，羊街鄉(xiāng)36653人，碑格鄉(xiāng)15789人。

全市現(xiàn)轄2個街道、2個鎮(zhèn)、3個鄉(xiāng)（其中1個民族鄉(xiāng)）：樂百道街道、靈泉街道、中和營鎮(zhèn)、小龍?zhí)舵?zhèn)、大莊回族鄉(xiāng)、羊街鄉(xiāng)、碑格鄉(xiāng)。2014年，中和營鎮(zhèn)被列為全國重點鎮(zhèn)。