临县夏属冀州，周属并州，春秋属晋，战国时称“蔺”、“皋狼”，为赵域。秦庄襄王二年（前248），县境属太原郡。  

汉武帝元朔四年（公元前125年）置临水县（亦作陵水），属西河郡。西河郡属36县，地跨秦晋两省，黄河以东为15县，临水县其一。故治在今白文镇郝峪塔村北古城梁。县境的南面为皋狼、蔺、平周。王莽时期，临水县曾改监水县。东汉，复名临水县。东汉永和五年（公元140），西河郡36县并为13县，郡治（平定县，即今准格尔旗境）南徙509里置于离石县。临水县并入离石县，仍属西河郡。汉末，西河郡并入太原郡。  

三国初，仍属太原郡。魏黄初二年（221）设置西河郡，仍属西河郡，治所在兹氏（今汾阳市）。两晋时县境仍辖于离石，为匈奴占领。十六国时期，属离石镇。南北朝时期，北周时置乌突郡、乌突县，故治在今县城南30里府底村。临南（三交镇以南）置定胡郡，定胡县，故治在今柳林县孟门镇。临东（三交镇以东）置窟胡郡、窟胡县，故治在今方山县南村。  

隋开皇元年（581），废郡，改乌突为太和，窟胡为修化，定胡仍旧。大业三年（607）改州为郡。三县俱属离石郡。  

唐武德三年（620）改太和县为临泉县，置北和州，隶石州。贞观初，州废，县仍旧，属石州，故治在今城北25公里故县村。县境南部仍为定胡。五代因之。  

宋仍称临泉县、定胡县，隶石州，属河东路。元符二年（1099）改属晋宁军，郡治在陕西葭县葭芦岩。金天会元年（1123），复名为临水县，废晋宁军，属石州。金明昌六年（1195），定胡县改孟门县，区域未变。金贞佑末年（1217），赐临泉为大定府。元中统二年（1261）改临水为临泉，属太原郡。故治仍在今城北故县村。元中统三年（1262）升为临州，属冀宁路，不领县。  

明洪武二年（1369）州降为县，属太原府。临县之称由此而定，至今未变。万历二十三年（1595），属沁州，二十五年（1596）改属汾州府。  

清因明制，县属汾州府，冀宁道。  

民国废除府州，县直属省辖，仍置冀宁道。民国29年（1940）本县解放，成立共产党领导的抗日民主政府。10月，为抗日战争所需，将临县分为临县、临南两个县。民国35年（1946）1月，南北合并，仍称临县，属晋绥边区所辖。1949年后，属兴县专署管辖。1952年兴县专署撤销，划归榆次专署管辖（后改晋中专署）。1971年吕梁地区组建行署，由晋中专署划归吕梁行署管辖，2004年7月吕梁撤地设市，仍由吕梁市管辖至今。