東漢初，呂梁屬於西河、太原、河東三郡。離石、藺、皋狼、臨水、中陽、平周爲西河郡轄縣；大陵、平陶、茲氏爲太原郡轄縣；

呂梁市屬半乾旱暖溫帶大陸性季風氣候，四季分明，差異懸殊。春季乾燥，雨少風多；夏季炎熱，雨量集中；秋季涼爽，氣候宜人；冬季寒冷，降雪偏少。多年平均降水量502.5mm，呂梁關帝山主峯一帶爲多雨中心，年降水量在700mm以上，而臨縣、柳林沿河一帶較爲乾旱，降水量通常在450mm以下。

永和五年（西元140年）九月“因匈奴寇掠，西河郡治南徙五百九十裏”遷至離石縣，爲呂梁境內 的郡級建置。同年，臨水縣併入離石。中平年間美稷縣“南徙於茲氏縣界，尋廢”。建安二十一年（西元218年）“南匈奴內附”， 左部居於茲氏，中部居於大陵。

西晉，呂梁境內各縣分屬於西河國和太原國，屬縣未變，僅茲氏縣改隰城（西河國附郭縣，今汾陽）。東晉十六國時期，呂梁境內較爲混亂。後趙石勒元年（西元319年）“以離石縣境荒廢”設置永石郡，尋改西河，後燕置離石護軍。永興後西河郡併入太原郡。