祁县因古时有“昭余祁泽薮”（长杂草的积水地带）而得名。春秋时，祁地属晋，当时的祁地，几乎包括整个晋中平川。公元前556年，晋平公将祁地赐给大夫姬奚作食邑。姬奚以地为姓，改姓为祁，即历史上有名的“外举不避仇，内举不避亲”的祁黄羊。

他的城邑在今祁县的古县镇下古县村。

公元前514年，祁奚的孙子祁盈因故被杀，食邑随之没收。

晋分祁奚之田为邬（今介休）、祁（今祁县）、平陵（今平遥、文水）、梗阳（今清徐）、涂水（今榆次、太谷）、马首（今寿阳）、盂（今盂县）等七部分。现在祁县的境地，基本上是从那时候确定的。