最可至春秋战国时，祁阳为楚国南疆。

秦时，置郡县，属长沙郡。

西汉，分长沙郡南部，置桂阳郡、零陵郡， 祁阳属零陵郡泉陵侯国。东汉，改泉陵侯国为县，祁阳属泉陵县，隶属不变。

三国吴元兴元年~天纪四年（264年~280年），分泉陵县，置祁阳县、永昌县，仍属荆州零陵郡。

西晋永嘉元年（307年），祁阳县改属湘州（原荆州）零陵郡。东晋，祁阳隶荆州零陵郡。

南北朝，祁阳隶湘州零陵郡。

隋开皇九年（589年），改泉陵县为零陵，永昌县、祁阳、应阳县并入零陵县，祁阳隶湘州永州总管府。[4]大业三年（607年），改湘州永州总管府为零陵郡，祁阳属零陵郡。

唐武德四年（621年），析零陵县复置祁阳县，永昌县并入祁阳。贞观元年（627年），撤祁阳县并入零陵县。贞观四年（630年），复置祁阳县，隶属江南西道永州。