淮南曾经被称为“淮水南岸”，这是因为淮南地区位于淮水的南岸。然而，随着历史的变迁，淮南的名字也发生了多次更改。在战国时期，淮南被称为“六国之南”，由于地处南方地域辽阔，拥有广阔的土地资源和丰盛的农业产出，因此被当时的政治中心看作是重要的地域。

汉代时，淮南改称“寿春郡”，作为一个政治区域被显现出来，并在历史上属于淮水流域的重要地带。

隋唐时期，淮南又被称为“庐州”，这个名字保留到了明清时期。如今的淮南市则是在中华人民共和国成立之后，于1952年被命名为淮南市。