乌衣的地名由来说法多种：《丹阳记》载：“乌衣之起，吴时乌衣营处所也。”

还有的说，东晋丞相王导的金陵“乌衣望族”曾侨居于此，多身着黑衣，百姓称之为乌衣。

光绪《滁州志》记载：旧有“古乌衣巷”木枋。

也有的说，乌衣老街建于清流河畔，街道沿河弯曲，形似乌鱼谐音“乌衣”。

　　乌衣是个古老的地方。

　　三国属吴地。

　　西晋属扬州淮南郡。

东晋先属北徐州顿丘郡，后隶属雍州秦郡顿丘县。乌衣属顿丘县。

　　南北朝（宋）顿丘县先后隶属南豫州、南兖州、徐州新昌郡（新昌郡治新昌城，即今滁城）。

　　（齐）顿丘县隶属被徐州新昌郡。

　　（梁）（北齐）顿丘县隶属谯州新昌郡。

　　（陈）太建七年（公元575年），改谯州为南谯州，乌衣属南谯州新昌郡顿丘县。

　　隋开皇九年（589年），改南谯州为滁州；废新昌郡，改顿丘县为新昌县，乌衣属滁州清流县。

　　唐、宋、元三朝均属滁州清流县。南宋德祐二年（1276年），乌衣有“滁阳首镇”之称。

　　明初，撤销清流县并入滁州，乌衣直属滁州。

　　清，属滁州。