渣江，衡阳县渣江镇人民政府及渣江区公所驻地。在县城北23公里蒸水、柿竹水汇合处。泥渣长期停滞于此，故名渣江，镇因其名。

“渣”意为渣滓或碎屑。江，古文中多指长江，又为“江河的通称”。现代汉语中多指大河，如长江、湘江等。而在湘东语系中，“江”亦指小河。源于县境北部的柿竹水一路向南，于渣江镇内有石狮堰水来汇，两水汇聚水势渐大，合流约2公里后汇入蒸水。因汇合地地势平坦，洪水不能及时消泄，冲击而来的泥沙裹挟着树木枯草等渣物阻塞河道，导致河床升高，故称渣江。

“渣江”实指汇入蒸水的柿竹水下游一段，其后人们将附近地域称为渣江，直至1953年设镇。