回答如下：衡山话是指在湖南省衡山县及周边地区使用的方言。虽然衡山话与衡阳话有一些共同点，但它们之间的差别也很大。

这主要是因为历史原因所致。衡山地区与衡阳地区历史上虽然相邻，但却受到不同的政治、文化和经济影响。衡山地区在古代属于南越国和楚国的势力范围，后来又隶属于湖南省的衡山县。而衡阳地区则曾隶属于楚国、汉朝、唐朝、宋朝等不同的政权，直到明朝时期才成为湖南省的一个行政区域。这些历史因素导致了两个地区的语言、文化和习俗存在差异。

另外，衡山地区的地理环境和自然条件也与衡阳地区不同，这也影响了当地人的语言使用。例如，衡山地区山多水少，土地贫瘠，人们的生活方式和经济活动与衡阳地区有所不同，这也导致了衡山话和衡阳话的差别。