灵活就业人员之所以不能退税，主要是因为他们不像正式就业的人员一样有固定的税前工资和缴纳社保的方式，因此难以计算其纳税的具体金额。

此外，灵活就业人员也缺乏证明其收入的合法渠道，这也增加了退税难度。但对于那些真正没有收入来源的灵活就业人员，在退税政策的调整中应该给予合理的规定，以确保他们能够在合法、公平的范围内享受相应的税收政策福利。

这也是促进灵活就业这一新兴形态的发展和创新创业的重要前提条件之一。