劳务合同与劳动合同有所不同，劳务合同更多是基于双方的约定，并且随时可以解除，不需要支付违约金。但是，如果是因为身体原因需要解除劳务合同，需要根据具体的情况来判断。

如果是因为劳务人员自身健康问题，导致无法履行合同义务，一般来说，这属于劳务合同中约定的违约情况，可能需要支付违约金或者赔偿金。但是如果是因为其他原因，比如工作场所的安全隐患等导致劳务人员身体出现问题，那么责任可能就不在劳务人员身上，他们不需要支付违约金或者赔偿金。

总之，在解除劳务合同时，双方应该充分沟通，明确责任归属，避免产生不必要的纠纷。如果需要法律咨询，建议寻求专业律师的帮助。