应该，虽然没有结婚证，如果女方确实不想一起生活了应该退还三金。但是如果男方有家暴行为，或者不愿承担孩子抚养费可以不用退还三金。