公证委托书可以单方面取消。

《民法典》第一百七十三条规定，有下列情形之一的，委托代理终止：

被代理人取消委托或者代理人辞去委托。

代理期间届满或者代理事务完成。

被代理人或者代理人一方死亡、丧失民事行为能力、终止。

取消委托，从性质上属于单方法律行为，只需要委托人作出意思表示，无需与对方意思表示达成一致。因此可以由委托人签署撤销原委托书的声明书，以终止原受托人的权限。但撤销委托的行为应及时通知代理行为所涉及的第三人。如果第三人有足够的理由相信持公证委托书的代理人有代理权，即使委托已经撤销，委托人仍要承担民事法律责任。因此，在撤销委托授权前，应尽可能地收回全部委托公证书，因受托人仍然可能会持原委托公证书办理相关授权事务，善意第三人不知道该公证书中的授权已经被取消的话，仍然有理由相信该受托人有代理权（表见代理）。未能全部收回的，所产生的风险及责任由委托人自行承担。