行政单位自然会担心行政复议，因为在行政复议中，行政单位的决定可能会被改变或者被撤销，这会对行政单位的工作和决策产生不利影响，同时也会削弱他们的权威和信誉。

此外，行政复议也会给行政单位带来经济上的损失和时间上的浪费，因为他们需要耗费大量的资源和时间来应对行政复议的要求和决定。

因此，行政单位需要尽可能避免行政复议的出现，以保护他们的权益和正当性。