面试了不去也不会怎么样。

对方通知面试只是对方意向，并不具备任何法律或道德效力，就算是面试成功了不去也不会这么样，顶多就是对方公司对你不感冒而已，以后没有去他们公司的机会。其他没什么的，找工作就是个双向选择的过程。