义乌并不归杭州直辖。义乌是浙江省下辖的县级市，由金华市代管，位于浙江省中部，地处金衢盆地东部，与东阳、永康、浦江、金华交界。而杭州是浙江省的省会城市，两者虽然都是浙江省管辖的区域，但义乌并不属于杭州。所以，义乌不归杭州直辖。