임진왜란 때 왜군의 본거지로 축조된 서생포 왜성을 일제가 사적으로 지정한 후 이를 이어 울산시 또한 문화재로 지정하는 바람에 인근에 주택 신축 허가조차 불허되는 등 재산권 침해 논란이 일고 있다.

1심 재판부는 울산시 문화재자료 제8호인 서생포 왜성의 문화재 가치를 보존하기 위해 인근에 단독주택 신축을 제한한 것은 정당하다고 판단했다.

왜장 가토 기요마사에 의해 축조된 서생포 왜성은 임진왜란 때 왜군이 경상도 해안에 세운 18곳의 성루 가운데 하나로, 남아 있는 왜성 중 가장 크고 보존상태가 좋다.