共有者全員の同意があれば撤去可能です。 撤去することによって、隣地の建物が丸見えになる場合は、 そのまま残し、 将来再構築したい側の方がご自身の敷地内に収めて再構築する、 という覚書を交わすことが一般的です。