共有者全員の同意があれば撤去可能です。

撤去することによって、隣地の建物が丸見えになる場合は、

そのまま残し、

将来再構築したい側の方がご自身の敷地内に収めて再構築する、

という覚書を交わすことが一般的です。