親戚から空き家付きの土地をもらいました。

10年ほど前に親が亡くなり土地を相続したのですが、上に家が建っていました。土地は亡くなった親の物でしたが、家は持ち主が別にいました。
その家は何年も昔からお好み焼き屋を経営していたのですが、家主が店を放棄し、そのまま放置状態になっていました。
家主の方に店を処分するように勧告はしましたが、家主は家屋を壊すことはせず「ほっとけば壊れる」などという始末です。
わざわざこちらが郡山の相場を調べて解体費用を出す義理もないし、無理に更地にしても固定資産税が何倍にもなるので、どうにもなりません。
その土地は自宅から高速を通って1時間以上はかかるので様子を見てくるだけでも一苦労です。
近所の不動産事務所に相談に行きましたが、「もし私があなたの立場なら、そんな土地はさっさと売ってしまう」と言いますが
土地を売れば、税金やら何やらで本来の値を大きく削られます。
何とかしなければと思うのですが、結局放置状態にならざる負えず今に至ります。
このような内容でよろしいですか?