心情的・道義的に何の問題もありません。
その点は安心していいと思います。
ただ相続のことを考えると、法律的に問題が起こることがあるかもしれませんね。
他の方々の回答には「子供がいれば…」とありますが、子供がいない場合でも、です。
実は私の母方の祖母が亡くなった時のことですが(祖父はずっと以前に死去)、
叔母の元旦那に遺産相続放棄の書類を書いてもらいましたから。
別に養子縁組をしたわけでもなんでもないのに。
離婚ではなく、叔母とその子供たちが事故で死んで、その後でその叔父は再婚したケースですが、
その再婚から何年も経った後のことなので、今更そんな書類が必要なのかと驚きました。