私も同様の経験があります。
私の場合は何年も付き合っており、諸事情があり、『今後一緒に生活することが難しいように思う』といわれました。
当然私はfigさんが思われたように別れる気はありませんでしたが、一緒にいると今度は『私のことが嫌いになるのでは?』と思い、時間と距離を置くことにしました。
幸い私たちは復縁しました。
どのような経緯で付き合い始めたのかは分かりませんが、彼は熱しやすく冷めやすいタイプなのかもしれませんね。
一度頻繁に連絡を取る(会うことも含めて)あなたとの連絡を取りたいと思うような状態にする方法もあるとは思います。