あなたが、すごく見識が狭いとか浅いので、一緒にいて自分の意見がろくろく言えない。
または、これを言ったってあなたはどうせ受け入れられないだろうから、言わなかったんです。
ということを率直に言っているのでしょう。
その人はそのひとで気をつかってつかれたのでしょう。
あなたのような高度な気の使いかたはできないのでしょう。
===補足===
あなたの望む気の遣い方はしてないということです。
文章がわかりにくかったのかもしれませんが。
本心がすけてみえるところが素直なのかナンなのか、失礼なひとには違いないですね。