世間体は無視していいと思います。
周りがなんといおうと、蚊帳の外と無視すればいいのです。
ただし、彼(21歳)が息子(11歳)を本当に親子として接して、育てられるかが問題だと思います。
今は夫婦、親子の関係ではないので、あなたの子供とも友達のように仲がいいかもしれませんが、あなたと結婚して子供とは親子の関係になれば友達のような関係でい続けることはできません。
親子として接して、父親として子供を育てなければならないのです。
これと子供にその切り替えができるか、彼がしっかりと子育てできるか。
また、あなたの年齢なら、まだ彼との間に子供を作ることもできるでしょう。
彼との間に子供ができたとき、どちらの子供にもわけへだてなく同じ子供として育てられるか。
その辺を彼氏とじっくり話し合い、子供も彼を父親として受け入れるというのであれば、回りの騒音は無視して結婚していいと思います。
しかし、子供が友達のように接することはできても父親としては受け入れられないといったり、彼が彼との間に子供ができてもわけへだてなく育てられる自信がないというのであれば、あきらめたほうがいいかもしれません。