今はコンビニでいつでも現金を引き出せますし、クレジットカードや電子マネーが使えるところが多いので、財布の中身が少ないことを恥ずかしく思う必要はないと思います。むしろ、少ない方が安全だと思います。
TPOに合わせて額を決めればよいと思います。
例えば、無駄使いが多ければ少なく、クレジットカードが使えない飲食店に行くことが多い人なら多めに、遊園地・観光地に行くときは多めに、など。
ちなみに私は、職場近くに独り暮らししていた時は1万円程度、今は3~5万円程度です。急にクレジットカード不可で「飲み会でごちそう・立て替え+タクシー帰宅」となっても困らない金額です。
こんご時勢ですし、現金を携帯する必要性が少なくなってきているので、安全面を考えて、お財布の中に入れるお金は少なくしようと思っています。