餞別は、ハナムケのもの、個人個人の繋がりによりますので、基本的には贈りたいと思う方が、ご自分で出すことでよいと思います。関係の薄い人やあまり業務上接する機会の少なかった人にまで出すことを強要することは、好ましくないと思います。
ただ、文脈から推察すると、質問者ご自身は「パートタイマー」で、社員ではない立場で勤務し、「職場のおばさん」という、おそらく、パートタイマーなどの非常勤職員のベテランで、結果的に世話役のような立場になっている方が、職場慣行として「餞別金の取りまとめ」を行われていたのでしょう。
ご自身は既に退職されたようですので、今いっても詮無いことですが、餞別の案内があったとき、「私はその方を良く知らないので、遠慮します。」といって辞退する方法もあったのかなぁ、と思っています。
===補足===
我が職場では、職員互助会として、月々徴収している資金から、勤務年数に基づいて、一定額を贈ることとしていますので、基本的にはその都度、全員から集めて餞別金を贈る慣行はありません。
ただし、その上で、関係の深かった人や、上司としてお世話になった人には個別に行うこととしています。
お世話になった人には、万感の思いを込めて贈ることとしています。