タブブラウザを使うと、同じウィンドウで別タブが開いていくので一気に閉じることができますよ。SleipnirやLunascapeはIEをベースに、機能が拡張されているし、Firefoxもいろんなプラグインがあってカスタマイズしやすいです。
もしくは、スタートメニューを右クリックして、プロパティを選んで、
タスクバーのタブで同様のタスクバーボタンをグループ化する、を選ぶと、
タスクバーで複数のIEが1つのボタンになります。
そこで右クリックすると、グループを閉じる、というメニューが出ますので、
一気に閉じられます。
試してみられてはいかがでしょうか。