相手の方との関係性は？
同じ会社の人であれば、単に同僚を誘っただけ、
何らかの先輩後輩なら、後輩を誘っただけ、
そんな可能性もあります。
でも、さして二人での食事に誘う理由もなかったのだから

>２人でと誘われた時点で勝手にいないと思い込んでました。

勘違いしてもしょうがないとは思います。
まあ、こういう男はいるということで、それに確認は重要だと思うので、これからは先に聞いておいた方がいいでしょうね。


>彼女が居つつ、誘ってくる時点でダメな男ですよね？

デリカシーは持ち合わせていませんね。
「ふつうに皆で遊んで楽しかったから２人でも話したかったといわれました」なんて気軽に誘うあたり、天然の遊び人かもしれません。

彼は誰と付き合っても異性と二人きりで会うだろうし、今回だってあわよくばと狙っていた可能性は否定できませんからね。
彼氏にはしない方がいいタイプでしょうね。


>集団で仲いいので、これからも皆では仲良くしたいですが
>２人の誘いは断るのが賢明ですか？

もちろんです。

>鉢合わせトラウマだから２人は行かない！

これでいいと思います。

あんなに怒るってことは、本当はあなたが異性と二人きりで会うのは嫌なんだろうなって思うから、彼女さんに申し訳なくてできない。
そこはデリカシーの問題だから、彼女がいるときは女性を二人きりの状態に誘うべきではない。

こんな感じのことも伝えて、どんどん断りましょう。

集団の輪を乱したくないのなら、しょうがないのかもしれませんが、このまま会い続けて彼をあきらめられますか？
彼をあきらめきれないと次の恋にも進めないと思うので、彼と合うこと自体、彼をあきらめられるまで控えたら？とも思いましたよ。