彼氏、彼女が自分ではない異性と二人でシェアハウスをするといわれたらどう思いますか？

大学１年女子です。しょうもないことかもしれませんがモヤモヤが治らないので半ば自己満足で投稿さ
せて頂きます。老若男女コメント頂けると大変ありがたいです。
先月、２個上の社会人彼氏さん（高校時代から付き合ってる）とファミレスに行った時なのですが

お互いの友人の話になり「この頃交友関係が仕事場の人に限られてきたのよねー」と彼氏さん
仲良し組といわれスマホで写真を見してくれました。
メンバー→中学からの男友達、高校の後輩女子（同仕事場）、多分１、２個年上の仕事場女子
こんな感じでした。

そこでなぜか急に申し訳なさそうな顔になり
「あのさ、特になんだけど、この女子二人と遊びに行くことが多いんだよね、どっちか二人きりで遊びに行くこともあるし、その…その前ディズニー行った時この二人と行ったんですよ、、、」
（ディズニー→彼氏と会った時にこの日会おう→当日「今日会おうってその前いったけど、どうしようか？→返信既読なし→こりゃ忘れてて友達と遊びに行ってるか話聞いてないな「この日空いてる？」と追記→夜に空いてる？にのみ返信→翌日「友達とディズニー行ってました」と告白→まぁ、課題で忙しくて返信遅いしなかなか会える時間が作れない私にも非がないとも言えないので内心しゃーない許したるそれに君のTwitterのRTで女子二人と言っていた事は知っていた）

「へー、そうなんだ」と普通に返したら「え、怒んないの！？」といわれ
別に遊びに行くだけなら怒んないし自分だって学校の趣味が合う男友達と一緒に喫茶店巡りしたり写真撮りに出かけたりしているので「全然、むしろウェルカム。遊びに行ける友達がいることはいいことだ。逆に逆の立場だったらどうなのよ」→「一線を越えたら何をするかわからない（以下略）そっか、怒ってると思った、よかった…でさ、来年ね、こっちの人（年上女子）とユニバ行こうって話してるんだけど…」
（まぁ、遊びにいくだけなら、いや待て遠いから泊まりやん、二日間いるやんてかまず彼女誘えよいきたいねて話したやん。でも、私忙しくて目星つかんし）
「いいなー、行きたいなー。ちゃんとお土産買ってきてね」と返答
「おう、でさ、話変わるんだけどシェアハウスしたいと思ってるんだ（実家住）」
「ほー、いいんじゃないの。色々勉強になるだろうし」
「その人（年上女子）も一緒に、というかその人と二人でするって話してるんだけど…」

一瞬思考回路停止しました。は？なにトントン拍子のついでにこいつ何いうとんの、アホなの、何彼女にそんな事いうてんの、いわなくても考えついただけで充分なアホだわ、いやもしかして私がなかなか怒んないからわざと言ってるの？でも、本気のトーンで言ってるから嘘では無さそう、まして嘘はつかない性格だし、それとも大卒したら一緒に住む前慣らし？いや、どんな
前ならしだよ！と自問自答してたらつい「ふーん、ご勝手にどうぞ」と言ってしまいました。
「おこんないの？」って聞かれたので「それだけ◯くんの事を信頼してるって事ですよ、喜びたまえ」と返し彼が拗ねていたので自分から爆弾発言しといて何拗ねてんだこの野郎と思いながらファミレスを後にし、いつも通りにさよならをしました。

家に帰り就寝前に彼から「俺も信じてるから」とLINEが
それが起爆材料になってしまったらしく
ああ、自分のためにも彼のためにも意地を張るのでなく怒ればよかった。なんで？とか自分から聞いてあげるべきだったと後悔しました。同棲するにもまだかなり先のことだし、私忙しいし、私の親が少しキツ目と言うこともありビジョンがつかめないのでは。でもその一方、彼女に異性と住むって言うなんて言語道断。ありえないって思ってて、布団に入ると度々こうやって考えてしまって少々睡眠不足になってきている現状です。
彼に言ってしまえばおさまる気もするのですが
我ながら自分はさっぱりしているキャラなので言えない…と言うか、許せない（＾p＾）

わぁああああ！みなさんならどう思いますか