彼氏とその同僚女性の関係について相談です。

現在彼氏の会社（私は別の会社です）の同期は、前述の女性ひとりしかいません。
会社は小規模で社員は皆仲良く、コミュニケーションは活発で飲み会も盛んに行われています。
当然彼氏と同期女性も一緒に飲みに行くのですが、そのことで昨日揉めてしまいました。
最初彼氏・女性・後輩2人で飲んでいてそのあと女性に個人で誘われて2人で2軒目に行ったとのことでした。

私としては、
・どちらかに恋人がいるなら異性同士でのサシ飲みは行くべきではない。理由は時間帯と酒が入ることで絶対いつか何か起こるから

彼氏としては、
・会社の同期の付き合いまで制限されるのはきつい。私と知り合う前から2人で飲んでるけど本当に何もないし異性としても見ていない。あと会社の規則でもし男女問題起こせば罰則があるから、そういう意味でもありえない

という意見です。
一度この女性には会わせてもらったことがあって、彼氏と私と3人で飲みましたが特に怪しい感じや、女性の方が彼氏に気がありそうな感じはありませんでした。また普通に受け取れば同期女性はとてもサッパリとして良い人だなと感じる方です。私とも仲良くしたいそうで、昨日も彼氏にまた3人で飲もうねと言っていたそうです。
ただ、このことを友達数人（女性）に相談したところ、絶対におかしい、女性に裏があるとの意見で満場一致でした。
私も昨日はここ数日プライベートで色々あり精神不安定になっていたのもあって、思わず感情的に彼氏に不安をぶつけてしまいました。

今は冷静になり、彼氏にも同期女性にも悪いことをしたなと反省しています。どれくらいの付き合いかを書いてませんでしたが私と彼氏が2年半ほど、彼氏と同期女性が4年ほどなので、私と知り合う前からの人間関係を壊そうとしたと考えると本当に最低だったなと思います。
同時に、会社の同期は確かに私にとっても友達とも違う仲間のような特別な存在なので、彼氏の言い分も理解したい気持ちと、本当は何か騙されてないか、私は都合がいいんじゃないのか疑う気持ちとで葛藤中です...。

私が私の同期20人と飲みに行くのが、彼にとってはたまたま異性だった同期1人と飲みに行くことだと考えると納得できるんですよね。
でも今もう自分含め誰を信じたら良いのかわからない状態なので、第三者の意見を聞きたくこちらに相談しに来ました。
長文失礼致しました。よろしくお願いします。