人を信じるというのは、意図的にするようなものではなく、
自然と心が感じるどうかなんじゃないかと思います。
例えば友人関係において、この人信じられる、信じられないというのは
行動や雰囲気や過ごした時間の中で勝手に感じたりするものです。
逆に意図的に信じようと思おうとするほど
不信感を前提に観察してしまうものですから、
あんまり良い事柄を見ようとする気持ちがなく、
どちらかというと悪い部分ばかり見えがちです。
人の心理上、「自分の答えはやっぱり正しかった」と思いたい傾向にあるように思え、
"やっぱり"とはつまり最初の立ち位置、あなたの場合、不信感になってしまい
いつまでも不安な気持ちのまま時間だけが過ぎていくように思います。
なので、まず「信じよう」と思うことを諦めてみてはどうですか？

私の場合、信頼されることは重要だと思いますが、
自分が人を信じるとか信じないとかどうでもいいと思っています。
大切なことって信じるか信じないかよりも、
シンプルに相手に連絡したいかとか話したい、一緒にいたいと思えるかどうかだと思います。
例えば、浮気する人で連絡したかったらそれで良いと思いますし、
逆にしない人でも連絡したくなかったら終わりです。
あなたの場合、別れたくないと思うならそれが答えで良いのではないかと思います。

ふとした時に「浮気してるんじゃないんのー？」と聞いてしまうことについては、
信頼したから言わなくなるという考え方より、
「聞いても仕方ないから聞かない。」と考える方が良いのかなと思います。
そもそも浮気している人は「そうだよー！」とは言いません。
そんな返答がきたら驚きです。
経験の通り、答えも得られず不快感を与えるだけの言葉ですし、
あまり意味がありません。
意味がないと理解すれば口にすることもなくなるのではないかと
思います。

それでも不安なら、最終手段としていっそのこと開きなおって彼に相談してはどうでしょうか？
友達や関係者と相談するのもひとつの解決方法ですが、
「いいにくいな」と思う相手にあえて相談することで吹っ切れることって結構あります。
伝える雰囲気、タイミング、言葉は注意が必要です。
なので、最終手段だとは思いますが、悩みを解消する手法としてはアリかなと思います。
ただ、注意が必要です。