皆さんの意見を聞かせて下さい。

私には付き合って5ヶ月になる彼氏がいます。
出会いがキャバクラで、初めはお客さんでした。
仲良くなって、告白されましたが、好きだけどまだ付き合いたくないと一度は断りましたが、彼からの押しで付き合うことになりました。告白を断わった理由は、実はそのとき事情があり風俗も掛け持ちしていたため、風俗を辞めるまでは付き合いたくないというのと、本当に好きか自信がなかったのが本音でした。
付き合って1ヶ月ほどたったとき、恐らく私の部屋に風俗の給料明細があったのを私が留守の時に見て、風俗勤務がばれました。その時は、別れなくてはと思う反面別れがつらく、彼の風俗が辞めれるまで応援するという言葉に甘えてしまい、そのままお付き合いをしていました。
その2週間後あたり、私はキャバクラで知り合ったお客さんと遊びに行く約束をしていました。彼のことは好きでしたが、タイプの人で少し心が動いていました。それも、遊ぶ前に彼に見つかり（恐らく寝ている間に指紋認証でケータイを見られたと思います）、会うことはなかったです。
その件で彼は激怒し（当たり前だと思います）、別れることになりました。しかし彼と別れるのはやはりつらく、セフレという形で一緒にいました。その後、彼からもう一度彼女にしてあげると言ってもらい、また付き合い始めました。その際に昼職も安定してきたので、風俗はやめました。そしてキャバクラも復縁後2ヶ月ほどでやめました。彼のことが本当に大切な存在となり、心を入れ替え、男性との関わりは極力控えるようになり、彼に信用してもらえはようケータイのGPS機能をつけ彼に居場所がわかるようにし、行く場所は常に報告、必要時は証拠写真をとり、メールやラインのチェックをされることも仕方のないことだと我慢してきました。
しかし、ケータイチェックの際にインターネットのりれきを見たり、女のことのラインまで読んだり、写真を見たりとまるで自分のもののように私のケータイを扱うことがあり、それはさすがにやめてほしいというと元は私の行動が原因だからと口論になることが多々ありました。私も以前までの自分が最低だったのは分かっていまさし、仕方ないとは思っていますが、疑わなければならない彼の方が辛い、風俗をしてきた普通でない子と付き合っているのだから…と毎回侮辱されることに、精神的ダメージを受けている自分がいます。
彼のことは大好きになっている反面、キズをえぐりあっている気もします。この妙な関係はずっと続けなければいけないのでしょうか？こう思う自分勝手な私がおかしいのでしょうか？この先どうしていけばよいか分からず、お互いを傷つけあっている感じが続いています。皆さんの意見を聞かせて下さい。