同じ職場の二個年下の彼氏がいます。
職場内で付き合っていることは秘密にしています。
今回相談したいのは、彼の後輩の女の子との関係です。
後輩をAさんとします。
Aさんと彼は帰宅する電車の路線が同じで一緒に電車に乗り合わせた時は約40分ほど一緒になります。
退勤する時間が同じで、偶然一緒になったなら仕方ないと思うのですがわざわざ一緒に帰るために『今どこにいる？』『何号車に乗ってる？』など互いに連絡を取り合ったり、待ったりすることがあります。
Aさんには同じ職場に好きな人がいるため、彼を狙っているとかではないと思うのですが、わざわざ連絡を取り合ってまで一緒に帰らなくてもいいと思うのです。
Aさんと一緒に帰っている間、彼は私に連絡をくれません。(LINEの画面を見られてバレると困るから)
しかし、Aさんと帰るために、連絡を取り合っている1人の時間の間に『Aさんと帰るから帰ったら連絡入れるね』などと一言言ってくれたらいいのにと思うのは私の心が狭いのでしょうか？
私は退勤時間後に返事が遅いと仕事上で何かトラブルがあったではと心配になります。
(基本時には退勤後にすぐに連絡が来たり、同僚とご飯の場合は一言連絡があります)
何かAさんとのことを隠されているみたいで私的にはすごくもやもやします。
また、途中駅で降りてカフェでお茶をすることもしばしばあります。
彼から誘うことのが多いようですが、私には誘われていると言っています。
そうなると連絡は本当に遅くて、私も寝てしまいます。
女の子と2人でいることは嫌だ、彼から誘ってそんなことしてたらもっと嫌だ、そういうことがあるなら事前に言ってほしいと伝えているのにこの感じは彼にとってやましい気持ちがあるからなのでしょうか？
『昨日遅かったね、残業してたの？』と聞くと『Aさんと帰って、カフェ行ってた』と隠すことはないのですが事後報告がイラっとします。
彼の携帯を見てこのやりとりを得ているので、直接的には言えないのですがどうにかして伝えたいとは思っています。
(人の携帯を見るなという意見は今回は無しでお願いします…)

文章がめちゃくちゃで読みづらくて申し訳ありません。皆様から何かアドバイスや意見をいただけると気持ちが楽になると思います。
よろしくお願いします。