20代後半OLです。
５歳歳上の上司と付き合って半年になります。

その彼と最近ケンカしました。
ケンカの内容は、彼が部下の女の子と残業帰りに飲みに行った
からです。
一回目の時は、「私が心が狭いかもしれないけど、夜2人きりで
飲みに行ったりするのは嫌だ」と伝えていました。
にもかかわらず、先日また行きました。

彼は「ただの部下でなにも興味がない、ただ残業で帰りが遅くなったし、
部下の女がお腹減ったと言ったから付き合っただけ。浮気心もなにもない」と言いました。
彼の言葉を信じたいのですが、私がいざ、「ではそうゆう時は、何か適当な嘘をついてかわせばいいじゃん！だから次はもう行かないでほしい。」
というと、「そーゆーのもありだと思う。ただ、俺だってなるべくそうゆうシチュエーションにならないように
時間ずらしたりしてる。今後二度と行かないとは言い切れない」と言われました。

なんで適当な嘘さえつけないのか私にはわからないですが、
私がやはり束縛しすぎなのでしょうか？
また彼女が嫌だと言ってももう行かないと言わないのは
部下の女の子に下心があるからでしょうか？

※私たちは小さな会社での社内恋愛ですし、上司と部下ということもあり、付き合っていることを
公言していません。また、彼自身も彼女はいないということにしていると思います。

宜しくお願いします。