初めまして、くらげ　女・27歳です。

去年末からすれ違ってしまった恋愛の事でご相談です。
同じ職場で部署の違う男性後輩（24歳）年下の気になる人がいます。
彼は、性格が子供っぽく誰からも好かれるタイプの根は良い子です。
ですが気持ちにムラのある所があり、紹介されて付き合っている彼女と当時1年程付き合っているようでしたが、あまり上手く行っていなかった様でした。
私達は職場仲間という感じで他の人を含め、よくご飯を食べに行ったりしていました。
そんな中昨年、ある日食事の帰りに彼から帰り際「（私の名前）さんが良い！」という様な冗談のような告白を受けました。その時は冗談半分で言っていると思い、傷つけ無い様嗜めて何事も無かった様に振舞っていました。
その後、会う機会も無かったのですが職場でよく一人でいるのを気に掛ける様になり、話し掛けに行っていたら彼に惹かれていく様になっていた自分にびっくりしました。
ですが想いだけ告白した所、共通の職場の友人に私に告白してしまったという相談をしていた事を彼自身から知りました。
その後の流れで、一夜だけ体の関係も持ってしまいました。
ですが、私が彼を好きになる前気になる職場の男性の事にも気付いていたらしく、どうせそっちが良かったんでしょ？、俺にだって彼女がいるのに何で？等思いを聞いてしまいました。（気になる男性の事など時期的にもう忘れていたし、彼と全く比較してもいなかったのですが）

そして、お互いにすれ違った恋愛？みたいな形で終わらせ、彼を自分から職場で避ける様になりました。
半年後、彼と久しぶりに会話する機会があり、嬉しかったのかその晩電話も掛けてきてれ、ここ2ヶ月程電話連絡はたまに取っていました。
ですが、ある日彼から「話したい事がある」、「今は誰かと付き合っているの？」、二人でまた会いたい等話がありました。
私としては、友達としては最高な人な為折角話せるようになったのに、もう友達として失いたくないとの思いもあり、誰かと付き合っているか等に関して笑ってはぐらかしてしまいました。二人で会うのも3回程はぐらかしていますが。
職場では少し会話する事は出来るようになりましたが。
そして、一度こちらから電話しても折り返し連絡もくれず、悪いとの思いもあり、職場の帰りにまた良かったら食事皆で行こう！と言ったら「今週は忙しいから来週連絡してね」と返答されてました。
本人は怒ってしまったのでしょうか？

正直、彼が何を話したいのか分かりませんが、もし付き合っていた女性と別れたとか言い出したら、どうしようか恐かったのだと思います。
折角落ち着けた気持ちもぶり返してしまったら、自分自身半年の空白期間中別な恋愛で失恋したばかりなので気持ちが分かりません。
でも毎日彼と会えるのが嬉しくなってきてしまいました。

電話で話してくれない、話したい事があるってやはり上記の様な内容なのでしょうか・・・・。どうしていいのか悩んでいます。