私→バイト(大学生)
彼→バイト先の社員

私が約3ヶ月前からバイトを始め、最初は彼に挨拶しても無視されていた(おそらくこちらが全体に向けて挨拶をしているので自分はしなくていいと思っていた？)のですが、今では職場で雑談をする仲までになりました。

私が物を落としたり変な動き(腰を叩くなど)をしてるところを見られてクスッと笑われます。
彼から前に「仕事を真面目にやってるからしっかりしてると思ってたけど意外と抜けてるよね」と言われたことがあります。

徐々に仲良くなれて嬉しいと思っていたのですが、今日急に彼の態度がよそよそしくなりました。
私が話しかけても「はぁ」とかうなづくだけで、スッとその場から離れていってしまいました。
他の女性の社員には普通に接しています。

仕事で大きなミスをしていませんし、連絡先を交換していないのでしつこく連絡したからウザいとかそういうこともないです。
考えられる原因としては、お互いがいじりあってるので私のいじりがなにか癇に障ってしまったのかなと思います。
(人格を否定したり、相手を傷つけるようなことは言ってないです！)　
また、私自身ちょっといいなと思っていたくらいだったのでこの気持ちを職場の人に言っていないため好きバレはないと思います。
ですが無意識に彼のことを目で追っていたかもしれないです。

昨日までは普通に話していたのに、今日急に態度が変わってしまいびっくりしてしまいました。
これから連絡先を聞いてもっと仲良くなれたらいいなぁと思っていたので、どうしたらいいか分からず悩んでいます。

こういう時どうしたらいいんですかね。一旦距離を置いた方がいいのでしょうか。