大変長くなってしまいましたが、ご意見いただけると嬉しいです。

私は去年の4月頃から、中学の頃の同級生と連絡を取るようになりました。
もともと全く仲良くはなくて、私がすごく人見知りなので直接会うのを渋っていたんですが、なんだかんだあり週一くらいのペースで遊ぶようになりました。
基本はいつも夜から遊んでました。
ある時からハグをするような仲になり、キスをする仲までになりました。
彼はハグはストレスに良いと言っていて、した理由はそれだと思います。

何ヶ月かたったくらいに、彼と少し話をしお互いに好き(恋愛として)だと言う話になりました。
それから花火や動物園や観光など、お昼から一緒に遊びに行くことも少しだけ増えたんですが、未だに彼とはハッキリした関係にはなっていません。
友人に私と似た関係の方がいてその話を聞いていたら最終的には遊びだったという話でした。
前々から不安に思っていたので、彼に付き合ってはくれないのか。と聞いたら、別に嫌ではないけど…みたいな感じでした。
ちゃんと聞きたかったのでハッキリするように言ったら、
好きじゃないとかじゃないけど今は付き合いたくない。
付き合ってるの想像したら楽しくないよね？と言われました。
結果的には振られたのには変わりなかったので、終わりにしようとは考えたのですが、もう一度だけ話をしておきたいと思い、彼と会う約束をし話をしてきました。
その時に、彼もすごく悩んでいた話を聞き自分が彼を苦しめてしまっているのも分かりました。
恋愛として今も好きと言ってくれました。
私が離れるのはつらいと言ったら今後どうしていくか考えようという話になりました。

それから一ヶ月くらいなんですが彼とは連絡はとりますが、一回もあってません。
それに最近彼は遊ぶ気はあまりないような感じがしてます。
関係が関係なのでやはり不安になってしまい、どうしたらよいのかわからない状況です。

諦めたくはないのですが、無理があるのでしょうか。