私も好きで断れず体を許してしまい、セフレ関係になってしまっている
男性がいます。

あなたから彼に連絡するのを一度やめてみたらどうでしょう？
彼から誘われても「気分じゃない」とか「めんどくさい」
とか言って断りましょう。
もしかしたらあなたのことを追いかけてくるかもしれません。
もし追いかけてこなかったら、手放したくないセフレとも思われていないわけだから、
完全に脈なしということです。

ひとつ言えることは、
その人を好きでいてもつらいだけで幸せになれないということです。
一度連絡をとることをやめて、その人を忘れてみてはどうでしょう。
彼からの連絡を期待せず、来たらラッキー程度に考える。
彼を生活の中心に置くのをやめ、他のことに目を向けましょう。
少し気持ちが楽になると思います。