すでに友達以上の関係になっている以上、友達に戻るのは難しいでしょうね。
あなたがそのつもりでも、相手は「あわよくば」「すきを狙って」と考える可能性が高いので。

というわけでもう関わらないのが一番幸せだと思います。
それとも奥様に対する慰謝料を用意しておく覚悟がありますか？
いくら体の関係がないと言っても「それができた可能性」があった場合、ないことを証明するのは難しくなります。
証明できなければ、あなたは慰謝料を払わなければならなくなります。

そんなことになり前に、既婚者とは別れるのがベストです。
そしてこれに懲りたら、既婚者を好きになってもあきらめる力を、自分に厳しくできる自分を作っておきましょうね。

＞友達に戻りたいです

これは彼の奥さんを含めての関係でしか成立しないと思いますよ。

なるほど、権利と自由という考え方はなかったです、ありがとうございます
解消はしたいのですが、関係を断つのは辛いので友達に戻りたいです…難しいですか？

既婚男性です。

＞そもそも自分には奥さんがいて浮気のくせに人の行動に口出しする権利はないですよね？

権利というより自由はあります。

貴女がそれに従う義務がないだけです。

＞干渉するのやめてとはっきり言ったほうがいいですか？

貴女にも上記の自由がありますが、彼にはそれに従う義務はありません。

どう考えても解消した方がい関係だとは思いますが。