両者の置かれた社会的環境が変わり、居場所が離れたことで、親近感が低下したようですね。

そして、それを克服できるような環境でも無いようですね。

・貴女は、ご自分を責める必要は無い
・貴女にも彼にも責任は無い
・しかし、環境ハンディを克服できるようなノウハウがない
・環境ハンディを克服できるような行動もない
・「環境ハンディに負けそうで後ろめたい」という言葉を思いつかなかった無力感に苛まれている

まずは言ってみましょ
まずは素直になってみましょ
「二人の置かれた社会的環境が変わり、居場所が離れた。環境ハンディに負けそうで後ろめたい。悩んでいる」
言われてすぐには、彼も反応できないはずです。
ワケの解らない苛立ちを表すかもしれません。
そこは許してやってください。
両者絶句になったら、その日は休みましょ
伝えた、受け止めた、だけでその日は充分です。

次の日から彼が、何か動き出すと思われますｗ