今年大学一年生になりました．
理系の学部で女子は１割もいなかったのですが，同じ学部にいたAさんという子がいて仲良くなりたいと思うようになりました．
僕はその子のどこか壁を張っているような感じに惹かれたのですが，ご飯に２度誘って行ったところ，元彼から暴力を受けていたことがわかりました．
元彼とは別れたかったが，周囲に知れ渡っていたから周りの目が気になって別れられなかったことも聞きました．

ご飯の帰りに僕なら信用できると言われたので花火大会に誘ったのですが，後日その子に彼氏がいるという噂を聞きました．一度彼女に確認したのですが，次の日に全く同じ噂を聞いて，彼氏がいるなら申し訳ないなと思って僕は相手の裏を書いて「彼氏いるなら言ってくれればよかったのに．カップルなんじゃん」とメールを送ってしまったのですが，本当に彼氏がいるというのは噂だったようでその子には「君がそんな人だとは思っていなかった，さようなら」と言われてしまいました．
彼女的には周囲に噂されて元彼と別れられなかったことがトラウマで，今回僕が彼女の言葉を信じなかったために傷ついたようです．
それが今年の４月から７月までのことで，彼女には怒らせた後すぐ謝って１ヶ月置いてから「また仲良くしてもらえませんか」と連絡してみたところ「怒りすぎてごめんなさい」と返って来ました．

しかし結局花火大会には行かず．仲がよかった頃は僕からというのが多かったもののlineでのやりとりも少なくなってしまいました．
意を決して先日ご飯に行きませんかと誘ったら「いいね」と返って来て今度行くことになったのですが，嫌々彼女が行くのではないかと心配です．

僕は母に暴力を受けて育ったため女性に対して若干恐怖症気味で元カノも本当に自分が好きなのかなんども試して泣かせてしまったことがあります
でもそのことはこれから４年間仲良くしていきたいので彼女じゃなくても友達として仲良くして欲しいです・

一度相手の気分を害してしまった以上難しいでしょうか？
どなたか教えていただけると幸いです