24歳のOLです。
入社して2年今の職場で働いています。職場は男性50人程度女性5人の職場で、女性社員のリーダー的存在である先輩Xさんから、入社してすぐ「あなたみたいにトロい子嫌い」と言われてからは1人でご飯を食べていたり、内向的で職場では地味で目立つ方ではありません。
（Xさんはテキパキしているので私もそうなりたいなと思って早く出社するなど日々努力中です。）

半年程経って、Xさんに何か言われているとすぐフォローに入ったり優しくしてくれる、同じ職場で5歳上の先輩Bさんを好きになったのですが、それに関して困ったことがあります。

前述のとおり、私はいつも1人でご飯を食べていたのですが、飲み会で2年上の先輩Aさんと隣になり、好きな食べ物が同じだったことから月に2回くらいの頻度で昼食を一緒にすることになりました。
Aさんはハンサムですが内気なタイプで、内気な私は共感できることも多く、友人として仲良くなっていきました。

しかし、そんな関係が始まって1年程経った先日、Xさんから「Aさんと付き合ってるんでしょ？どうなの今？」ときかれ大変びっくりしてしまいました。
もちろん、急いでお付き合いはしていないことを伝え、否定したのですが、更に次のようなことを言われました。
・この前道で肩を抱いているのをみた
→転びそうになった時にAさんが支えてくださっただけです。
・Aさんもトモコも一緒にご飯に行くのはお互いだけじゃないか
→Xさんに「ちょっとした悪口程度乗ってくれなきゃつまらない」と言われたので別にしているだけです。Aさんは「トモコはあんまり喋らないから疲れない」そうで、静かに食べたいだけです。
・飲み会でいつも隣
→職場の風習で2ヶ月に1度程飲み会があるのですが、私は職務の関係上一番遅くに会場に向かい空いている席に座っているだけで席を選択したことはありません。
・プレゼントをもらっていた
→好きなキャラクターのグッズが壊れた話をしたら丁度Aさんが持っていて、特に好きでもないからあげると言われ、それを頂いただけです。
・帰るタイミングが一緒
→私の帰宅タイミングは直属の先輩であるXさんが決めています。
・Aさんがトモコのことに詳しい
→Aさんは質問好きで、昼食の時はこちらが1つ質問すると3つは質問が返ってくるような人です。
・トモコがいない時携帯を見る
→Aさんのメアドは知っていますが私もAさんもメール嫌いということもあってメールをしたこともありません。

角が立たない程度に柔らかく→のように否定をしたのですが半信半疑で、どうやら職場内のほとんどの人がそう思っているらしく、Bさんもそう思っていると思うとがっくり来てしまいました。最終的にはXさんから「Aさんと仲がいいなら他の人に期待させるのどうかと思う」と言われて、二重に落ち込んでしまいました。挨拶と業務上必要最低限の会話以外はAさんがほとんどで、他の社員の方は突然お菓子をくれたりする位しか関わりが無いため、色々な人と話すXさんの方がよっぽど他の人とも仲が良く、期待すると思います。

せめて、Bさんの誤解を解きたいのですが、最近はBさんから「A君どこ？」と言われたりして憂鬱です。あまりAさんと話さないようにしてもAさんはやや天然で気にせず話しかけてくるので無視はできないし、どうやってBさんの誤解を解けばいいのでしょうか。