>この沈黙のせいでつまらないと思われるのではと気になりまして…

相手の性格次第、あなたとの相性次第なので何とも言えません。
沈黙もなくずっと話し続けるのをつかれると受け取る人もいるし、沈黙が気まずいと思う人もいれば、何も気にしない人もいますので。

そもそもその沈黙、そんなに気になるほど長いんですか？
沈黙の間は何をされていますか？
彼女から話を振っては来ないんですか？

でもまあ、正直な所「沈黙も楽しめる仲」じゃないと大変なんじゃないかと思うので、それで嫌われるとは思わないほうがいいんじゃないかと思います。