迷惑かどうかは分かりません。
相手次第なので。

相手の立場に立って考えてみましょう。
最近あっていなかった人にいきなり告白されたら戸惑いませんか？

相手の反応からすると、ごめんと言っている以上あなたとお付き合いする気はないか、そんなこと考えたこともなかったのでしょうね。
ラインのやり取りを続けて、会って話すところまで持っていけたら、何度か会う中で頑張って仲良くなったうえで告白することをお勧めします。
（告白をゴールと考えて行動するのではなく、付き合う前の確認程度に考え、そうなるくらいに仲良くなることをお勧めします）

会うことすらままならない場合は、そのままひっそり諦めましょう。
告白されたくなくて、警戒して、あなたを遠ざけている可能性が高いですから。
連絡もたって、頑張って諦めるｋとをお勧めします。