どうすればいいかわからなくなったので相談させてください。

　私のお付き合いしている人は、恋愛に関してはドライな人で、あまり自分から積極的に連絡をとったり、会おうとしてくることはありません。お互い実家暮らしで、彼は出かけるのもそれほど積極的に好きというわけではないし、そんなに会わなくても平気なタイプです。

最初は私もそれであまり困っていなかったのですが、最近はもっと一緒にいたい、などという欲が出てきてしまい、でもそれがうまく伝えられずに、でも態度にはものすごくよく現れてしまうようで、彼を困らせてしまうこともあります。
彼の幸せをいちばんに考えるのであれば、無理はさせたくないし、会ったりするのも彼のペースにあわせてお付き合いしていくのが一番だと思うのですが、私が会いたくて、彼が特に会いたいと思っていないときに私が「会いたい」と伝えるのは、彼にとって負担にならないかということがとても不安です。
恋愛で大切なのは相手のことを思いやることだと思うのですが、相手のことを思いやるなら、自分の「会いたい」という気持ちは伝えないほうがいいこともあるのでしょうか。
私は、この気持ちが彼の幸せを無視した独りよがりなものになってしまうのが怖いです。
「会いたい」という気持ちを彼に伝えるべきなのかどうか、皆様のご意見を聞かせていただきたいです。
どうぞよろしくお願いいたします。