耐えようと思ってもこれが20年30年積もれば、きっとあなたは耐えきれなくなります。
今からでも少しずつ不満もぶつけ合える関係になっていかなければ、おそらくそう長く続きません。

不満をぶつけるとはどういうことか。責めるのではないです。「〇〇な状況で、私はこう感じた」と報告し、「互いが嫌な思いをしないためにはどうやったらいいのかな」と話し合うことです。

まず相手はあなたのどこに不満を感じたのでしょう。
遅れたこと？　それとも遅れることを前もって伝えなかったこと？
これは彼に直接聞かないとわからないでしょう。
聞いてみると、あなたから見てフェアな理由だと思える点とアンフェアで反論の余地のある点が見えてくると思います。

一方で、あなたは彼のどこに不満を感じたのでしょう。
これは今のあなたの話で明確で、「必要な用事のために遅れることは仕方ないのに怒られるのは不満だ」ということでしょう。それを相手に伝えます。ここでも相手からみてフェアだと思える点とそうでない点が見えてくるでしょう。

その上で、相手を責めるのではなく「どうやったら互いに気持ちよく下校できるか」を考えましょうと提案するのです。理想は自分と相手が悪い気分にならないことであって、謝ることや相手の愚かさをなじることではないです。謝ったってあなたも終礼に参加しない訳にはいかないのですから、何一つ状況は解決しませんしね。

例えば「連絡が何分までに来なかったら『今日は一緒に帰れない』という合図にする」
「用事のある曜日は決まってるので、その日は一緒には帰らないことにする」とか。
これは互いの不満が出揃った段階で初めてできることなので適当なことしかいえませんっが、要は悪いのは人ではなく方法であるという前提に立って話し合うということです。

相手も不器用なりに自分の意見を発しているのですから、こんどはあなたのターンです。
決して楽ではないですけれど、頑張ってみてくださいな。