Piscine et problème de voisinage

Bonjour à tous,

je vous expose mon problème :

hier soir, mon voisin est venu me reprocher de faire trop de bruit avec ma piscine. Il était 21h30.
En effet, il faisait chaud et les enfants (3) en ont profité pour se baigner. Il n'y avait pas de cri mais ils s'amusaient à plonger et glisser sur le toboggan.
C'est le 1er soir où ils se baignent après le repas. Mon voisin est arrivé très énervé et hyper agressif en me disant d'arrêter les "ploufs" dans la piscine que c'était insupportable.

Je peux comprendre que cela soit bruyant mais ce qui m'ennuie c'est que c'était la première fois que la baignade a lieu à cette heure depuis que nous avons la piscine, que les propos de mon voisin ont été très agressifs. Il aurait pu nous le dire de manière courtoise et tolérer qu'exceptionnellement au vue de la chaleur les enfants profitent de la piscine surtout qu'il n'était pas tard. Même les amis qui étaient chez nous ont été choqués par son agressivité.

Bien sur nous nous sommes excusés et avons fait sortir les enfants de la piscine.

 Je n'en ai pas dormi de la nuit car nous n'avons jamais eu de problème avec lui depuis 10 ans. Nous sommes des gens très respectueux et faisons attention au bruit dans notre jardin.

Je ne sais pas quoi faire. Dois-je retourner m'excuser mais lui dire de ne pas être si agressif ? 
Mon mari me dit de laisser tomber que c'est une personne qui n'a que ça à faire. Moi je souhaite garder des relations cordiales.

qu'en pensez-vous? merci