Du musst nicht auf all Deine Domain-Adressen verzichten. Die Posteo-Mail-Adresse gibts halt dabei, ob Du sie nutzt oder nicht ist was anderes – soll heißen, Kontakte und Kalender haben nichts mit Deinen eMail-Accounts zu tun.
Für Kontakte gibts den CardDAV- Server und für den Kalender den CalDAV-Server. Beides sind Standards, die problemlos mit allen gebräuchlichen Kalendern und Kontakte-Apps funktionieren.