Deswegen ist aus Erfahrung das sauberste die lokalen Kontaktverzeichnisse komplett zu deaktivieren und ausschliesslich eine iCloud basiert DB zu nehmen, alles andere gibt über kurz oder lang merkwürdige Dinge.