Muss ich was beachten, wenn ich einen Handyvertrag kündige und meine Nummer mitnehmen möchte?

Habe ich noch nie so richtig gemacht. Alter Vertrag ist gekündigt, um einen neuen will ich mich zeitnah kümmern. Kann mir "meine" Nummer weggenommen werden, weil ich irgendwelche Fristen verpasse oder ähnliches?