O simplemente, sacas la memoria USB cuando se reinicie el PC.
Con Windows XP creo que después de reiniciarse el PC seguían haciendo falta archivos del PenDrive o el CD, aunque no estoy seguro. Con Windows 7, una vez se haya reinciado el PC, el SO ya está instalado y no hace falta el PenDrive/CD para nada más.