Para el equipo de mi firma yo tengo la misma configuración, excepto la de la arquitectura del procesador y no he notado eso que dices. Igual se saca más rendimiento activando los /dev/cpu pero lo que he leído por ahí siempre ha sido que se recomienda NO.
Aquí tienes mi config para el kernel 2.4.20 de las gentoo-sources:
# Processor type and features
#
CONFIG_LOLAT=y
CONFIG_MXP31=y (Athlon-XP con GCC>3.1)
CONFIG_X86_WP_WORKS_OK=y
CONFIG_X86_INVLPG=y
CONFIG_X86_CMPXCHG=y
CONFIG_X86_XADD=y
CONFIG_X86_BSWAP=y
CONFIG_X86_POPAD_OK=y
CONFIG_RWSEM_XCHGADD_ALGORITHM=y
CONFIG_X86_L1_CACHE_SHIFT=6
CONFIG_X86_HAS_TSC=y
CONFIG_X86_GOOD_APIC=y
CONFIG_X86_USE_3DNOW=y
CONFIG_X86_PGE=y
CONFIG_X86_USE_PPRO_CHECKSUM=y
CONFIG_NOHIGHMEM=y
CONFIG_2GB=y
CONFIG_MTRR=y
CONFIG_PREEMPT=y
CONFIG_X86_UP_APIC=y
CONFIG_X86_UP_IOAPIC=y
CONFIG_X86_LOCAL_APIC=y
CONFIG_X86_IO_APIC=y
CONFIG_X86_TSC=y
CONFIG_HAVE_DEC_LOCK=y
Saludos.