Sería compatible, incluso mantendrías el dual channel, simplemente asegurándote de poner en cada canal un módulo de 4gb y otro de 8, y en el otro canal los otros dos en el mismo orden.
De todas formas, aparte de eso, te lanzo una pregunta... ¿Realmente NECESITAS tanta memoria? Salvo que sea para un ramdisk o algo similar, no le veo la ventaja. Los juegos de hoy en día van igual con 8 que con 16 (o 24) gb. Si es un equipo de juegos, mi consejo es que inviertas el dinero en otras mejoras (como proce o gráfica).
Saludos