ufff... pues estás dedicando el equipo justo a aquello que requiere más y mejor RAM... tb depende de la calidad con la que trabajes, pero como sea algo tipo HD o Full HD los requisitos de memoria son fuertes (una posible causa de que el PC no te vaya como debiera)...
no sé, qué tipo de kit de memoria tienes, pero presupongo que es un kit trichannel diseñado para X58... quizá lo mejor sería intentar colocar ese kit por otro lado y hacerte con un par de kits de 2x2GB o bien uno de 8GB (2x4GB), aunque todo está en la exigencia con la que trabajes... si no es muy alta, lo mismo sólo con 4GB en dual te va bien...
sobre lo que pretendes... pues la memoria es uno de los componentes que má te puede putear... poniendo memoria diferente te pueden pasar cosas como que no vaya, que vaya pero algo acabe crujiendo o bien que rule sin problemas... si puedes probar, prueba, pero no te aseguro el resultado...
PD: considerando el PC que tienes y el trabajo que realizas, yo pensaría seriamente en mirarte alguna guía de OC para Lynnfield (no es propiamente una guía, pero aparecen plantillas de BIOS en
Clunk Forums)... símplemente tener un buen disipador y le puedes sacar un buen rendimiento a ese 860...