Hola,
Confundes PCI con PCI-Express.
Hay 3 tipos de puertos ampliamente usados : PCI, AGP y PCI-Express.
Tu placa base sólo soporta los dos primeros así que no puedes meterle una 8600 GT.
Lo de las salidas de vídeo de las tarjetas gráficas no tiene que preocuparte. Actualmente hay 2, VGA y DVI, pero hay simples adaptadores de 1 euro que convierten entre ambas salidas y el monitor.
Lo del HDCP que comentas es otra cosa distinta que no tiene que afectarte a menos que vayas a reproducir películas de alta definición en formato Blu Ray o HD-DVD.
Mi consejo es que te cojas una NVIDIA 7600 GT de 256 mb., y no pagues más de 90 euros. Podrás jugar a todo lo que hay hasta ahora bastante bien (excepto Crysis, claro

)
En cuanto a la memoria, rinden más 2 módulos de 1 Gb. cada uno, a la velocidad máxima que soporte tu placa base (400 Mhz. en tu caso).
Hay una cosa llamada Dual Channel que hace que tu placa base rinda más con 2 memorias idénticas que si son diferentes. Tendrás que quitar la memoria a 266 mhz. que tienes ahora.
Total : que te pilles una 7600 GT y 2 modulos DDR-400 de 1Gb. cada uno.