Aparte de tener el ordenador apagado tambien es MUY recomendable tenerlo desconectado de la corriente.
Antes de abrir el PC hay que descargarse de electricidad estatica, lo puedes hacer tocando las partes metalicas de la caja, siempre que tengas el PC enchufado a un enchufe con toma de tierra.
Con las tarjetas AGP, antes de sacarla, fijate si lleva algun enganche en el zocalo, muchas placas lo llevan.
Y no olvides poner el tornillo para asegurar la tarjeta, si no lo haces la tarjeta se movera y producira cuelgues o que no funcione correctamente.
Dispositivos para conexion en caliente (Hot Swap) hay de todo, memorias, micros, tarjetas y unidades de todo tipo.
Cualquier componente que hay en un PC normal tiene su equivalente Hot Swap, eso si muchisimo mas caro.
Los componentes Hot Swap estan destinados a servidores, donde si es importante no apagar el equipo cuando algun componente falla.
Saludos