Buenas, me suena a memoria (sobre todo) y a disco duro pero tambien podría ser la tarjeta gráfica como dices.
Para descartar el disco duro y la tarjeta gráfica lo más sencillo en principio es usar un Linux Live, que funciona al vuelo (se ejecuta desde un CD o pendrive), puedes descargarlo
aquí. El PC debe estar configurado en modo arranque desde CD/DVD o pendrive, si tienes dudas revisa
este tutorial.
En caso de no tener un segundo ordenador para hacer esta prueba, te sugiero que retires uno de los módulos de memoria (con el PC desconectado) y enciendas sin el. Si se sigue comportando igual, apaga, retira el otro módulo y vuelve a colocar el que quitaste primero.
Tambien como método de 'choque', puedes quitar los dos módulos y encender sin ellos, de forma obligada el ordenador pitará al encontrarse sin memoria, apaga y vuelve a colocarlas.
Comprobar la tarjeta gráfica pasa por retirarla y usar la tarjeta integrada en placa (tu placa base tal vez no la incluya). Antes de quitarla como es lógico se debe activar primero la integrada, se hace desde la Bios, entrando en "Advanced" o "Integrated Pheripheals", aquí cada Bios tiene su propia estructura y nombres, los gráficos integrados suenen figurar por "Onboard graphics", "Integrated Graphics" o "Integrated GPU", se ajusta en "Enabled" y por último se guardan los cambios apagando el PC, ya sólo queda enchufar el monitor al conector de video de la placa base.
¿Que fuente de alimentación tienes?
Saludos