Vale la pena el cambio de una RX7800XT a Nvidia? Cosas de IA

@logame es un poco mojón, pero la IA por lo general se beneficia mucho de la cantidad de VRAM sobretodo, así que los modelos 12 o 16gb suelen ser mejores claro
Si encuentras "barata" una 5060ti de 16gb es buena candidata, si no 5070 de 12, o incluso 3060 de 12, aunque será más lenta escupiendo tokens tendrás memoria para cargar modelos más grandes o tener más contexto

Lo ideal es evidentemente 16gb en máxima potencia (5080) o más memoria y potencia (5090) pero yatusabeh si quieres ejecutar IA decentes la 5070 ti vas a ir bastante bien desde luego, la idea es instalar agentes y demás? O solo quieres un chat?

@gwallace de momento estoy trasteando con generación de imágenes desde texto, upscale de videos, imagen a video, etc...
Me he instalado también modelos de chat y quiero montarme algo que me ayude a programar.
De todo un poco.

Me instalé Ubuntu en un hueco grande de uno de mis discos duros y parece que la cosa mejora bastante, al menos en lo que a configuraciones se refiere, pero sí es cierto que ciertas cosas van bastante lentas.
Por ejemplo la generación de imágenes desde texto con ciertos modelos tardan medio minuto o más

@logame pues ese rendimiento para ser AMD ni tan mal eh? Ganarás velocidad seguro con Nvidia pero necesitas mantener los 16gb para que el modelo sea grande sin cuantizar, así que te diría eso, 5060ti de 16gb o 5070 ti, reducir en RAM puede ser contraproducente, al menos eso creo

La rtx5060 sea probablemente mas cara de lo que saques por tu actual gráfica, esta es muy inferior en rendimiento a la rx7800xt.

Si pones 400€ vendiendo la tuya puedes optar a por una rtx5060ti 16gb, se favorece de la vram para la i.a., pero darías un salto a peor en rendimiento considerable también en juegos.

Y luego esta la rtx5070, que ahora mismo cuesta similar a la rtx5060ti 16gb y rinde bastante mas, mas o menos como tu actual gráfica, pero con la contra de tener 12gb de vram.

La rtx5060 no te compensa por sus 8gb de vram.
La rtx3060 pese a tener 12gb de vram, el rendimiento en juegos es peor incluso que la 5060, no la veo sentido si la idea es buscar un equilibrio entre juegos-i.a.
La rtx5060 ti 16gb la considero una estafa al consumidor ahora mismo.
La rtx5070 tampoco compensa por los 12gb de vram y el elevado precio.

La única opción que creo que te merece la pena, buscar de segunda mano alguna rtx4070ti super 16gb o rtx4080.

Nueva, una rtx5070ti sería la opción menos mala, pero ya tendrías que poner mas de 700€ para el cambio, esta se puede encontrar todavía por debajo de los 1200€.

Yo te recomiendo esperar, por que no es buen momento para comprar una gráfica.

No vale la pena, solo para jugar. Otro compañero preguntó algo parecido (aunque el título del hilo es raro de cojones) y sale más a cuenta pagar una suscripción si quieres hacer cosas medio en serio con una IA. Te dejo la conversación por aquí viewtopic.php?p=1756966572

Schencho escribió:No vale la pena, solo para jugar. Otro compañero preguntó algo parecido (aunque el título del hilo es raro de cojones) y sale más a cuenta pagar una suscripción si quieres hacer cosas medio en serio con una IA. Te dejo la conversación por aquí viewtopic.php?p=1756966572

Es desolador, pero yo tengo 2 cuestiones: también juego en pc. Y luego, me mata pagar suscripciones.
Bien es cierto que 1 gráfica potente es lo mismo que 4 o 5 años de suscripción pero las suscripcióones aún así no son infinitas, sigue habiendo tokens que se acaban.
Y vete a saber cuánto valen las suscripciones en el futuro.

Primero prueba a exprimir a tope lo que tienes, siempre estás a tiempo de gastar, pero quizás te llevas un chasco, para jugar sigues teniendo buena GPU.

Aquí otro en el equipo rojo con una RX 9070 XT de 16GB, toca luchar un poco más para que funcionen las cosas, pero se aprende por el camino.

Los modelos que por ahora me llaman más la atención y te recomendaría experimentar, probando varios parámetros

• Gemma 4 12B QAT (+MTP) - Temas rápidos, 90-100t/s, full GPU
  
• De los míticos, solo miraría el Qwen3.6 35B-A3B-MTP - Codificar y herramientas 30-50t/s (Q4), GPU+CPU/RAM
  
• Lo más grande, Qwen3.8 Flash Next, 125B - Análisis y tareas complejas 15t/s (no he trasteado mucho, IQ3), GPU + CPU/RAM + SSD

(las velocidades que me dan a mi luego de afinar con la 9070 XT)

Tira de llama.cpp con el backend de Vulkan, ROCm me ha dado más dolores de cabeza y el rendimiento en mi caso ha sido el mismo.
Para validar que los parámetros te ayudan a ir a mejor, usa llama-bench.

No uses la UI que te da llama.cpp, usa algo como OpenCode que le permita usar herramientas para validarse a si mismo, sino se comparan churros con merinas.
Intentaría mantener casi siempre un contexto mínimo de 128k, en repositorios serios menos te lo comes y debes ir compactando, y antes de compactar, empieza nuevo contexto. Revisa siempre cuanto permiten tener los diferentes modelos de manera nativa y las configuraciones que te dice quien lo ha subido.

Qwen3.6 en mis tareas se queda corto, necesita que lo lleve de la mano, le gusta dar demasiadas vueltas sobre si mismo. Si fuese más rápido, no me molestaría, pero no llega a lo que dan las suscripciones.

Con la salida de Qwen3.8 Flash Next lo estoy probando para tareas que sino dejaría paradas, por, de nuevo, la velocidad que me sacaría canas, pero francamente sorprendido con sus resultados, la típica prueba de un prompt para generar el universo en HTML sin dependencias con OpenCode, en mi caso, lo clavó, pero claro, 17 minutazos.

Si los resultados que te dan los modelos abiertos, en local, te valen, te gustan y tu único problema pasa a ser tiempo o no poder cargar modelos por tamaño, entonces ahí ya puedes plantear gastar en ello.

Por ahora en el curro tengo GitHub Copilot que se acaba demasiado rápido (pero no lo pago yo ), OpenCode Go para lo personal y con modelos como DeepSeek V4 Flash tienes para aburrir sin que sea un atraco a mano armada, por ahora me parece la suscripción más interesante con la que puedes comparar 1:1 resultados en local contra la nube de modelos similares (Qwen).

Si los precios no fueran una locura, me pillaría algo como la DGX Spark o un Ryzen AI MAX 395+.

gwallace escribió:@logame es un poco mojón, pero la IA por lo general se beneficia mucho de la cantidad de VRAM sobretodo, así que los modelos 12 o 16gb suelen ser mejores claro
Si encuentras "barata" una 5060ti de 16gb es buena candidata, si no 5070 de 12, o incluso 3060 de 12, aunque será más lenta escupiendo tokens tendrás memoria para cargar modelos más grandes o tener más contexto

Lo ideal es evidentemente 16gb en máxima potencia (5080) o más memoria y potencia (5090) pero yatusabeh si quieres ejecutar IA decentes la 5070 ti vas a ir bastante bien desde luego, la idea es instalar agentes y demás? O solo quieres un chat?

Para nada, irte a una serie 3000 es ahora mismo limitarte un montón en modelos de nueva generación.
Lo mejor es tirar a algo de la serie 5k a poder ser.

Es el limitante que me estoy encontrando yo con una 3090 y vLLM en uno de mis pcs.

@logame Si la cambias por una 5060Ti va a ser hacer un downgrade y no creo que pequeño. Hablando de IA me hace gracia porque yo tengo un PC con una y en otra un PC con una 4070Ti de 12GB, pues la 5060Ti de 16GB no hace más cosas con stable diffussion que la 4070Ti. Es un yin y yan, la cantidad de memoria sin potencia no es util. La 5060Ti es menos potente que una vieja 3070.

Si la cambias por una 5070, es algo menos pero esta grafica es la fea del baile por tener 12GB.

A parte de eso la 4070Ti es un cacho más potente que esas. Sea de 12GB o 16GB.

Pero yo no compraria una GPU ahora. Nuevas estan muy caras.

Para generar imagenes, por la experiencia que tengo, usar tu propio PC es barato, sí, pero no es practico ni rapido. A parte de eso ya dice hace muchos meses, varias veces que las graficas de AMD son muy buenas para jugar pero muy malas para trabajar porque todo tira de los cuda cores.