GARLIC LLM - LA PLAYSTATION 4 BASE EJECUTA QWEN3.5-9B EN LOCALEl proyecto está en GitHub bajo el usuario leonardo-alegria como garlic-llm
https://github.com/leonardo-alegria/garlic-llmPS4 ejecuta el modelo QWEN 3.5-9B de 9 mil millones de parámetros offiline desde el propio sistema de SONY (ORBIS OS), sin necesidad de linux, a 39 tokens por segundo mediante kernels personalizados de GPU y cuantización de 3 bits/4 bits.

El desarrollador Leonardo Alegría ha creado Garlic LLM, un programa homebrew que permite ejecutar un modelo de lenguaje bastante potente (Qwen3.5-9B) directo en la GPU de una PlayStation 4 (válido para la base y la Slim) de forma totalmente offline. Sin depender de servidores externos ni tener un PC conectado al lado.
Lo guapo del asunto es cómo lo ha optimizado para una consola de 2013:
-Sin drivers estándar: El software habla directamente con la GPU de la consola mandando comandos PM4 picados a mano.
-Ajuste de memoria al límite: Usa cuantización de 4 y 3 bits para que el modelo ocupe unos 4,5 GiB y entre de sobra en la memoria unificada.
-Rendimiento finísimo: Va a entre 31 y 39 tokens por segundo en chat, y llega a picar los 43 tokens/s escribiendo código. Genera texto más rápido de lo que te da tiempo a leer.
-Aparte de responder por texto o voz, la propia app puede ejecutar scripts de Python que la IA vaya creando sobre la marcha.
Para moverlo solo hace falta una PS4 con GoldHEN y unos 6 GB de espacio libre para meter el instalador PKG todo en uno.
POSIBILIDADES-Asistente sin conexión a internet: Puedes hacerle consultas sobre programación, redactar borradores, pedirle resúmenes o traducir textos sin enviar datos a servidores externos ni depender de estar conectado a la red.
-Automatización y scripts en la propia consola: Al poder generar y ejecutar código Python dentro de la consola, sirve para programar pequeñas herramientas, automatizar tareas o trastear con el sistema de la PS4.
-Privacidad total: Todo el procesamiento ocurre en local en la memoria de tu consola. Nada de lo que le preguntes o escribas sale de tu salón.
-Pruebas y desarrollo homebrew: Es un proyecto ideal para desarrolladores o apasionados de la escena que quieran ver hasta dónde se puede apretar la arquitectura de la PS4 o probar cómo responde un modelo de 9B ejecutado en hardware dedicado.
-Darle una segunda vida a la consola: Si tienes la PS4 parada o en un cajón, la transformas de golpe en una estación de IA local funcional sin gastarte un euro en GPUs de PC.
¿Cómo lo veis?