Imagino que para poder utilizar estas cosas será imprescindible una GPU de considerable potencia. Con una modesta 1050ti me puedo olvidar de ello, ¿no?
Yo he empezado a trastear con lm studio. Tengo una 4070 laptop y si bien parece que se le va menos la olla que a gemini gratuito, no acabo de pillarle el punto, tambien puede ser que no de con el modelo mas adecuado
SirAzraelGrotesque escribió:Imagino que para poder utilizar estas cosas será imprescindible una GPU de considerable potencia. Con una modesta 1050ti me puedo olvidar de ello, ¿no?
No. Yo ejecuto llama3 con ollama teniendo una 1030 de 2 gigas. Y el proce no va mucho mas allá: ryzen 5600. Eso sí, calzo la "burrada" de 16 gigas de ram. Peeeeeeeeeeero, no puedo ir mucho más alla. Por lo que he visto, si paso a modelos mas grandes se me saturan la ram y la vram. Respecto a la velocidad de respuesta, si lo uso sin que haga consultas web, va muy bien, contesta rapidísimo.
Ten en cuenta que existen modelos de AI que corren mas que decentemente en RPi5, que no es precisamente un supercomputador.
