AMD ha presentado Gaia, un nuevo proyecto de código abierto diseñado para permitir la ejecución de modelos de lenguaje de gran tamaño (LLMs) de manera local en cualquier PC con Windows. Esta iniciativa surge en medio de una creciente demanda por soluciones que ofrezcan la capacidad de operar modelos de inteligencia artificial sin necesidad de conectividad a la nube.
Funcionamiento y Optimización de Gaia
Gaia está optimizado para funcionar a su máximo potencial en computadoras equipadas con procesadores Ryzen AI, gracias a su XDNA NPU y gráficos RDNA. Utiliza el Lemonade SDK de ONNX TurnkeyML para realizar la inferencia de LLMs, y se espera que sea capaz de adaptar modelos para diversas tareas, incluída la resumación y el razonamiento complejo.
La aplicación incorpora un sistema de Retrieval-Augmented Generation (RAG) que combina un LLM con una base de conocimiento externa. Esto permite a Gaia proporcionar respuestas más precisas y contextualizadas gracias a su interacción con el usuario. Actualmente, incluye cuatro agentes que facilitan esta interacción:
- Simple Prompt Completion: para pruebas y evaluaciones directas del modelo.
- Chaty: un chatbot que interactúa con el usuario.
- Clip: que ofrece funcionalidades de búsqueda y preguntas y respuestas sobre YouTube.
- Joker: un generador de chistes que añade un toque humorístico a las interacciones.
Ventajas de la Ejecución Local
El uso de LLMs de manera local conlleva varias ventajas respecto a las soluciones basadas en la nube, incluyendo una mayor seguridad, menor latencia y, en algunos casos, un rendimiento superior, dependiendo del hardware utilizado. Además, estos modelos pueden operar sin conexión a internet.
Gaia ofrece dos tipos de instaladores: uno diseñado para funcionar en cualquier PC con Windows, y otro llamado Hybrid, que está optimizado para los PCs Ryzen AI. Este último permite que Gaia utilice el NPU de la CPU Ryzen AI para mejorar el rendimiento del modelo.
Competencia en el Mercado de LLMs Locales
Con el lanzamiento de Gaia, AMD se posiciona como un competidor en el creciente mercado de aplicaciones que permiten la ejecución local de LLMs. Entre sus rivales se encuentran LM Studio y ChatRTX, que también ofrecen la posibilidad de operar modelos de lenguaje sin depender de servidores externos.
 de manera local en cualquier PC con Windows. Esta iniciativa surge en medio de una creciente demanda por soluciones que ofrezcan la capacidad de operar modelos de inteligencia artificial sin necesidad de conectividad a la nube.){kind=link}