Este avance supone un gran paso en la eficiencia y rendimiento de los sistemas de inteligencia artificial. La reducción significativa en el consumo de energía permitirá un menor impacto ambiental y una mayor autonomía en dispositivos portátiles. Además, el tamaño más compacto del chip ofrece la posibilidad de integrar capacidades de IA en una amplia gama de dispositivos, lo que podría revolucionar industrias como la salud, la automoción y la electrónica de consumo. Los investigadores surcoreanos detrás de este desarrollo han demostrado su capacidad para desafiar a los gigantes de la industria y abrir nuevas oportunidades en el campo de la IA.
Un equipo de científicos del Instituto Avanzado de Ciencia y Tecnología de Corea (KAIST) ha presentado recientemente, durante la Conferencia Internacional de Circuitos de Estado Sólido (ISSCC) de 2024, su innovación más reciente en el campo de la inteligencia artificial: el chip ‘C-Transformer’. Este dispositivo se destaca por ser el primer chip acelerador de IA de ultra-bajo consumo energético capaz de procesar modelos de lenguaje de gran tamaño (LLM), según se detalla en un comunicado de prensa.
El chip C-Transformer, fabricado por Samsung, ha sido comparado directamente con la GPU A100 Tensor Core de Nvidia por los investigadores de KAIST, quienes afirman que el primero utiliza 625 veces menos energía y es 41 veces más pequeño. Estas impresionantes afirmaciones subrayan los avances logrados a través de la tecnología de computación neuromórfica refinada, aunque sin ofrecer métricas de rendimiento comparativas directas, lo que ha generado especulaciones sobre la eficacia real del C-Transformer en comparación con los estándares de la industria.
El chip C-Transformer se fabrica actualmente utilizando el proceso de 28 nm de Samsung, tiene un área de die de 20.25 mm², opera a una frecuencia máxima de 200 MHz y consume menos de 500 mW. Aunque su capacidad máxima de procesamiento es de 3.41 TOPS, notablemente inferior a los 624 TOPS reclamados por la tarjeta Nvidia A100 PCIe, el enfoque de KAIST en la eficiencia energética presenta una perspectiva intrigante para aplicaciones de computación móvil.
La arquitectura del chip C-Transformer se caracteriza por tres bloques funcionales principales: el Núcleo de DNN-Transformer / Spiking-transformer Homogéneo (HDSC) con una Unidad Híbrida de Multiplicación-Acumulación (HMAU), la Unidad de Especulación de Spike de Salida (OSSU), y la Unidad de Generación de Peso Implícito (IWGU) con Compresión de Signo Extendido (ESC). Estas innovaciones apuntan a una gestión más eficiente de la energía y una reducción en el acceso a la memoria externa, lo cual es esencial para la procesabilidad y eficiencia energética en dispositivos móviles.
Más allá de la eficiencia energética, el comunicado de prensa de KAIST destaca la mejora significativa en la precisión de la tecnología neuromórfica para igualar la de las redes neuronales profundas (DNN), lo cual era un desafío previo para la implementación de esta tecnología en el procesamiento de LLM. Esto sugiere un avance notable en la capacidad de los chips de IA para manejar tareas complejas con un consumo energético significativamente reducido.
A pesar de la falta de comparaciones de rendimiento directas con aceleradores de IA estándar del mercado, el C-Transformer representa un paso adelante prometedor para el campo de la computación neuromórfica y la IA en dispositivos móviles. Con la validación a través de extensas pruebas con GPT-2 y la producción de un chip de prueba de Samsung, el equipo de KAIST sienta las bases para futuros desarrollos en chips de IA de alta eficiencia.
