Dominio de NVIDIA CUDA en IA: «las GPUs son más versátiles» 1e402s

Así lo ha dicho Raja Koduri en Twitter, que ha dado varias pinceladas sobre la IA y las GPUs, especialmente ha nombrado a NVIDIA CUDA. 6c5n6i

No coge a ninguno por sorpresa que NVIDIA sea la reina en la inteligencia artificial cuando todos miraban para otro lado mientras lo desarrollaban en 2017. Esta noticia surge entre un careo entre Bryan Beal y Raja Koduri por Twitter, lugar donde el ingeniero ha dejado varias notas importantes. NVIDIA es la reina, estando AMD e Intel muy por detrás.

«Las cargas de trabajo de software IA y HPC se optimizan para GPU por el dominio de NVIDIA CUDA» 4183h

Personalmente, me quedo con el titular que Raja Koduri ha dejado en X (siempre será Twitter) cuando hablaba de las cargas de trabajo. Todo ha comenzado con un Tweet bastante largo de Raja Koduri, en el que apunta que hay muchas opciones de hardware para gestionar modelos IA, cuando solo existía NVIDIA. De momento, Apple, Intel y AMD se han apuntado al carro.

Sin embargo, NVIDIA sigue siendo la opción para entrenar modelos grandes que requieren mucha memoria, siendo éste el gran reto para AMD, Intel y Apple. Raja Koduri «desea» que AMD e Intel lancen GPUs gaming con más ancho de banda, pero creo que el equipo azul está un poco despistado aquí.

Bryan Beal vio este tweet de Raja y respondió afirmando lo siguiente:

El futuro de la computación con IA no son las GPU. Es silicio especialmente diseñado. Habrá muchos buenos competidores. No olvidemos a Amazon, Google y Microsoft, todos los cuales están diseñando su propio silicio hecho a medida para IA y LLM.

A lo que Raja Koduri respondió lo siguiente:

Hemos escuchado esta afirmación desde 2016… pero las GPU todavía mandan… ¿por qué? Todavía estoy aprendiendo… pero mis observaciones hasta ahora son:

• El «propósito» del silicio construido expresamente no es estable. La IA no es tan estática como algunas personas imaginaban y trivializaban… «es sólo un montón de matrices multiplicadas». – la arquitectura del sistema de las GPU evolucionó durante 2 décadas y es un mal necesario para respaldar las pilas de software de producción… muchos de los silicios construidos específicamente son deficientes aquí y arrojan el carga para la gente del «software». No hay muchos nuevos talentos jóvenes en software de sistemas que ingresen a la fuerza laboral en estos días… por lo que todos compiten por el mismo pequeño grupo de talentos veteranos.
• Pero sigo siendo optimista en cuanto a que evolucionará una nueva arquitectura con un nuevo propósito a partir de las lecciones aprendidas hasta ahora.

De hecho, quiso responder a las diversas interacciones de esta contestación, como fue la de Naveen Rao, un neurocientífico que es Vicepresidente de la IA generativa de Databricks.

No importa qué porcentaje es la multiplicación de matrices si el desarrollador no puede desarrollarla… lo que importa de manera desigual son las pequeñas puertas porcentuales que manejan toda la pila de software del sistema. Las herramientas GPU para computación (principalmente Nvidia) se han mantenido bastante estables durante 17 años.

Raja Koduri.

Raja Koduri habla tan abiertamente de marcas porque ahora es miembro de la junta Directiva de Tenstorrent, un productor de aceleradores de IA y HPC que se basan en RISC-V.

Básicamente, AMD, Apple, Microsoft, Google e Intel van por detrás de NVIDIA, quien se está haciendo con todo el negocio de la IA gracias a CUDA. Además, el desarrollo software vive una crisis respecto a las soluciones de silicio que existen actualmente: no hay jóvenes desarrolladores software que quieran dedicarse a esto, por lo que hay que tirar de los Senior.

Te recomendamos los mejores procesadores del mercado

¿Qué os ha parecido esa discusión?