- Elon Musk dijo que Grok 3 será "algo especial" después de entrenar con 100,000 GPU Nvidia H100.
- Se estima que las GPU H100 de Nvidia, un componente clave para la IA, cuestan entre 30,000 y 40,000 dólares cada una.
- No está claro cuántos de esos H100 fueron comprados por las empresas de Musk, y también es posible alquilar computación GPU.
- ¡Nos vemos en TikTok!
Elon Musk está promocionando las próximas versiones de su chatbot de IA, Grok.
El multimillonario respondió a una publicación en X el lunes y dijo que la última versión del chatbot Grok 3 de xAI debería ser «algo especial» después de entrenar con 100,000 chips Nvidia H100.
Musk se refiere a la unidad de procesamiento de gráficos H100 de Nvidia, también conocida como Hopper, que ayuda a manejar el procesamiento de datos para modelos de lenguaje grandes (LLM). Los chips son un componente clave del desarrollo de la IA y un bien de moda en Silicon Valley mientras las empresas tecnológicas compiten por construir productos de IA cada vez más eficientes.
Se estima que cada chip GPU Nvidia H100 cuesta alrededor de 30,000 dólares, aunque algunas estimaciones sitúan el costo en hasta 40,000 dólares. También es posible realizar descuentos por volumen.
Según esas estimaciones, eso significaría que Grok 3 está siendo entrenado con chips de IA por valor de entre 3,000 y 4,000 millones de dólares (mdd); sin embargo, no está claro si esos chips fueron comprados directamente por la empresa de Musk. También es posible alquilar computación GPU de proveedores de servicios en la nube, y The Information reportó en mayo que la startup xAI de Musk estaba en conversaciones con Oracle para gastar 10,000 mdd durante varios años para alquilar servidores en la nube.
Pero sí sabemos que las empresas de Musk han comprado una gran cantidad de H100 en los últimos años. Según se informa, el CEO de Tesla desvió a X un envío de 500 mdd de Nvidia H100 destinado a Tesla, por ejemplo.
El entrenamiento basado en 100,000 GPU sería un gran paso adelante con respecto a Grok 2. Musk dijo en una entrevista en abril con el director del fondo soberano de Noruega, Nicolai Tangen, que Grok 2 necesitaría alrededor de 20,000 H100 para entrenar.
xAI ha lanzado hasta ahora Grok-1 y Grok-1.5, y el último sólo está disponible para los primeros probadores y usuarios existentes en X, antes Twitter. Musk dijo en una publicación de X el lunes que Grok 2 se lanzará en agosto e indicó en otra publicación que Grok 3 saldrá a fin de año.
xAI no respondió a una solicitud de comentarios.
Meta también está amasando chips de Nvidia para sus modelos de IA
100,000 GPU parece mucho, y lo es. Pero otros gigantes tecnológicos como Meta están acumulando aún más de estos chips. Mark Zuckerberg dijo en enero que Meta habrá comprado alrededor de 350,000 GPU Nvidia H100 para finales de 2024. También dijo que Meta poseerá alrededor de 600,000 chips, incluidas otras GPU.
Si ese es el caso, Meta habrá gastado alrededor de 18,000 mdd en desarrollar sus capacidades de inteligencia artificial.
El almacenamiento de chips H100 también ha contribuido a lo despiadada que se ha vuelto la contratación de talentos de IA en el último año.
Aravind Srinivas, fundador y CEO de la startup de IA Perplexity, habló sobre haber sido rechazado por un investigador de Meta AI al que intentaba cazar furtivamente, en parte debido a la enorme colección de chips de IA de Zuckerberg.
«Traté de contratar a un investigador muy experimentado de Meta, ¿y sabes lo que me dijo? ‘Vuelve conmigo cuando tengas 10,000 GPU H100′», dijo Srinivas.
AHORA LEE: xAI de Elon Musk planea construir una supercomputadora para potenciar la próxima versión de Grok
TAMBIÉN LEE: Las 10 empresas de inteligencia artificial más populares entre las compañías tecnológicas
