- ChatGPT podría costarle a OpenAI hasta 700,000 diarios debido a los "servidores caros", dijo un analista a The Information.
- ChatGPT requiere grandes cantidades de potencia informática en servidores caros para responder a las consultas.
- Microsoft está construyendo en secreto un chip de IA para reducir el costo, según The Information.
- ¿Ya conoces nuestra cuenta de Instagram? Síguenos.
El uso de ChatGPT para recabar información, generar planes de lecciones y escribir cartas de amor podría costarle a OpenAI hasta 700,000 dólares al día debido a la costosa infraestructura tecnológica en la que se ejecuta la inteligencia artificial (IA), dijo a The Information Dylan Patel, analista jefe de la firma de investigación de semiconductores SemiAnalysis.
Esto se debe a que ChatGPT requiere grandes cantidades de potencia informática para calcular las respuestas en función de las indicaciones del usuario.
«La mayor parte de este costo se basa en los costosos servidores que requieren», dijo Patel a la publicación tecnológica.
En una llamada telefónica con Insider, Patel dijo que probablemente sea aún más costoso operar ahora, ya que su estimación inicial se basa en el modelo GPT-3 de OpenAI. GPT-4, el último modelo de la compañía, sería aún más costoso de operar, dijo a Insider.
OpenAI no respondió de inmediato a la solicitud de comentarios de Insider antes de la publicación.
Si bien la capacitación de los modelos de lenguaje grande de ChatGPT probablemente cueste decenas de millones de dólares, los gastos operativos o los costos de inferencia «superan con creces los costos de capacitación cuando se implementa un modelo a cualquier escala razonable», dijeron a Forbes Patel y Afzal Ahmad, otro analista de SemiAnalysis. «De hecho, los costos para inferir ChatGPT exceden los costos de capacitación semanalmente», dijeron.
El costo de usar la tecnología de OpenAI se ha vuelto bastante caro
Las empresas que utilizan los modelos de lenguaje de OpenAI han estado pagando precios elevados durante años. Nick Walton, el CEO de Latitude, una empresa nueva detrás de un videojuego de IA que utiliza indicaciones para generar historias, dijo que ejecutar el modelo, junto con los pagos a los servidores de Amazon Web Services, le costó a la empresa 200,000 dólares al mes para que la IA responda a millones de consultas de los usuarios en 2021, informó CNBC.
El alto costo es la razón por la que Walton dijo que decidió cambiarse a un proveedor de software de idiomas respaldado por AI21 Labs. Esto, dijo, redujo los costos de IA de su empresa a 100,000 dólares mensuales.
«Bromeamos diciendo que teníamos empleados humanos y empleados de inteligencia artificial, y gastamos lo mismo en cada uno de ellos», dijo Walton a CNBC. «Gastamos cientos de miles de dólares al mes en IA y no somos una gran empresa nueva, por lo que fue un costo muy alto».
Microsoft trabaja en un chip secreto para reducir el costo de ejecutar modelos generativos de IA
En un esfuerzo por reducir el costo de ejecutar modelos generativos de IA, Microsoft está desarrollando un chip de IA al que llama Athena, reportó The Information.
El proyecto, que comenzó en 2019, se produce años después de que Microsoft hiciera un trato de 1,000 millones de dólares con OpenAI que requería que la compañía de IA ejecutara sus modelos exclusivamente en los servidores en la nube Azure de Microsoft.
La idea detrás del chip era doble, según The Information. Los ejecutivos de Microsoft se dieron cuenta de que se estaban quedando atrás de Google y Amazon en sus esfuerzos por construir sus propios chips internos, dijo a The Information una fuente con conocimiento del asunto. Al mismo tiempo, según los informes, Microsoft estaba buscando alternativas más baratas (sus modelos de IA se ejecutaban en los chips de Nvidia conocidos como unidades de procesamiento de gráficos) y decidió construir un chip que fuera menos costoso.
Casi cuatro años después, más de 300 empleados de Microsoft ahora están trabajando en el chip, según el informe. El chip podría ser lanzado para uso interno por parte de Microsoft y OpenAI a partir del próximo año, dijeron a The Information dos fuentes familiarizadas con el asunto.
Microsoft se negó a comentar cuando Insider se puso en contacto con él.
AHORA LEE: Snap agrega a su chatbot de IA la capacidad de crear imágenes
TAMBIÉN LEE: 66% de los trabajadores mexicanos considera que la IA representa un riesgo para los empleos
