- ChatGPT no podría aprobar todos los niveles del examen requerido para convertirse en analista financiero.
- Un estudio realizado por investigadores de JPMorgan y académicos universitarios encontró que ChatGPT cometió muchos "errores basados en el conocimiento".
- GPT-4 obtuvo mejores resultados que ChatGPT y pudo aprobar los dos primeros niveles del examen con suficientes indicaciones.
- ¿Ya conoces nuestra cuenta en Threads? Síguenos.
A los analistas de Wall Street les preocupa que la inteligencia artificial llegue para reemplazarlos como el mejor analista financiero del momento; sin embargo, sus empleos están seguros, por ahora.
Según un estudio, ChatGPT no pudo aprobar el examen de analista financiero certificado, una calificación de referencia para muchos profesionales financieros de Wall Street.
En una investigación realizada por un equipo de investigadores de IA de JPMorgan y académicos universitarios, a ChatGPT y GPT-4 (ambos modelos de lenguaje grande creados por OpenAI) se les hicieron preguntas de analista financiero para probar si son capaces de realizar un razonamiento financiero complejo.
«Con base en las tasas de aprobación estimadas y los puntajes promedio autoinformados, llegamos a la conclusión de que ChatGPT probablemente no podría aprobar el nivel I y el nivel II del examen de analista financiero en todos los entornos probados», escribieron los investigadores.
El examen de analista financiero certificado es una prueba rigurosa de tres partes. Está diseñada para medir el conocimiento sobre análisis de valores y gestión de carteras. A los profesionales les lleva varios años completar los tres niveles del examen, y los examinados a menudo dedican cientos de horas a su preparación. Una vez certificado, se considera una marca de distinción y, a menudo, puede recompensar a los destinatarios con más oportunidades en sus carreras.
Y muchos de los que hacen el examen fracasan. Según el Instituto CFA, solo 38% de las personas que realizaron el examen de nivel uno en febrero de 2023 aprobaron; 52% aprobó el examen de nivel dos en mayo. La prueba de nivel tres más reciente realizada en agosto tuvo una tasa de aprobación del 47%.
ChatGPT se une a las filas de aquellos que no pudieron lograrlo, según el estudio. Cuando se le hicieron preguntas simuladas de nivel uno que involucraban numerosas respuestas de opción múltiple, ChatGPT cometió muchos «errores basados en el conocimiento». Los investigadores definieron esto como «errores en los que el modelo carece del conocimiento crítico necesario para responder la pregunta». GPT-4 cometió el mismo tipo de errores basados en el conocimiento; pero, no fueron tan graves como ChatGPT.
El nivel uno suele ser una prueba más difícil que el nivel dos; sin embargo, los modelos obtuvieron peores resultados en el segundo nivel, que requiere más análisis e interpretación de la información sobre temas como inversiones de capital e informes financieros.
El modelo GPT-4 obtuvo mejores puntuaciones en el examen de analista financiero
En general, GPT-4 obtuvo mejores resultados que ChatGPT en ambos niveles; de hecho, obtuvo resultados lo suficientemente buenos como para aprobar los dos primeros niveles del examen de analista financiero certificado si se le pedía lo suficiente.
«GPT-4 tendría una buena probabilidad de pasar el CFA Nivel I y Nivel II si se le solicitara ciertos escenarios de cadena de pensamiento», escribieron los investigadores.
Sin duda, el procesamiento del lenguaje natural —o la capacidad de un software para comprender y manipular el lenguaje humano— ya se ha utilizado en varios sectores de las finanzas, como en el análisis de sentimientos o en la elaboración de informes resumidos.
Pero con el avance de los grandes modelos de lenguaje de IA como ChatGPT, la cuestión de si la tecnología reemplazará a los profesionales humanos de las finanzas ha sido un tema de mucha discusión en Wall Street.
Afortunadamente, por ahora, ese escenario no parece estar cerca de convertirse en realidad.
