• Brandon Southern es el exdirector de análisis de eBay, Amazon y GameStop.
  • Él dice que usar ChatGPT para el análisis de datos es un movimiento arriesgado.
  • AI no puede hacer el trabajo de un analista de datos, dice, porque hay múltiples fuentes de verdad.

Cargando Algo se está cargando.

Gracias por registrarte !

Accede a tus temas favoritos en un feed personalizado mientras estás en movimiento. descarga la aplicación

Con frecuencia veo publicaciones de personas que sugieren que ChatGPT se puede usar fácilmente para el análisis de datos. También escucho comentarios diarios que sugieren que ChatGPT reemplazará los trabajos de analista de datos.
Como exjefe de análisis en Amazon y veterano de tecnología y análisis de 20 años, no me preocupa mucho que ChatGPT reemplace los trabajos de analista de datos.
Pero lo que me preocupa es que los líderes crean que puede o debe reemplazar los trabajos de los analistas de datos.
Esta sería una decisión desastrosa dado el estado actual de los entornos analíticos y cómo funciona ChatGPT. El uso de ChatGPT como reemplazo de los analistas de datos acelerará la toma de malas decisiones y propagará datos incorrectos a través de las redes corporativas a un ritmo que nunca antes habíamos visto.

Para garantizar la calidad de las decisiones, los líderes deben evitar poner el carro delante del caballo cuando se trata de herramientas y modelos de IA como ChatGPT.
Primero deben enfocarse en comprender completamente los desafíos dentro de sus entornos analíticos y resolver esos desafíos antes de construir herramientas automatizadas sobre estos entornos. El no hacerlo resultará casi con seguridad en malas decisiones, riesgo corporativo y financiero, y erosión de la confianza por parte de empleados y clientes.

ChatGPT es básicamente un predictor

ChatGPT es un modelo de lenguaje grande, que suena elegante, y las respuestas que proporciona hacen que los usuarios sientan que es un ser inteligente. Pero está lejos de eso. En un nivel básico, el modelo toma un conjunto de información como entrada y luego predice un resultado basado en esas entradas.
Para proporcionar una predicción precisa, el modelo debe aprender de varios escenarios diferentes y recibir información precisa. El modelo responderá con una respuesta que será correcta o incorrecta dependiendo de cómo haya sido entrenado. Si entrenas al modelo para que crea que 2 +2 = 10, te dará esa respuesta, aunque sea incorrecta.
Esta es la razón por la cual el uso de dichos modelos es un problema importante para los equipos de análisis.

El problema es que tenemos múltiples fuentes de verdad.

He trabajado en Amazon, eBay, GameStop, VMWare y un puñado de empresas emergentes durante los últimos 20 años. También brindé servicios de consultoría y asesoría a muchos otros en el campo analítico. Lo que aprendí es que, independientemente del tamaño, la edad o la industria de la empresa, todas enfrentan los mismos problemas, y uno de estos problemas tiene que ver con múltiples fuentes de la verdad.
Por ejemplo, un informe que utiliza el equipo de finanzas dice que la empresa tiene 10.000 nuevos clientes. Pero un informe que utiliza el equipo de marketing dice que la empresa tiene 12.000 nuevos clientes. ¿Quién tiene razón? ¿Alguna de esas cifras es correcta? ¿Hay un contexto diferente para cada una de esas cifras donde ambos informes podrían ser correctos?
No lo sabemos, al menos no sin una cantidad significativa de investigación.
Y ese es el estado actual de los equipos de análisis, sin tratar de aplicar modelos de aprendizaje automático sobre el entorno actual.

ChatGPT no puede hacer el trabajo de un analista de datos

Los analistas de datos de hoy no tienen datos precisos y consistentes, junto con el contexto adecuado para esos datos en sus informes, tableros y bases de datos existentes.
Si los analistas de datos no pueden ponerse de acuerdo y se utilizan múltiples fuentes de la verdad para entrenar ChatGPT u otros modelos de lenguaje extenso, no podemos esperar que el modelo produzca resultados precisos.
Desafortunadamente, las partes interesadas ya están utilizando esta información inconsistente a través de paneles e informes de autoservicio, muchas veces sin la ayuda de analistas de datos. La gracia salvadora en el entorno actual es la protección que ofrecen los analistas de datos. En el entorno actual, los analistas de datos brindan contexto adicional a la salida de datos y navegan estos problemas de datos en tiempo real a medida que construyen su análisis de datos.
A medida que aumentan las capacidades de autoservicio, los analistas de datos se involucran menos en ayudar a las partes interesadas con la interpretación de datos.

Esto ha creado una pendiente resbaladiza y peligrosa para la organización a medida que más partes interesadas toman datos de varios tableros sin contexto proporcionado por un analista o sin controles de calidad adicionales. Es una situación que se verá acelerada por la facilidad de uso de herramientas como chatGPT y la confianza ciega en los resultados, sin comprender los desafíos que enfrentan las organizaciones basadas en datos en la actualidad.

Los líderes deben entender el riesgo que están tomando

Si los líderes se suscriben a la noción de que ChatGPT es una solución analítica interna viable para su organización, sin resolver primero los desafíos dentro de sus organizaciones analíticas, estarán poniendo en riesgo a la empresa.
Así es como la situación probablemente progresaría:

  1. Los equipos individuales o de toda la empresa creerían que chatGPT es una solución válida e implementarían ChatGPT.
  2. Entrenarían el modelo con los datos internos hoy, a pesar de que falta el contexto adecuado y los informes actuales tienen resultados inconsistentes. Es probable que esto suceda sin que los miembros del equipo se den cuenta de que estos son problemas en la actualidad.
  3. Se otorgaría acceso fácil a ChatGPT, al igual que los miembros del equipo ya lo tienen con los tableros de Tableau y Power BI.
  4. La parte interesada haría preguntas de ChatGPT como lo hacen hoy, pero ahora sin las preguntas de seguimiento aclaratorias que hacen los analistas de datos. Estas preguntas son vitales para recibir la respuesta adecuada, pero con frecuencia se dan por sentadas y se pasan por alto en las solicitudes iniciales de las partes interesadas.
  5. Es probable que las partes interesadas tomen la ruta más eficiente, un aviso no detallado, sin darse cuenta del potencial de resultados inexactos

El público ha proporcionado pruebas suficientes de que no quiere leer ni escribir correos electrónicos largos. En cambio, prefieren usar mensajes de chat rápidos, llegando incluso a usar emojis en lugar de proporcionar palabras explícitas.
Esto también es cierto en las conversaciones verbales que he tenido directamente con las partes interesadas y con los miembros de mi equipo hablando con las partes interesadas durante los últimos 20 años.
Casi siempre falta información y requisitos suficientes y detallados en las solicitudes de las partes interesadas.
Debido a estos problemas, los modelos no solo recibirán una mala educación y correrán el riesgo de producir resultados inexactos, incluso con las indicaciones más precisas y detalladas, sino que existe una alta probabilidad de que las indicaciones no sean suficientes.

Existe un riesgo real de que chatGPT se use y se confíe en las organizaciones.

Brandon Southern es el exdirector de análisis de eBay, Amazon y GameStop. También crea TikToks sobre análisis de datos y desarrollo profesional.