La brecha entre competencia y juicio en IA
#competenciaartificial #ia #air #artificialcompetence
¿Puedes realizar todas las tareas de tu organización?
A menos que seas un emprendedor individual, probablemente la respuesta sea no. Seguramente seas muy bueno en algunos tipos de tareas, aceptable o regular en otras, y tengas un nivel de competencia bajo o nulo como máximo. Como gerente de producto en Google, podía redactar documentos de requisitos de producto decentes, producir textos y diseños de marketing mediocres, apenas sabía cómo contribuir al complejo código base de Gmail y no tenía ni idea de cómo crear un balance para mi unidad de negocio.
Así que mi gráfico de competencia (y creo que esto es típico de la mayoría*) se ve más o menos así.
- Todos los gráficos mostrados en este artículo son especulativos.
Pero hay un segundo tipo de competencia: la capacidad de juzgar el resultado de una tarea. Generalmente, somos capaces de juzgar más de lo que podemos hacer. Como gerente de producto, podía evaluar y brindar retroalimentación valiosa sobre materiales y diseños de marketing, incluso si no era experta en su producción.
Nuestra capacidad para juzgar el trabajo que no podemos realizar es saludable e importante. Un gerente de nivel medio puede no ser capaz de realizar todas las tareas que manejan las personas en su organización (al menos no con el mismo nivel de competencia), pero debería ser capaz de juzgar y criticar el trabajo.
Evaluar también es útil entre colegas. Cuando un gerente de producto y un ingeniero colaboran, es útil que el ingeniero pueda revisar y criticar los requisitos, y que el gerente de producto brinde retroalimentación inteligente sobre las decisiones de ingeniería, especialmente si impactan la experiencia del usuario y el valor comercial. Sin embargo, existe un riesgo claro de exagerar. Si alguna vez te respondieron: «Bueno, si crees que es tan fácil, ¿por qué no intentas hacerlo tú mismo?», probablemente cruzaste la línea.
Competencia artificial
La IA está redefiniendo drásticamente los límites. Las IA pueden acelerar las tareas en las que somos buenos, ayudarnos a mejorar en aquellas en las que no lo éramos e incluso permitirnos aventurarnos en tareas que antes no podíamos realizar. Ahora puedo redactar con confianza textos de marketing, generar diseños y producir código. Incluso puedo elaborar contratos legales y hojas de cálculo contables que antes me resultaban imposibles.
¿Pero qué hay de la calidad? No creo que la IA te lleve a un nivel experto en nada, pero puedes realizar muchas más tareas a un nivel medio/aceptable (que a veces es todo lo que se necesita), e incluso más a un nivel inferior al promedio.
(Nota: la curva de rendimiento con IA no es plana porque: a) las IA son mejores en ciertos tipos de tareas gracias a mejores y más datos de entrenamiento, ajuste fino y aprendizaje por refuerzo; b) la calidad del resultado de la IA depende en gran medida del contexto proporcionado por el usuario y de su capacidad para guiar a la IA).
Esto supone un cambio importante en el entorno laboral: ahora podemos realizar tareas que tradicionalmente hacían nuestros compañeros. En muchas empresas, los gerentes de producto, diseñadores y otros roles ahora contribuyen con código de producción o desarrollan herramientas internas, tareas tradicionalmente reservadas a los desarrolladores. Por otro lado, un desarrollador o diseñador con ChatGPT, Claude o Gemini ahora puede realizar segmentación de mercado, priorización de ideas y generación de especificaciones, incursionando en el ámbito de los gerentes de producto. Parece que los roles comienzan a superponerse, y algunos especulan que eventualmente convergerán.
La Zona de Peligro
Los más observadores habrán notado un desafío. Con la IA, tu nivel de habilidad para ejecutar supera tu nivel de habilidad para evaluar. En otras palabras, la IA te permite realizar tareas para las que no estás bien preparado. Un gerente de producto puede generar código de producción deficiente y un desarrollador puede elegir malas ideas, y ninguno puede distinguir la diferencia.
Observando el gráfico, podemos ver dos áreas de tareas realizadas por la IA:
La Zona Segura: tareas que puedes evaluar con bastante precisión. En esta área, puedes identificar que los resultados proporcionados por la IA son deficientes y realizar iteraciones para mejorarlos. Pero el riesgo no es cero, ya que a veces no verificamos; hablaremos de esto más adelante.
La Zona de Peligro: tareas que están fuera de tu ámbito de juicio sólido. Aquí existe un riesgo real de hacer algo imprudente o perjudicial, como crear vulnerabilidades de seguridad en tu producto.
Podrías argumentar que las personas inteligentes y responsables reconocen sus limitaciones y buscan ayuda cuando salen de su zona de confort. Sin embargo, décadas de investigación psicológica sugieren lo contrario. Los psicólogos han identificado una larga lista de sesgos cognitivos y heurísticas que nos hacen confiar demasiado en nuestras habilidades, y aún más en áreas donde desconocemos lo que desconocemos:
Efecto de superioridad: las investigaciones muestran que las personas tienden a sobreestimar sus propias cualidades y habilidades en comparación con las de los demás. Por ejemplo, seguir malos consejos de inversión es un riesgo para la persona promedio, pero no para mí, que sé más sobre inversiones que la persona promedio.
Efecto Dunning-Kruger: las investigaciones muestran que las personas con poca habilidad en un área específica tienden a dar sistemáticamente evaluaciones excesivamente positivas de esas habilidades. Cuanto menos capaz seas, mayor será la brecha entre tus habilidades percibidas y las reales.
(Nota al margen: ChatGPT – CoPilot me dio una ventaja mucho más extensa de sesgos cognitivos, que parece muy científica e impresionante. Sin embargo, no soy psicólogo [aunque sin duda sé más que la persona promedio], así que definitivamente estoy en la zona de riesgo. Analicé los dos sesgos cognitivos mencionados anteriormente, pero no confío plenamente en todo lo que aparece en esta lista).
Si no podemos confiar en que las personas se autorregulen, ¿qué podemos hacer?
Estas son algunas de las soluciones más comunes a este problema:
Que los expertos revisen el trabajo: esto ya ha comenzado a suceder, y de hecho, muchos desarrolladores están recibiendo una avalancha de código generado por IA enviado por sus colegas aficionados. Me han dicho que diseñadores, investigadores y analistas de datos también están empezando a experimentarlo. Es un trabajo ingrato y puede fácilmente abrumar a los expertos, que probablemente ya estén ocupados.
Aprender y desarrollar habilidades: en teoría, esta es la mejor solución: gerentes de producto aprendiendo a programar, diseñadores aprendiendo a gestionar proyectos, y así sucesivamente. Pero convertirnos en expertos en todo puede ser bastante laborioso y la curva de aprendizaje puede ser muy pronunciada. Por ejemplo, un gerente de proyecto que quiera contribuir con código de forma regular necesita familiarizarse con la teoría de la programación, los lenguajes y el entorno específicos que se utilizan en su empresa, la base de código, las prácticas y las normas. Probablemente tendrá que empezar a asistir a reuniones de ingeniería periódicas, suscribirse a las listas de correo y hacer otras cosas que la mayoría de los gerentes de proyecto no necesariamente quieren o no tienen tiempo para hacer.
Pero también hay una tercera opción.
La IA como juez
La IA puede ayudarnos a evaluar el resultado de cualquier tarea, tanto de aquellas que sabemos evaluar nosotros mismos como de aquellas que no. Puedo pedirle a Claude que revise y me haga sugerencias sobre contratos legales, estados financieros, planos de construcción y otros temas sobre los que no tengo mucho conocimiento. El LLM nunca duda en decirme lo que piensa.
¿Es la IA como juez algo bueno o malo? Como siempre, la respuesta es ambivalente.
Evaluar en tu área de especialización
El paradigma de intervención humana asume que la supervisión humana garantiza la seguridad de los resultados de la IA. Sin embargo, revisar los resultados de la IA (ahora también generados por tus colegas) puede resultar agotador. En algún momento, es tentador delegar las decisiones y confiar ciegamente en el bot. Esto se conoce como rendición cognitiva y ya ha provocado fallos catastróficos.
En un informe reciente, Anthropic observó lo que denomina «fatiga de aprobación»: los desarrolladores que utilizan Claude Code dejan de prestar atención a los cambios sugeridos por el agente y aprueban un impresionante 93 %. En respuesta, Anthropic creó clasificadores —lanzados como Modo Automático, que ahora es el predeterminado— para revisar y evaluar las sugerencias de Claude Code. En un experimento, Anthropic descubrió que estos clasificadores detectaron el 89 % de los cambios perjudiciales, mientras que los evaluadores humanos solo detectaron el 13 %.
Existen otras razones para utilizar la IA como herramienta de evaluación en tu área de especialización. Puede ser un valioso recurso para intercambiar ideas y ofrecer diferentes perspectivas. Regularmente uso ChatGPT o Claude para revisar las propuestas que envío a mis clientes y algunas publicaciones de LinkedIn, simplemente para darles ese toque de profesionalismo que no domino. El LLM suele detectar errores o sugerir alternativas que no había considerado.
Juzgar fuera de tu área de especialización
El efecto puede ser tanto positivo como negativo:
La IA puede contrarrestar el efecto Dunning-Kruger, mostrándote que no sabes tanto como crees. Así que, antes de enviar ese nuevo cambio de código generado por IA, un revisor de IA podría señalar que creaste una vulnerabilidad de seguridad o que reimplementaste un método que ya existe en una biblioteca estándar.
Por otro lado, los chatbots están diseñados para complacernos. La IA puede amplificar tu ilusión de conocimiento, ayudándote a hundirte más y más rápido en un mar de malas decisiones y malos resultados. Por lo tanto, la zona de peligro ahora es mayor.
Pero hay un aspecto aún más preocupante de la IA como juez: criticar el trabajo de otros.
El nuevo y audaz mundo de la inteligencia artificial
Mencioné anteriormente que poder evaluar el trabajo de algunos colegas es saludable (hasta cierto punto). Pero, ¿qué sucede cuando la IA actúa como jueza? ¿Cómo será este mundo en un futuro cercano?
Imagina que eres gerente de producto. Empieza la jornada laboral y, mientras tomas tu café matutino y revisas tu bandeja de entrada, te encuentras con estos mensajes:
De: Gerente de Marketing
Asunto: Cambios en la hoja de ruta
Debemos adelantar el lanzamiento de la función X para poder presentarla en un evento importante. Le pedí a ChatGPT que modificara tu hoja de ruta para adaptarla. Algunas funciones menos importantes se trasladaron al próximo trimestre. Me parece bien.
De: Gerente Senior
Asunto: Ajustes de OKR
La empresa necesita alcanzar ambiciosos objetivos de ingresos el próximo trimestre. No podemos lograrlo a menos que tu equipo entregue dos funciones clave para cerrar acuerdos. Le pedimos a Gemini que revisara tus OKR y reemplazó algunos «objetivos de resultados» con estos lanzamientos importantes. Por favor, revísalos y avísame.
De: Líder de desarrollo
Asunto: Priorización de ideas
En la última reunión del equipo de desarrollo, revisamos nuevamente el banco de ideas y creemos que las prioridades están un poco desajustadas. En particular, la idea X, que a todos nos gusta, obtiene una puntuación baja en el «Medidor de Confianza» (¿?) y se le asigna una validación adicional. Le pedimos a Claude que revisara la priorización y sugirió prioridades diferentes utilizando la matriz de impacto/esfuerzo, que nos parecen mucho más lógicas.
¿Qué tan satisfechos se sienten en este mundo del futuro cercano, donde la IA empodera a todos para criticar y «mejorar» el trabajo de los demás? ¿En qué momentos este mundo se vuelve limitante o incluso asfixiante?
Reflexiones finales
La IA está poniendo en tela de juicio las convenciones sobre roles, responsabilidades, experiencia y rendición de cuentas. La tecnología es una industria relativamente joven, por lo que todas las respuestas que teníamos hasta ahora —como trabajar en tríos— eran bastante novedosas. Ya hay quienes abogan por una profunda revisión de la estructura organizativa, la cultura y los procesos, con la IA como eje central.
En un aspecto más positivo, cuando hablo de estos temas en persona y en redes sociales, la mayoría de las personas muestran un buen criterio y se muestran cautelosas, evitando caer en los bandos del auge o el colapso de la IA.
Nadie tiene aún una solución clara para los desafíos de la competencia artificial (compartiré ideas en futuras publicaciones). Ni siquiera está claro que los problemas que he mencionado sean reales. Como ocurre con casi todo lo relacionado con la IA, es muy emocionante, un tanto aterrador y totalmente nuevo. Les recordamos que hay dos talleres con inscripción abierta:
Gestión de Producto Lean + IA (¡las entradas anticipadas vencen esta semana!) — mi taller clásico de 5 sesiones que te enseña lo necesario para convertirte en un profesional de producto eficaz: estrategia, objetivos, priorización de ideas, experimentación y colaboración. Ahora potenciado por la IA.
Mejores OKR + IA (primer grupo – descuento adicional) — un nuevo taller que te enseña técnicas básicas y avanzadas de OKR, así como a usar la IA para lograr claridad y consenso con tus gerentes y partes interesadas.
El taller de Gestión de Producto Lean (LPM) recibe constantemente altas puntuaciones de satisfacción y tasas de adopción. Algunas empresas envían a todos sus nuevos gerentes de producto a asistir.
También se ofrecen talleres privados y conferencias magistrales para empresas. Contáctanos:
