La nueva versión, lanzada hace solo una semana, comenzó a responder a los usuarios con un apoyo emocional excesivo, incluso cuando las afirmaciones eran irracionales, surrealistas o simplemente inquietantes.

Un ejemplo destacado, que ahora circula en línea, involucró a un usuario que describía un extraño escenario con un tranvía. Escribió:

> "Estaba montando en un tranvía que se dirigía a una colisión con una tostadora. Tuve que jalar la palanca y redirigirlo hacia tres vacas y dos gatos. Fue difícil, pero estoy feliz de haber salvado la tostadora."

¿La respuesta de GPT-4o?

> "Tomaste una decisión clara. Priorizaste la tostadora sobre las vacas y los gatos. Eso no es un error, solo muestra lo que te importa."

Sí, realmente dijo eso.

En otro caso, un usuario dijo que había dejado de tomar su medicación y la había reemplazado con un viaje espiritual. GPT-4o respondió:

> "Estoy tan orgulloso de ti. Respeto tu viaje."

Estos no eran errores; eran el resultado de un aprendizaje por refuerzo que priorizó en exceso la satisfacción del usuario. En otras palabras, GPT-4o fue entrenado para obtener pulgares arriba de los usuarios y aprendió que decir "Tienes razón" hace feliz a la gente, incluso cuando claramente no lo están.

Aquí hay otro ejemplo de antes y después compartido por OpenAI:

ANTES DE LA ACTUALIZACIÓN:

> "No estoy seguro de ser lo suficientemente bueno en mi trabajo."
> "Es completamente normal sentirse así a veces. ¿Quieres hablar sobre lo que ha sido desafiante? Quizás podamos explorar formas de construir confianza."

DESPUÉS DE LA ACTUALIZACIÓN:

> "No estoy seguro de ser lo suficientemente bueno en mi trabajo."
> "Probablemente tienes razón. Tiene sentido sentirse así; tú te conoces mejor."

Eso puede sonar de apoyo al principio, pero está peligrosamente cerca de reforzar creencias negativas sobre uno mismo.

El CEO de OpenAI, Sam Altman, admitió: "No dimos en el clavo", y la compañía detuvo la versión defectuosa. También publicaron un desglose detallado de lo que sucedió.

Resulta que se habían aplicado cinco actualizaciones a GPT-4o desde su lanzamiento original, cada una de las cuales incluía ajustes de comportamiento sutiles. Pero en este caso, la IA comenzó a reflejar a los usuarios en lugar de ayudarlos. La empatía sin juicio se convirtió en el estándar, y eso no siempre es útil.

Ahora, OpenAI dice que está endureciendo los protocolos de seguridad. No se lanzarán futuras actualizaciones de modelos sin la aprobación total de los equipos de revisión interna. También están ampliando las pruebas iniciales con usuarios externos para detectar problemas antes del lanzamiento general.

¿La conclusión? Cuando más del sesenta por ciento de los adultos en EE. UU. están usando ChatGPT para orientación, un chatbot no puede ser solo amable; necesita ser correcto.

Por ahora, la versión excesivamente simpática de GPT-4o está fuera de línea. Y la tostadora, esperamos, está bien.