OpenAI anunció una mejora en ChatGPT para que pueda manejar mejor las conversaciones difíciles o “sensibles”, como cuando una persona muestra signos de “confusión mental” según sus propios términos, para referirse por ejemplo a ideas delirantes o manía, cuando se expresan pensamientos suicidas o el usuario empieza a depender emocionalmente del propio asistente de IA.
Según la empresa, los resultados son importantes. Después de la actualización del 3 de octubre pasado, el sistema comete entre un 65% y un 80% menos de errores en este tipo de charlas. Según dice la empresa, en pruebas evaluadas por profesionales de la salud mental, ChatGPT también mostró mejoras: un 39% menos de respuestas inadecuadas en temas de salud mental severa, un 52% menos en casos de autolesión y un 42% menos en conversaciones donde se detecta apego o dependencia emocional hacia la IA, comparado con versiones anteriores del modelo.
OpenAI agrega que, incluso en conversaciones largas, donde antes el sistema solía “perder el hilo” o responder de forma confusa, la nueva versión mantiene un nivel de precisión superior al 95%. De todos modos, aclaran que estos casos son muy poco frecuentes. Estiman que “apenas un 0,07% de los usuarios por semana muestran posibles signos de psicosis o manía, y un 0,15% manifiestan alguna forma de ideación suicida o autolesión”. En cuanto a las personas que parecen desarrollar apego hacia el chatbot, serían alrededor del 0,15% de los usuarios y solo en una fracción mínima de los mensajes.
La empresa advierte, sin embargo, que al tratarse de eventos tan raros, pequeñas variaciones en cómo se miden pueden alterar mucho los porcentajes. Por eso, dice, es importante equilibrar bien la detección de señales reales con el riesgo de “falsas alarmas”, para no interrumpir conversaciones normales creyendo que hay un problema.
Todos estos datos provienen de su documentación técnica y del informe adicional publicado junto al modelo GPT-5. La pregunta que vale la pena hacerse no es si mejorar el comportamiento del asistente en estos casos es deseable, que por supuesto lo sería, sino qué implicancias trae el modo en que se define, mide y maneja esa «seguridad».
Aquí conviene encuadrar con la premisa central que los algoritmos no son neutrales, son artefactos de poder simbólico capaces de segmentar, modular emociones y reorganizar relaciones sociales a gran escala, yendo incluso a contramano de la subjetividad propia. También sabemos que los dispositivos digitales y estrategias de datos se convierten en tecnologías de influencia que explotan grietas emocionales y fragmentan audiencias porque lo hace desde Netflix al ofrecernos películas, Google al proponernos noticias y las redes con su contenido.
Si no se comparte este juicio, no puede negarse que al normalizar mediaciones algorítmicas en asuntos emocionalmente críticos, podemos estar creando nuevas capas de intermediación con lógicas, sesgos y asimetrías propias del sistema que las administra, muy distantes de la realidad individual.
Para evaluar el anuncio de OpenAI desde esta perspectiva, conviene quedarse con cuatro hechos que sí están en los documentos oficiales.
Primero, las categorías y umbrales de seguridad se basan en «categorizaciones» internas, no públicas, que definen qué cuenta como «respuesta deseable» y qué no.
Segundo, los resultados combinan tres fuentes: estimaciones en producción (muy baja prevalencia), evaluaciones automatizadas diseñadas para ser difíciles y revisiones clínicas sobre más de 1.800 respuestas.
Tercero, la empresa conformó una “red de casi 300 profesionales con más de 170 permanentes” para escribir respuestas ideales, puntuar salidas y guiar criterios. Aun así, el acuerdo entre expertos varía entre 71% y 77%, lo que confirma que no existe una única respuesta correcta y que el criterio clínico razonable es, por definición, plural.
Cuarto, la propia OpenAI reconoce que las métricas y taxonomías podrían cambiar con nuevas iteraciones, lo que limita la comparabilidad temporal.
Estos puntos no invalidan la mejora, precisan sus condiciones: ¡quién define los marcos, cómo se mide, con qué población y qué tan estable es la serie!
El nudo gordiano está en la mediación.
Cuando ChatGPT detecta señales de delirio, el ejemplo publicado muestra correcciones explícitas «ningún avión puede insertar pensamientos» junto con ejercicios de anclaje y derivación a recursos humanos como profesional de salud mental, redes de apoyo y líneas de ayuda como 988 en EE. UU..
Cuando detecta dependencia, se emite el mensaje en tono enfático que el asistente «no reemplaza» vínculos reales y sugiere practicar actividades sociales de interacción e intercambio fuera de la pantalla.
Esa coreografía de reconocer, reencuadrar, regular y derivar es consistente con manuales o guías clínicas generales que, en abstracto, al menos sería deseable.
El punto de fricción no es la intención, sino su traducción en un flujo algorítmico gobernado por métricas internas. Si el asistente se convierte en la «primera línea» de escucha y triage, entonces la arquitectura que decide qué se marca, cómo se responde y a dónde se deriva ya no es una función técnica neutra, sino una política de atención digital con efectos sociales.
Ese es, precisamente, el eje de la preocupación, el asunto a vigilar: Cómo la infraestructura que media nuestras interacciones reconfigura poder, acceso y formas de subjetividad.
Las cifras que muestra la publicación indican que el modelo es hoy menos propenso a fallar, cuando no debería fallar, que es exactamente lo que la persona usuaria espera precisamente por creer desproporcionadamente en “el poder de la IA”, incluso más allá de la “fe” que profece a la ciencia y los profesionales.
El problema central es que ninguna métrica, por sí sola, resuelve el resto de cuestiones, como lo son los sesgos culturales, entre ellos cuestiones macro como el idioma y especificas como el contexto local, la “gobernanza” y transparencia de los datos y la posibilidad de auditorías independientes. Ese «resto» no está negado, simplemente, no está resuelto en el anuncio. Quizás ello implique un exceso de autosuficiencia de la compañía para manejar una cuestión que aparece poco en términos porcentuales de uso de su asistente.
En clave latinoamericana, la traducción práctica es directa. Estas salvaguardas nacen en inglés y en ecosistemas institucionales con líneas de ayuda y cobertura muy distinta en capacidad, disponibilidad y accesibilidad.
En nuestra región la disponibilidad de redes humanas, las limitaciones, saturación o ausencia de servicios asistenciales, y la heterogeneidad cultural complican la “derivación”. Y eso es apenas el vértice superior del iceberg.
Si el asistente recomienda «hablar con un profesional», la pregunta no es si sugiere bien, sino si a ese consejo se le puede dar curso real en contextos donde los dispositivos de contención puede que no existan, están saturados o son materialmente innaccesibles. El riesgo, entonces, es doble; que la IA sea lo único accesible y, por lo mismo, que termine reforzando circuitos de «atención» exclusivamente digitales.
No es un argumento contra las mejoras publicadas, es un argumento a favor de políticas de implementación responsables allí donde más falta hacen, reconociendo la heterogeneidad que los algoritmos ignoran.
Quizás sea necesario aclarar que la intención que se propone aqui no es otra que llamar la atención y habilitar la discución pública al respecto. Y lo que sigue no es más que una serie de cuestiones a discutir.
En primer lugar, que una empresa de IA publique números específicos en dominios sensibles es una señal de apertura que permite escrutinio. En segundo lugar, que el propio documento admita la dificultad de medir eventos raros y la existencia de desacuerdo clínico introduce un realismo necesario. Como dice una psicoanalista amiga “no hay balas de plata en salud mental”, entiendo que por ello, mucho menos pueden existir respuestas automatizadas adecuadas. En tercer lugar, que exista un flujo diseñado para no convalidar ideas delirantes y, a la vez, ofrecer recursos prácticos y límites sanos, marca un piso de comportamiento que otros proveedores deberían igualar al menos en ambición. En cuarto lugar, que se anuncie el «ruteo» de charlas sensibles hacia modelos de razonamiento y controles parentales sugiere una arquitectura de producto que, si se gobierna bien, puede reducir riesgos en uso real.
Ojo, nada de esto elimina la discusión de fondo. ¿Quién controla criterios, datos y auditoría, y cómo se previene que esa mediación derive en formas de control sutil con la estética de la ayuda?
Para evitar que la mejora técnica se convierta en una nueva zona opaca, hay un conjunto acotado de decisiones que se pueden exigir o implementar desde ya.
Publicar, con una cadencia regular, series de tiempo de las mismas métricas y con definiciones estables, o, cuando cambien, con documentación explícita de los cambios, ayudaría a convertir un anuncio puntual en un estándar de seguimiento.
Abrir a revisión independiente subconjuntos anonimizados de los casos de prueba difíciles, no de producción, donde la privacidad es más sensible, permitiría auditar sesgos culturales y lingüísticos sin exponer a nadie.
Localizar las rutas de derivación a recursos reales por país y por sistema de salud, y hacerlo en cooperación con agencias públicas y organizaciones comunitarias, cerraría el salto entre «aconsejar» y «acceder».
Establecer límites fuertes de retención y uso de datos de estas conversaciones reduciría el incentivo a convertir sufrimiento en combustible de entrenamiento.
Publicar tasas de falsos positivos y falsos negativos estimadas, separadas por idioma, daría una medida más honesta de los «costos de la sensibilidad» que el propio blog de la compañia reconoce como dilema de base.
Construir redes de profesionales y usuarios del “sur global”, en su idioma y con su cultura, evitaría que la seguridad se vuelva un sinónimo de «alineado al inglés». Y mantener un principio operativo sencillo, el asistente es puerta de entrada, no circuito completo, serviría como regla de implementación para escuelas, universidades, plataformas y servicios. La IA acompaña y deriva, el cuidado lo hace la red humana.
Ninguna de estas medidas requiere cambiar el corazón técnico del sistema. Son decisiones de control ético y producto que, si se adoptan, acotan el margen para que una infraestructura de atención algorítmica derive en mediaciones opacas que “administran emociones a escala”.
Queda un punto final, operativo, para quienes publicamos y leemos en esta región.
Si el objetivo es aprovechar lo mejor de estas actualizaciones y, a la vez, reducir los riesgos de una dependencia digital mal entendida, conviene una regla simple de uso. Conversar con la IA puede ser una ayuda real para organizar ideas, bajar ansiedad inmediata o encontrar palabras, pero las rutas de salida deben existir y estar a la mano en el mundo no digital.
El propio anuncio enfatiza el puente hacia personas de confianza, profesionales y líneas de ayuda, la implementación responsable, en castellano y con instituciones locales, pero eso es sólo la mitad del trabajo.
Si ese puente falta, la mejora técnica se queda corta y la promesa de seguridad se vuelve retórica.
Por supuesto debemos trabajar de forma sostenida y seriamente para reconstruir esa respuesta “humana” que en nuestra región está condicionada por la falta de priorización presupuestaria, o decisión política en concreto de desfinanciar sistemas de salud tanto públicos como privados.
