OpenAI publica un informe sobre las ilusiones de los modelos de lenguaje de gran tamaño, señalando los sesgos en los mecanismos de evaluación actuales y sugiriendo métodos de solución. (Resumen: ¡Meta y Zuckerberg en vano! Con un salario de más de mil millones de dólares, tres genios de la IA se fueron en dos meses) (Contexto adicional: la última lista de las 100 mejores IA de a16z: Grok salta al cuarto lugar en un año, aplicaciones chinas rompen el mercado global) OpenAI publicó esta semana un estudio sobre el fenómeno de "ilusión" de los modelos de lenguaje de gran tamaño, indicando que los métodos de entrenamiento y evaluación actuales hacen que los modelos tiendan a "adivinar con confianza" en lugar de admitir que no saben, lo que lleva a ilusiones, y propone cuáles deberían ser los siguientes pasos. Núcleo del informe: la forma de evaluación lleva a los modelos a adivinar El equipo de investigación de OpenAI descubrió que durante el entrenamiento de los modelos hay una gran cantidad de preguntas de evaluación presentadas en forma de opción múltiple, donde los modelos pueden obtener puntos simplemente adivinando correctamente, mientras que responder "no sé" no otorga ningún punto. (Esto es fácil de entender, es como si en un examen de opción múltiple, aunque no sepas la respuesta, puedes llenar al azar y al menos tienes la oportunidad de acertar) El informe toma como ejemplo la prueba SimpleQA, comparando el antiguo modelo o4-mini con la nueva versión gpt-5-thinking-mini: el primero tiene una precisión ligeramente superior, pero la "tasa de ilusión" alcanza el 75%; el segundo, aunque a menudo elige abstenerse, tiene una tasa de error significativamente menor. OpenAI señala además que la mayoría de los desarrolladores se centran en mejorar la tasa de aciertos general, pero ignoran que "cometer errores con confianza" tiene un impacto mucho mayor en los usuarios que admitir incertidumbre. El equipo de investigación resume la raíz del problema en una frase: "Los procedimientos estándar de entrenamiento y evaluación recompensan a los modelos por adivinar, en lugar de admitir limitaciones cuando hay incertidumbre." En otras palabras, la ilusión no se debe a que el hardware o la escala de parámetros del modelo sean insuficientes, sino a que las reglas de puntuación inducen a los modelos a adoptar estrategias de alto riesgo. Aumento de precisión no erradicará la ilusión El informe desglosa cinco malentendidos comunes en la industria, siendo los dos más importantes: primero, que simplemente hacer que los modelos sean más grandes o alimentar más datos puede eliminar las ilusiones; segundo, que las ilusiones son un efecto secundario inevitable. OpenAI afirma: El mundo real está lleno de vacíos informativos, y cualquier modelo, independientemente de su tamaño, puede encontrar preguntas de "escasez de datos". La clave real es si el modelo tiene la opción de "abstenerse". El informe también enfatiza que los modelos pequeños a veces son más capaces de reconocer sus propias lagunas de conocimiento; y que al ajustar los estándares de evaluación, otorgando puntos parciales por "respuestas humildes" y penalizando más severamente por "cometer errores con confianza", los modelos de tamaño completo también pueden reducir la ilusión. OpenAI sugiere que la industria cambie de la "tasa de aciertos" a los "indicadores de confiabilidad", como incluir el nivel de confianza en los errores como KPI principal, para fomentar que los modelos se mantengan conservadores en situaciones de incertidumbre. Escenario de fintech: la brecha de confianza amplifica el riesgo Para Wall Street y Silicon Valley, la ilusión no es un tema académico abstracto, sino una variable que impacta directamente en las decisiones del mercado. Los fondos cuantitativos, bancos de inversión y plataformas de intercambio de criptomonedas dependen cada vez más de LLM para el análisis de texto, interpretación de sentimientos e incluso generación de informes automáticos. Si un modelo presenta ilusiones en los detalles de un informe financiero de la empresa o en los términos de un contrato, el contenido erróneo puede ser rápidamente amplificado a través de algoritmos de trading, causando pérdidas enormes. Por lo tanto, las autoridades reguladoras y los departamentos de gestión de riesgos de las empresas han comenzado a prestar atención a los indicadores de "honestidad del modelo". Varias corredoras han incorporado la "tasa de incertidumbre en las respuestas" en su aceptación interna, permitiendo que el modelo preestablezca respuestas de "necesito más información" en áreas desconocidas. Este cambio significa que, independientemente de cuán potente sea una solución de IA, si no puede proporcionar etiquetas de confiabilidad, será difícil de adoptar en el mercado financiero. Siguiente paso: de la competencia por puntuaciones altas a la ingeniería de honestidad Finalmente, el camino sugerido por OpenAI es reescribir las especificaciones de evaluación: primero, establecer fuertes penalizaciones para respuestas incorrectas con confianza; segundo, otorgar puntos parciales por expresar incertidumbre moderadamente; tercero, requerir que el modelo devuelva fuentes de referencia verificables. El equipo de investigación afirma que esta medida puede obligar a los modelos a aprender "gestión de riesgos" en la fase de entrenamiento, similar a la teoría de la cartera de inversiones de "proteger el capital primero". Para los desarrolladores, esto significa que los participantes ya no competirán solo por el tamaño del modelo, sino por quién puede juzgar con precisión cuándo retirarse dentro de un presupuesto de cálculo limitado; para los inversores y reguladores, los nuevos indicadores también proporcionan puntos de anclaje más intuitivos para la gestión de riesgos. A medida que la "humildad" se convierte en un nuevo campo de estudio, el ecosistema de IA está pasando de un enfoque en las puntuaciones a uno en la confianza. Reporte relacionado ETH supera los 3600 dólares! BlackRock presenta solicitud de ETF de Ethereum, LDO salta un 20% El ETF de Bitcoin de BlackRock "IBIT" supera los rendimientos de todos sus fondos, ganando diez veces más que el ETF S&P 500 XRP supera a USDT convirtiéndose en la tercera criptomoneda más grande por capitalización de mercado! Pero el 95% de su suministro circulante está en la zona de ganancias, $3 se convierte en la línea de vida entre largo y corto ¿Solana solo queda con una prosperidad superficial? El aumento contemporáneo de monedas depende solo de manipulaciones detrás de escena, el ciclo en cadena puede haber llegado a su fin <OpenAI explica por qué hay ilusiones en la IA? Tres soluciones para cambiar el mito de la evaluación> Este artículo fue publicado originalmente en BlockTempo, el medio de noticias de cadena de bloques más influyente.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
¿Por qué OpenAI explica que hay alucinaciones de IA? Tres soluciones para cambiar el mito de la evaluación.
OpenAI publica un informe sobre las ilusiones de los modelos de lenguaje de gran tamaño, señalando los sesgos en los mecanismos de evaluación actuales y sugiriendo métodos de solución. (Resumen: ¡Meta y Zuckerberg en vano! Con un salario de más de mil millones de dólares, tres genios de la IA se fueron en dos meses) (Contexto adicional: la última lista de las 100 mejores IA de a16z: Grok salta al cuarto lugar en un año, aplicaciones chinas rompen el mercado global) OpenAI publicó esta semana un estudio sobre el fenómeno de "ilusión" de los modelos de lenguaje de gran tamaño, indicando que los métodos de entrenamiento y evaluación actuales hacen que los modelos tiendan a "adivinar con confianza" en lugar de admitir que no saben, lo que lleva a ilusiones, y propone cuáles deberían ser los siguientes pasos. Núcleo del informe: la forma de evaluación lleva a los modelos a adivinar El equipo de investigación de OpenAI descubrió que durante el entrenamiento de los modelos hay una gran cantidad de preguntas de evaluación presentadas en forma de opción múltiple, donde los modelos pueden obtener puntos simplemente adivinando correctamente, mientras que responder "no sé" no otorga ningún punto. (Esto es fácil de entender, es como si en un examen de opción múltiple, aunque no sepas la respuesta, puedes llenar al azar y al menos tienes la oportunidad de acertar) El informe toma como ejemplo la prueba SimpleQA, comparando el antiguo modelo o4-mini con la nueva versión gpt-5-thinking-mini: el primero tiene una precisión ligeramente superior, pero la "tasa de ilusión" alcanza el 75%; el segundo, aunque a menudo elige abstenerse, tiene una tasa de error significativamente menor. OpenAI señala además que la mayoría de los desarrolladores se centran en mejorar la tasa de aciertos general, pero ignoran que "cometer errores con confianza" tiene un impacto mucho mayor en los usuarios que admitir incertidumbre. El equipo de investigación resume la raíz del problema en una frase: "Los procedimientos estándar de entrenamiento y evaluación recompensan a los modelos por adivinar, en lugar de admitir limitaciones cuando hay incertidumbre." En otras palabras, la ilusión no se debe a que el hardware o la escala de parámetros del modelo sean insuficientes, sino a que las reglas de puntuación inducen a los modelos a adoptar estrategias de alto riesgo. Aumento de precisión no erradicará la ilusión El informe desglosa cinco malentendidos comunes en la industria, siendo los dos más importantes: primero, que simplemente hacer que los modelos sean más grandes o alimentar más datos puede eliminar las ilusiones; segundo, que las ilusiones son un efecto secundario inevitable. OpenAI afirma: El mundo real está lleno de vacíos informativos, y cualquier modelo, independientemente de su tamaño, puede encontrar preguntas de "escasez de datos". La clave real es si el modelo tiene la opción de "abstenerse". El informe también enfatiza que los modelos pequeños a veces son más capaces de reconocer sus propias lagunas de conocimiento; y que al ajustar los estándares de evaluación, otorgando puntos parciales por "respuestas humildes" y penalizando más severamente por "cometer errores con confianza", los modelos de tamaño completo también pueden reducir la ilusión. OpenAI sugiere que la industria cambie de la "tasa de aciertos" a los "indicadores de confiabilidad", como incluir el nivel de confianza en los errores como KPI principal, para fomentar que los modelos se mantengan conservadores en situaciones de incertidumbre. Escenario de fintech: la brecha de confianza amplifica el riesgo Para Wall Street y Silicon Valley, la ilusión no es un tema académico abstracto, sino una variable que impacta directamente en las decisiones del mercado. Los fondos cuantitativos, bancos de inversión y plataformas de intercambio de criptomonedas dependen cada vez más de LLM para el análisis de texto, interpretación de sentimientos e incluso generación de informes automáticos. Si un modelo presenta ilusiones en los detalles de un informe financiero de la empresa o en los términos de un contrato, el contenido erróneo puede ser rápidamente amplificado a través de algoritmos de trading, causando pérdidas enormes. Por lo tanto, las autoridades reguladoras y los departamentos de gestión de riesgos de las empresas han comenzado a prestar atención a los indicadores de "honestidad del modelo". Varias corredoras han incorporado la "tasa de incertidumbre en las respuestas" en su aceptación interna, permitiendo que el modelo preestablezca respuestas de "necesito más información" en áreas desconocidas. Este cambio significa que, independientemente de cuán potente sea una solución de IA, si no puede proporcionar etiquetas de confiabilidad, será difícil de adoptar en el mercado financiero. Siguiente paso: de la competencia por puntuaciones altas a la ingeniería de honestidad Finalmente, el camino sugerido por OpenAI es reescribir las especificaciones de evaluación: primero, establecer fuertes penalizaciones para respuestas incorrectas con confianza; segundo, otorgar puntos parciales por expresar incertidumbre moderadamente; tercero, requerir que el modelo devuelva fuentes de referencia verificables. El equipo de investigación afirma que esta medida puede obligar a los modelos a aprender "gestión de riesgos" en la fase de entrenamiento, similar a la teoría de la cartera de inversiones de "proteger el capital primero". Para los desarrolladores, esto significa que los participantes ya no competirán solo por el tamaño del modelo, sino por quién puede juzgar con precisión cuándo retirarse dentro de un presupuesto de cálculo limitado; para los inversores y reguladores, los nuevos indicadores también proporcionan puntos de anclaje más intuitivos para la gestión de riesgos. A medida que la "humildad" se convierte en un nuevo campo de estudio, el ecosistema de IA está pasando de un enfoque en las puntuaciones a uno en la confianza. Reporte relacionado ETH supera los 3600 dólares! BlackRock presenta solicitud de ETF de Ethereum, LDO salta un 20% El ETF de Bitcoin de BlackRock "IBIT" supera los rendimientos de todos sus fondos, ganando diez veces más que el ETF S&P 500 XRP supera a USDT convirtiéndose en la tercera criptomoneda más grande por capitalización de mercado! Pero el 95% de su suministro circulante está en la zona de ganancias, $3 se convierte en la línea de vida entre largo y corto ¿Solana solo queda con una prosperidad superficial? El aumento contemporáneo de monedas depende solo de manipulaciones detrás de escena, el ciclo en cadena puede haber llegado a su fin <OpenAI explica por qué hay ilusiones en la IA? Tres soluciones para cambiar el mito de la evaluación> Este artículo fue publicado originalmente en BlockTempo, el medio de noticias de cadena de bloques más influyente.