"Entrenamos estos modelos para que dediquen más tiempo a pensar en los problemas antes de responder, de manera muy similar a lo que lo haría una persona. A través del entrenamiento, aprenden a refinar su proceso de pensamiento, probar diferentes estrategias y reconocer sus errores", explicó la empresa en un comunicado publicado el jueves.
Hasta ahora, OpenAI había enseñado a sus modelos a imitar patrones de sus datos de entrenamiento tomando como base muchas veces la información que está en internet, pero como la red está llena de información falsa, la tecnología aprendió a repetir las mismas informaciones erróneas.
No obstante, o1 usa una técnica conocida como aprendizaje de refuerzo, que enseña al sistema a través de recompensas y penalizaciones.
En tanto, al resolver varios problemas matemáticos, por ejemplo, puede aprender qué métodos conducen a la respuesta correcta y cuáles no.
Como resultado de esta nueva metodología de entrenamiento, OpenAI dice que el modelo debería ser más preciso y evitar así las 'alucinaciones' -cuando da respuestas bien estructuradas, pero falsas-, según dijo el líder de investigación de OpenAI, Jerry Tworek al medio especializado The Verge.
En una demostración para The New York Times, OpenAI mostró al chatbot mientras resolvía un acróstico (un complejo rompecabezas de palabras), respondía a una pregunta de química de nivel de doctorado y diagnosticaba una enfermedad basándose en un informe detallado sobre los síntomas y el historial de un paciente.
"En un examen de clasificación para la Olimpiada Internacional de Matemáticas (IMO), GPT-4o (el modelo anterior al presentado ayer) resolvió correctamente solo el 13 % de los problemas, mientras que (el nuevo modelo) obtuvo una puntuación del 83 %", anota la empresa en el comunicado.
Gigantes tecnológicos como Google y Meta están construyendo tecnologías similares, mientras que Microsoft, socio de OpenAI, incorporará pronto el nuevo sistema de OpenAI en sus productos.
El modelo de o1 también cuenta con una versión "para ofrecer una solución más eficiente para los desarrolladores", llamada OpenAI o1-mini. "Un modelo de razonamiento más rápido y económico que es particularmente eficaz en la codificación", según la compañía.
Los usuarios de ChatGPT Plus y Team tienen ya acceso tanto a o1 como a o1-mini, mientras que los usuarios de las suscripciones de Enterprise y Edu tendrán acceso a principios de la próxima semana.