HAN CONSTRUIDO UNA RED NEURONAL QUE RESUELVE, INTERPRETA Y GENERA PROBLEMAS MATEMÁTICOS
#SLICEofDATA Tu porción diaria de Data Analytics en solo 15 minutos
El Machine Learning se ha extendido a muchos campos, entre ellos el de la educación. Investigadores y profesores del MIT, la Universidad de Columbia, la Universidad de Harvard y la Universidad de Waterloo han creado una red neuronal que puede resolver, interpretar y generar problemas universitarios.
Crearon una red neuronal que fue entrenada previamente con texto y modificaron el código para responder problemas de la asignatura de matemáticas, explicar soluciones y generar nuevas preguntas a nivel humano. Compila y ejecuta automáticamente programas para responder a los problemas del curso con un 81 % de precisión automatizada utilizando un aprendizaje de pocos intentos y el transformador (Transformer) Codex de OpenAI.
También recopilaron un nuevo conjunto de datos de preguntas del curso de matemáticas más popular del MIT. La red neuronal responde a preguntas del conjunto de datos MATH (que incluye preguntas sobre Prealgebra, Algebra, Counting and Probability, Intermediate Algebra, Number Theory, and Precalculus), el estándar actual de problemas matemáticos avanzados diseñado para evaluar el razonamiento matemático.
Se eligió un conjunto aleatorio de preguntas de cada curso o tema que no requieren visuales de entrada o pruebas. Sólo el 18% (para los cursos) y el 25,5% (para los temas de referencia de MATH) de estos problemas se resolvieron automáticamente por un modelo de lenguaje entrenado previamente con texto (GPT-3 text-DaVinci-002). En comparación, sintetizan programas que resuelven automáticamente el 71 % (para los cursos) y el 72,2 % (para las asignaturas de benchmark de MATH) de los problemas utilizando el aprendizaje sin intervención mediante una red entrenada previamente con el texto y ajustada con precisión sobre el código (OpenAI Codex code-DaVinci-002). Resolvieron el 81 % (para los cursos) y el 81,1 % (para las asignaturas de referencia de matemáticas) de los problemas de forma automática utilizando la misma red pero con aprendizaje de pocos ciclos. Para el aprendizaje de pocos ciclos, emplean las preguntas embebidas de base y su código sintetizado.
Muestran cómo una red neuronal resuelve, interpreta y genera problemas de nivel universitario a partir de los mejores cursos de matemáticas (a nivel humano) en el MIT. Sus métodos combinan tres innovaciones:
Utilización de redes neuronales recientes entrenadas previamente con texto y afinadas en el código en lugar de solo pre-entrenadas con texto.
Programas de síntesis de aprendizaje de pocos ciclos que resuelven automáticamente los problemas del curso.
Un pipeline para resolver preguntas, explicar soluciones y generar nuevas preguntas que los estudiantes no pueden llegar a distinguir de las preguntas del curso.
Su enfoque es el primero en abordar cursos de matemáticas de nivel universitario y mejora “state-of-the-art” de la técnica en un orden de magnitud, aumentando la precisión automatizada en problemas elegidos al azar en un benchmark. La ampliación de las responsabilidades de la IA en la revisión automática de cursos y el desarrollo de materiales tiene implicaciones para la enseñanza superior. El artículo ofrece varios ejemplos que muestran cómo puede utilizarse el código para convertir los ejemplos de en jobs que creen salidas correctas del código.
Aunque la investigación no entra en detalles técnicos de la DNN propuesta, sí presenta amplias pruebas empíricas de que los transformadores (Transformers) entrenados previamente con texto y afinados en el código pueden alcanzar un rendimiento impecable en preguntas de cursos de matemáticas de nivel universitario. Los investigadores también demuestran cómo los enfoques para generar las preguntas pueden utilizarse para construir programas de resolución de problemas de disciplinas aritméticas, incluyendo soluciones gráficas. El código utilizado para construir este modelo está disponible en GitHub.
En general, este estudio demuestra que utilizando la síntesis de programas, los Transformers preentrenados con texto y afinados en el código pueden responder, calificar y producir automáticamente problemas de cursos de matemáticas de nivel universitario en tiempo real. El equipo cree que esto ofrece la posibilidad de abordar dificultades pedagógicas fundamentales y de aportar potencialmente beneficios a la educación superior, como la evaluación automatizada y el desarrollo de contenidos.
Ref: 2112.15594.pdf (arxiv.org)
A Neural Network Solves, Explains, and Generates University Math Problems by Program Synthesis and Few-Shot Learning at Human Level
Iddo Drori1, Sarah Zhanga , Reece Shuttlewortha , Leonard Tangc , Albert Lua , Elizabeth Kea , Kevin Liua , Linda Chena , Sunny Trana , Newman Chengb , Roman Wangb , Nikhil Singha , Taylor L. Pattic , Jayson Lynchd , Avi Shporera , Nakul Vermab , Eugene Wub , and Gilbert Stranga — Massachusetts Institute of Technology; Columbia University; Harvard University; University of Waterloo - Manuscript compiled on June 1, 2022