META HA CREADO UNA NUEVA Y ENORME IA LINGÜÍSTICA Y LA ESTÁ REGALANDO
#SLICEofDATA Tu porción diaria de Data Analytics en solo 15 minutos
El laboratorio de IA de Meta ha creado un nuevo y enorme modelo lingüístico que comparte tanto las notables capacidades como los dañinos defectos de la pionera red neuronal GPT-3 de OpenAI. Y, en un movimiento sin precedentes para las grandes empresas tecnológicas, lo ha puesto a disposición de los investigadores, junto con los detalles sobre cómo se construyó y entrenó.
"Creemos firmemente que la posibilidad de que otros examinen tu trabajo es una parte importante de la investigación. Invitamos realmente a esa colaboración", afirma Joelle Pineau, defensora desde hace tiempo de la transparencia en el desarrollo de la tecnología, que ahora es directora general de Meta AI.
La medida de Meta es la primera vez que un gran modelo lingüístico completamente entrenado se pondrá a disposición de cualquier investigador que quiera estudiarlo. La noticia ha sido bien recibida por muchos que están preocupados por la forma en que esta potente tecnología está siendo construida por pequeños equipos a puerta cerrada.
"Aplaudo la transparencia", dice Emily M. Bender, lingüista computacional de la Universidad de Washington y frecuente crítica de la forma en que se desarrollan y despliegan los modelos lingüísticos.
"Es un gran paso", dice Thomas Wolf, científico jefe de Hugging Face, la empresa de IA que está detrás de BigScience, un proyecto en el que más de 1.000 voluntarios de todo el mundo colaboran en un modelo lingüístico de código abierto. "Cuanto más abiertos sean los modelos, mejor", afirma.
Los grandes modelos lingüísticos -programas potentes que pueden generar párrafos de texto e imitar una conversación humana- se han convertido en una de las tendencias más calientes de la IA en los últimos dos años. Pero tienen profundos defectos, ya que reproducen información errónea, prejuicios y lenguaje tóxico.
En teoría, poner a más personas a trabajar en el problema debería ayudar. Sin embargo, dado que los modelos lingüísticos requieren grandes cantidades de datos y potencia de cálculo para su entrenamiento, hasta ahora han seguido siendo proyectos de empresas tecnológicas ricas. La comunidad investigadora en general, incluidos los especialistas en ética y ciencias sociales preocupados por su mal uso, ha tenido que mirar de reojo.
Meta AI dice que quiere cambiar eso. "Muchos de nosotros hemos sido investigadores universitarios", dice Pineau. "Conocemos la brecha que existe entre las universidades y la industria en cuanto a la capacidad de construir estos modelos. Poner éste a disposición de los investigadores era una obviedad". Espera que otros analicen su trabajo y lo desmonten o lo amplíen. Los avances son más rápidos cuando hay más gente involucrada, dice.
Meta pone su modelo, llamado Open Pretrained Transformer (OPT), a disposición del público para uso no comercial. También está publicando su código y un cuaderno de bitácora que documenta el proceso de formación. El cuaderno de bitácora contiene actualizaciones diarias de los miembros del equipo sobre los datos de entrenamiento: cómo se añadieron al modelo y cuándo, qué funcionó y qué no. En más de 100 páginas de notas, los investigadores registran todos los errores, fallos y reinicios en un proceso de entrenamiento de tres meses que se desarrolló sin interrupción desde octubre de 2021 hasta enero de 2022.
Con 175.000 millones de parámetros (los valores de una red neuronal que se ajustan durante el entrenamiento), OPT tiene el mismo tamaño que GPT-3. Pineau afirma que esto se hizo por diseño. El equipo construyó OPT para igualar a GPT-3 tanto en su precisión en tareas lingüísticas como en su toxicidad. OpenAI ha puesto GPT-3 a disposición de los usuarios como servicio de pago, pero no ha compartido el modelo ni su código. La idea era proporcionar a los investigadores un modelo lingüístico similar para su estudio, dice Pineau.
Google, que está explorando el uso de grandes modelos lingüísticos en sus productos de búsqueda, también ha sido criticado por la falta de transparencia. La empresa desató la polémica en 2020 cuando obligó a los principales miembros de su equipo de ética de la IA a abandonar su puesto después de que elaboraran un estudio que ponía de manifiesto los problemas de la tecnología.
Choque cultural
Entonces, ¿por qué hace esto Meta? Después de todo, Meta es una empresa que ha dicho poco sobre cómo funcionan los algoritmos que hay detrás de Facebook e Instagram y tiene fama de enterrar los hallazgos desfavorables de sus propios equipos de investigación internos. Una gran razón para el enfoque diferente de Meta AI es la propia Pineau, que ha estado presionando por más transparencia en la IA durante varios años.
Pineau ayudó a cambiar la forma en que se publica la investigación en varias de las mayores conferencias, introduciendo una lista de cosas que los investigadores deben presentar junto con sus resultados, incluyendo el código y los detalles sobre cómo se ejecutan los experimentos. Desde que se unió a Meta (entonces Facebook) en 2017, ha defendido esa cultura en su laboratorio de IA.
"Ese compromiso con la ciencia abierta es la razón por la que estoy aquí", dice. "No estaría aquí en otras condiciones".
En última instancia, Pineau quiere cambiar la forma en que juzgamos la IA. "Lo que llamamos estado de la técnica hoy en día no puede referirse sólo al rendimiento", dice. "Tiene que ser de vanguardia también en términos de responsabilidad".
Aun así, regalar un gran modelo de lenguaje es un movimiento audaz para Meta. "No puedo decirte que no hay riesgo de que este modelo produzca un lenguaje del que no estemos orgullosos", dice Pineau. "Lo hará".
Sopesar los riesgos
Margaret Mitchell, una de las investigadoras de ética de la IA a las que Google obligó a salir en 2020, y que ahora está en Hugging Face, ve la publicación de OPT como un movimiento positivo. Pero cree que la transparencia tiene sus límites. ¿Se ha probado el modelo lingüístico con suficiente rigor? ¿Los beneficios previsibles superan los daños previsibles, como la generación de información errónea o el lenguaje racista y misógino?
"Lanzar un gran modelo lingüístico al mundo, donde es probable que un amplio público lo utilice o se vea afectado por su resultado, conlleva responsabilidades", afirma. Mitchell señala que este modelo podrá generar contenido perjudicial no sólo por sí mismo, sino a través de las aplicaciones posteriores que los investigadores construyan sobre él.
Meta AI auditó el OPT para eliminar algunos comportamientos perjudiciales, pero el objetivo es lanzar un modelo del que los investigadores puedan aprender, con todas sus verrugas, dice Pineau.
"Hubo muchas conversaciones sobre cómo hacerlo de manera que nos permita dormir por la noche, sabiendo que hay un riesgo no nulo en términos de reputación, un riesgo no nulo en términos de daño", dice. Rechaza la idea de no publicar un modelo porque es demasiado peligroso, que es la razón que dio OpenAI para no publicar el predecesor de GPT-3, GPT-2. "Entiendo los puntos débiles de estos modelos, pero esa no es una mentalidad de investigación", afirma.
Bender, coautora del estudio que está en el centro de la disputa de Google con Mitchell, también está preocupada por cómo se manejarán los daños potenciales. "Una cosa que es realmente clave para mitigar los riesgos de cualquier tipo de tecnología de aprendizaje automático es basar las evaluaciones y exploraciones en casos de uso específicos", dice. "¿Para qué se utilizará el sistema? ¿Quién lo utilizará y cómo se le presentarán los resultados del sistema?".
Algunos investigadores se preguntan por qué se construyen grandes modelos lingüísticos, dado su potencial de daño. Para Pineau, estas preocupaciones deberían ser respondidas con más exposición, no con menos. "Creo que la única forma de generar confianza es la transparencia extrema", afirma.
"Tenemos diferentes opiniones en todo el mundo sobre qué discurso es apropiado, y la IA forma parte de esa conversación", afirma. No espera que los modelos lingüísticos digan cosas con las que todo el mundo esté de acuerdo. "Pero, ¿cómo lo abordamos? Se necesitan muchas voces en ese debate".
ref:
Will Douglas Heaven. (Mayo 2022) Meta has built a massive new language AI—and it’s giving it away for free - MIT Technology Review