Esta tecnología, bautizada como Perspective, es usada desde hace algún tiempo en su versión en inglés por medios como “The New York Times” para ayudar a los trabajadores que moderan su sección de comentarios, y desde este lunes está disponible también en lengua española.
“Los ataques personales, el lenguaje obsceno, el acoso a otros puntos de vista o la discriminación hacen que mucha gente tenga miedo a compartir sus opiniones en internet”, dijo Patricia Georgiou, la responsable de colaboraciones y desarrollo de negocio de Jigsaw, la rama de Alphabet que ha creado esta tecnología.
“Que la gente tenga miedo no contribuye a hacer avanzar la sociedad mediante conversaciones abiertas y que incluyan todos los puntos de vista, que en última instancia debería ser el objetivo de estos foros” , añadió.
Dada la imposibilidad de revisar uno por uno todos los comentarios que se escriben en internet mediante moderadores humanos, Perspective trata de ahorrarles trabajo al identificar y etiquetar aquellos textos que la máquina sospeche que son más susceptibles de “toxicidad” .
Con este fin, los desarrolladores de la herramienta se asocian con medios de comunicación o plataformas digitales para tener acceso a millones de comentarios que son analizados por humanos y asignados un grado de toxicidad, según el impacto emocional que tienen sobre el lector.
Se trata, por supuesto, de una valoración subjetiva, pero desde Jigsaw aseguran que a la hora de evaluar estos comentarios recurren tanto a moderadores profesionales como a una representación amplia de la sociedad, de manera que el criterio final es el resultado de opiniones diversas.
Una vez analizadas estas cantidades enormes de datos, Perspective se sirve de inteligencia artificial para “aprender”cuáles son las características que hacen que un comentario sea percibido como tóxico y, de esta manera, es capaz de clasificar cientos de miles de comentarios mucho más rápido que un moderador humano.
“El modelo ya está entrenado y adaptado a cada realidad cuando el usuario (el medio de comunicación o portal online) empieza a usarlo. Pero los usuarios nos pueden mandar sugerencias en base a las tendencias que identifiquen y nosotros actualizaremos el sistema acorde con estas observaciones”, explicó la ingeniera de software de Jigsaw Marie Pellat.
Cabe destacar que Perspective en ningún caso elimina comentarios o prohíbe su publicación, sino que se limita a alertar a los moderadores humanos en caso de detectar algo potencialmente “tóxico” (ofensivo, insultante, grosero y poco respetuoso en general) .
Otra función de la tecnología es avisar a los internautas en tiempo real en caso de que estén escribiendo algo que pueda ser percibido como tóxico, permitiéndoles modificar las palabras que están usando o la manera de expresarse para que el contenido de su comentario no tenga un impacto negativo sobre otros lectores.
“En muchos casos el internauta no es consciente de la toxicidad de su comentario, por lo que esta es una buena manera de que los internautas se replanteen el comentario que van a dejar y quizá lo formulen de otra manera acorde con las guías de estilo de cada medio de comunicación”, indicó Pellat.
Dadas las diferencias dialécticas del español y las potenciales diferencias geográficas con respecto a lo que puede ser considerado “tóxico”, la nueva versión de Perspective en este idioma tendrá que ser adaptada a cada caso concreto en función de las características lingüísticas del público potencial al que se exponga el medio o portal que use esta técnica.
Algunos de los errores que los desarrolladores de esta tecnología han detectado y que están tratando de remediar son los “falsos positivos”, es decir, comentarios que son marcados como tóxicos cuando no lo son, y el “sesgo involuntario”, consistente en marcar como tóxicos por error comentarios positivos o neutros referentes a grupos que normalmente son objeto de discriminación.