|
Urgencia en la clasificación de
modelos de IA según su riesgo: El desafío de establecer un estándar
claro
La inteligencia artificial (IA) ha avanzado a pasos agigantados,
revolucionando industrias y transformando la manera en que
interactuamos con la tecnología. Sin embargo, a medida que estos
modelos se vuelven más sofisticados, surge una preocupación
creciente sobre los riesgos legales, éticos y normativos que
presentan. Bo Li, profesor asociado de la Universidad de Chicago y
experto en pruebas de estrés para modelos de IA, ha emergido como
una voz clave en este debate. Li y su equipo, que incluye a
investigadores de otras universidades, así como de Virtue AI y Lapis
Labs, han desarrollado una taxonomía de riesgos para la IA y un
punto de referencia que permite evaluar en qué medida los modelos de
lenguaje de gran tamaño (LLM) incumplen las normativas.
Necesidad de principios claros para la seguridad de la IA
En una entrevista con WIRED, Li enfatizó la necesidad de establecer
principios claros para garantizar la seguridad de la IA, tanto en
términos de cumplimiento normativo como en su uso cotidiano. Según
él, las empresas y los gobiernos deben estar más alineados en cuanto
a la regulación de estos modelos para evitar posibles infracciones y
garantizar que la tecnología se utilice de manera responsable.
Los investigadores de Li han trabajado exhaustivamente para analizar
las normativas y directrices gubernamentales sobre IA en diferentes
partes del mundo, incluyendo Estados Unidos, China y la Unión
Europea. Además, han estudiado las políticas de uso de 16 grandes
empresas de IA a nivel global. Este análisis es crucial para
entender cómo estas normativas se aplican en la práctica y
cómo las empresas
pueden mejorar sus modelos para cumplir con las expectativas legales
y éticas.
AIR-Bench 2024: Un nuevo estándar de evaluación de riesgos
Uno de los resultados más destacados del trabajo de Li y su equipo
es el desarrollo de AIR-Bench 2024, una referencia que utiliza miles
de preguntas para evaluar el comportamiento de los modelos de IA en
relación con riesgos específicos. Este punto de referencia ha
revelado diferencias significativas entre los modelos
|
|
en términos de su capacidad para evitar comportamientos
problemáticos.
Por ejemplo, el modelo Claude 3 Opus de Anthropic ha demostrado ser eficaz en
evitar la generación de amenazas de ciberseguridad, mientras que el modelo
Gemini 1.5 Pro de Google se destaca por su capacidad para evitar la generación
de desnudos sexuales no consentidos. Estos hallazgos son vitales para las
empresas que buscan desplegar IA en entornos donde la seguridad y el
cumplimiento normativo son esenciales.
Sin embargo, no todos los modelos han mostrado resultados positivos. El modelo
DBRX Instruct, desarrollado por Databricks, obtuvo la peor puntuación en todas
las categorías evaluadas. A pesar de que Databricks afirmó en su lanzamiento que
seguiría mejorando las características de seguridad de su modelo, los resultados
indican que queda mucho por hacer.
Es importante destacar que ni Anthropic, Google, ni Databricks respondieron a
las solicitudes de comentarios sobre estos hallazgos, lo que deja en el aire
cómo planean abordar las deficiencias identificadas.
Importancia de evaluar los pros y contras de los modelos de IA
Para las empresas que buscan implementar IA en sus operaciones, comprender los
riesgos asociados con diferentes modelos es
cada vez más crucial. Por ejemplo, una
empresa que desee utilizar un LLM para el servicio de atención al cliente puede
estar más preocupada por la propensión del modelo a generar un lenguaje ofensivo
que por su capacidad para diseñar artefactos nucleares. Este tipo de
consideraciones son esenciales para tomar decisiones informadas sobre qué modelo
es el más adecuado para un caso de uso específico.
Li también ha señalado que el análisis de su equipo ha revelado diferencias
significativas entre las normativas gubernamentales y las políticas internas de
las empresas. En muchos casos, las normativas gubernamentales son menos
exhaustivas que las políticas corporativas, lo que sugiere que hay margen para
endurecer la regulación.
|
|
Además, algunas empresas
podrían hacer más para garantizar la
seguridad de sus modelos, ya que no
siempre cumplen con sus propias políticas internas. Esto pone de manifiesto la
necesidad de una mayor transparencia y responsabilidad en el desarrollo y la
implementación de IA.
Esfuerzos para ordenar un panorama de riesgos desordenado
El trabajo de Li no es el único en este campo. Otros investigadores también
están tratando de poner orden en el confuso panorama de riesgos de la IA. Esta
misma semana, dos investigadores del Instituto de Tecnología de Massachusetts
(MIT) presentaron su propia base de datos de peligros de la IA, compilada a
partir de 43 marcos de riesgo diferentes. Neil Thompson, científico investigador
del MIT, comentó que muchas organizaciones todavía están en las primeras etapas
de adopción de la IA, lo que significa que necesitan orientación sobre los
posibles peligros.
Peter Slattery, director del proyecto e investigador del grupo FutureTech del
MIT, añadió que la base de datos pone de manifiesto que algunos riesgos de la IA
reciben más atención que otros. Por ejemplo, más del 70% de los marcos mencionan
problemas de privacidad y seguridad, mientras que solo alrededor del 40% se
refieren a la desinformación. Esto indica que aún hay áreas del riesgo de IA que
requieren mayor atención y estudio.
El futuro de la evaluación de riesgos en IA
A medida que la IA continúa evolucionando, también lo hará la forma en que se
evalúan sus riesgos. Li enfatiza que será crucial explorar cuestiones
emergentes, como la adherencia emocional de los modelos de IA, es decir, cómo
estos modelos podrían influir emocionalmente en los usuarios. En un análisis
reciente de la versión más grande y potente del modelo Llama 3.1 de Meta, Li
concluyó que la seguridad en IA no está mejorando de manera significativa. Este
hallazgo resalta la necesidad urgente de continuar investigando y desarrollando
metodologías más efectivas para mitigar los riesgos asociados con la IA.
En resumen, aunque la clasificación de los modelos de IA según su riesgo es una
tarea compleja y en evolución, el trabajo de investigadores como Li y su equipo
es fundamental para garantizar que la tecnología se desarrolle de manera segura
y ética. Las empresas y los gobiernos deben trabajar juntos para establecer
estándares claros y efectivos que protejan tanto a los usuarios como a la
sociedad en general de los potenciales peligros de la IA.
|
