La prevención del uso indebido de los modelos de IA comienza con las funciones de seguridad de la arquitectura, como medidas de protección, la validación de datos, la validación de instrucciones y la prevención de pérdida de datos (DLP).
Después de leer este artículo podrás:
Copiar enlace del artículo
Los sistemas de inteligencia artificial (IA) son potentes, y muchos están integrados en los procesos empresariales esenciales. En consecuencia, el uso indebido de la IA puede poner en riesgo a las aplicaciones y la infraestructura, exponer a las organizaciones a riesgos relacionados con la conformidad y la reputación y, en casos extremos, incluso poner en peligro vidas humanas. Para evitar su uso indebido, los modelos de IA deben contar con medidas de protección, control de acceso, validación de instrucciones y otras funciones de seguridad. Asimismo, algunas opciones en materia de arquitectura, como la incorporación de humanos en el bucle ("human-in-the-loop" o HITL) en la infraestructura de aplicaciones basadas en IA, pueden contribuir a mitigar los riesgos de un uso indebido.
El uso indebido de la IA es el uso de modelos de IA para fines distintos a los previstos por los arquitectos de los modelos, especialmente con fines maliciosos o fraudulentos. Los modelos de IA son cada vez más eficaces, y la importancia de evitar el uso indebido de la IA es mayor. Muchos expertos en IA están preocupados por los posibles usos de la IA por parte de estados rebeldes y terroristas (que probablemente ya utilizan la IA para promover sus causas).
Los 10 principales riesgos de OWASP para modelos de lenguaje de gran tamaño (LLM) enumeran algunas de las formas en que los modelos de IA pueden ser indebidamente utilizados, como la inyección de instrucciones para manipular su comportamiento, la divulgación de datos confidenciales y la introducción de vulnerabilidades en la cadena de suministro al poner en riesgo un LLM del que dependen las aplicaciones descendentes.
Más allá de estos riesgos, algunas personas podrían intentar utilizar los modelos de IA para acceder o generar contenido peligroso o ilegal (por ejemplo, instrucciones para construir un arma o contenido explícito peligroso).
Para los usuarios y las empresas que dependen habitualmente de la IA, es importante evitar el uso indebido de la IA para proteger sus datos, su marca y a sus clientes, así como para garantizar la conformidad con las normativas de privacidad de datos.
Los atacantes pueden utilizar los modelos de IA como ayuda en muchos tipos de ciberataques. Los modelos de IA generativa y los agentes de IA pueden encontrar vulnerabilidades de software, incluidas, en algunos casos, las vulnerabilidades de día cero. Pueden escribir programas de malware. Pueden ayudar en las campañas de ingeniería social mediante la elaboración de mensajes de phishing, y pueden identificar objetivos de phishing. Las aplicaciones de IA agéntica podrían operar de forma autónoma campañas de phishing a largo plazo, campañas de ransomware y otros ciberataques, potenciando las amenazas persistentes avanzadas (APT) y los grupos delictivos organizados.
Incluso los modelos de IA generativa con medidas de protección pueden sufrir este tipo de uso indebido. Técnicas como la inyección de instrucciones y el jailbreak permiten a los ciberdelincuentes utilizar los modelos para sus propios fines.
Para evitar que personas y grupos utilicen las aplicaciones de IA para fines distintos a los previstos, los desarrolladores de aplicaciones y de modelos de IA deben integrar una serie de medidas de seguridad en todo el proceso de desarrollo e implementación.
Un modelo, antes de llegar a producción, se somete a un proceso de entrenamiento. La prevención del uso indebido de la IA comienza con la validación de los datos de entrenamiento a fin de garantizar que los datos de entrenamiento de un modelo no contengan sesgos, información privada o puertas traseras ocultas que permitan un comportamiento no autorizado imprevisto.
El perfeccionamiento de un modelo requiere un gran volumen de datos de entrenamiento (normalmente de diversas fuentes), por lo que son vulnerables a los ataques a la cadena de suministro. Sin embargo, los ciberdelincuentes también pueden lanzar ataques de envenenamiento de datos para alterar los datos de entrenamiento, con el objetivo de introducir intencionadamente sesgos o puertas traseras. Asimismo, el envenenamiento de datos para alterar los datos de entrenamiento también puede ser consecuencia del acceso directo a las bases de datos desde fuera de la organización, o bien el resultado de amenazas internas.
Más allá de la validación de datos, estas medidas de seguridad contribuyen a evitar los ataques de envenenamiento de datos:
Muchas organizaciones no entrenan sus LLM ellas mismas. En el caso de estas empresas que dependen de proveedores de LLM, es importante que comprendan qué medidas de seguridad estos han adoptado para proteger sus modelos contra el envenenamiento de datos.
Los clientes de los proveedores de LLM suelen utilizar la generación aumentada por recuperación (RAG) para optimizar el rendimiento de los LLM para sus casos de uso. Asimismo, es fundamental validar y proteger los conjuntos de datos internos utilizados para RAG.
Las medidas de protección de la IA son políticas y controles que garantizan que el comportamiento de los modelos de IA se ajuste a unos límites predefinidos. Las medidas de protección, por ejemplo, pueden permitir que un modelo escriba un correo electrónico, pero impedir que escriba un correo electrónico de phishing. O bien pueden permitir que un modelo codifique una función, pero impedir que escriba una explotación de vulnerabilidad.
Las medidas de protección deben proteger los modelos de IA en todos sus aspectos, desde los datos de entrenamiento (como se ha descrito anteriormente) hasta la infraestructura de las aplicaciones.
La mayoría de las organizaciones que incorporan la IA en sus aplicaciones públicas integran modelos de IA preexistentes. En estos casos, las medidas de protección de las aplicaciones y de la infraestructura son las áreas sobre las que tienen un control más directo. También deben tratar de comprender las medidas de protección que los proveedores de los modelos han incorporado en sus modelos.
Los modelos de IA son especialmente vulnerables a los ataques de inyección de instrucciones: instrucciones engañosas cuyo objetivo es que un modelo eluda sus medidas de protección. Además de los ataques deliberados, algunas instrucciones de usuario pueden infringir las condiciones del servicio del modelo, como las solicitudes de contenido ilegal, peligroso o explícito.
La validación de instrucciones ayuda a garantizar que las instrucciones no contengan solicitudes dañinas o engañosas. Al igual que la validación de esquema de API bloquea las solicitudes ilegítimas que no se ajustan a dicho esquema, la validación de instrucciones identifica y bloquea el contenido no seguro en las instrucciones antes de que lleguen al modelo de IA.
Human-in-the-loop (HITL) es un posible enfoque arquitectónico para reducir los riesgos relacionados con la toma de decisiones no supervisada de los modelos de IA. HITL integra a responsables humanos en el flujo de trabajo de IA para que puedan aprobar las decisiones que han tomado los modelos de IA. Los modelos se pueden entrenar con comentarios directos de usuarios humanos, o bien se pueden configurar para solicitar asistencia humana en aquellos casos donde sus predicciones sobre la respuesta adecuada a una instrucción ofrecen poca confianza.
La prevención de pérdida de datos (DLP) hace referencia a una categoría de tecnologías que pueden evitar que los datos confidenciales salgan de los entornos protegidos. La DLP puede analizar las solicitudes individuales de la API y las instrucciones de la IA, y mediante diversas técnicas (como la huella digital de datos, la coincidencia de palabras clave y la coincidencia de patrones) puede identificar los datos confidenciales y bloquear las solicitudes cuando sea necesario.
La DLP también puede restringir las acciones de copiar/pegar desde ciertas páginas web o aplicaciones para impedir que los usuarios internos proporcionen información interna a LLM externos.
El uso indebido de la IA solo se puede evitar si las organizaciones tienen una perspectiva integral de dónde podría ser posible dicho uso indebido y a qué podría afectar. Los modelos de IA suelen acabar integrados en la infraestructura de las aplicaciones en lugares inesperados o no autorizados, de forma similar al desafío que suponen las API paralelas para muchos desarrolladores de aplicaciones. La detección de Shadow AI ayuda a las organizaciones a determinar dónde están los riesgos de uso indebido de la IA a fin de que puedan implementar las medidas de protección y seguridad adecuadas.
Cloudflare AI Security Suite permite a las organizaciones detectar la Shadow AI, proteger los modelos contra los abusos, garantizar la seguridad del acceso de los agentes de IA y bloquear la exposición de datos. Esta solución permite a las organizaciones acelerar la adopción de la IA y garantizar la seguridad. Más información sobre AI Security Suite.
El uso indebido de la IA se produce cuando personas o grupos emplean los modelos para actividades ajenas al diseño original de los modelos, en concreto, con fines engañosos, ilegales o perjudiciales. Incluye el uso de estas herramientas para crear contenido peligroso o restringido, o para facilitar planes fraudulentos.
Los ciberdelincuentes pueden utilizar la IA generativa para escribir malware, identificar fallos de software y detectar vulnerabilidades de día cero. También utilizan estas herramientas para automatizar la ingeniería social, generando mensajes de phishing convincentes e identificando objetivos potenciales para campañas de phishing de objetivo definido a largo plazo. Además, los ataques de inyección de instrucciones contra modelos de IA generativa pueden permitir a los atacantes descubrir información confidencial.
La seguridad comienza durante la fase de entrenamiento con la validación de los datos, a fin de garantizar que no contengan sesgos, información privada o puertas traseras ocultas. Los desarrolladores de modelos de IA también deben utilizar diversas fuentes de datos, aplicar el principio de mínimos privilegios al acceso a los datos e implementar el entrenamiento adversarial para facilitar al modelo el reconocimiento de entradas engañosas.
Las medidas de protección son políticas y controles esenciales que garantizan que el comportamiento de la IA se ajuste a unos límites seguros y predefinidos.
La validación de instrucciones actúa como un filtro que identifica y bloquea las solicitudes engañosas o dañinas antes de que lleguen al modelo de IA. Este proceso ayuda a bloquear los ataques de inyección de instrucciones, en los que los usuarios intentan engañar al sistema para que eluda sus medidas de seguridad.