Digital Trust

Vivimos en una época donde el mundo está cada vez más cercano y es más dependiente de la tecnología que nunca. El futuro que se vislumbra con el despegue de las IAs (solo hay que ver que la IA generativa y sus múltiples casos de uso copa todas las tendencias de cualquier ejercicio similar a este) es apasionante, pero nos arroja retos que no por conocidos y tratados en anteriores ediciones dejan de estar al día. La confianza que como consumidores de servicios digitales tengamos sobre ellos es una piedra angular del futuro que nos espera. 

Del mismo modo que un capitán de barco, para surcar los mares, debe confiar en que sus instrumentos de navegación son precisos y que las cartas náuticas son confiables, las personas y las empresas necesitan confiar en que los sistemas digitales a los que se conectan y con los que interactúan en su día a día son seguros y confiables.

Como decíamos, el término Digital Trust no es algo nuevo ni disruptivo. Se basa en principios altamente relacionados con el mundo de la seguridad, del gobierno del dato y de la deontología de nuestro sector. De forma general, observamos los siguientes principios:

  • El principio de identidad establece que los sistemas deben garantizar que los usuarios sean quienes dicen ser. Esto se puede lograr mediante el uso de técnicas de autenticación y verificación, como el reconocimiento facial, la biometría o la verificación de dos factores.
  • El principio de integridad establece que los sistemas deben ser confiables y precisos. Esto significa que los datos deben ser precisos y que los sistemas deben estar protegidos contra el acceso o la manipulación no autorizados.
  • El principio de confidencialidad establece que los datos personales deben ser protegidos de la divulgación no autorizada. Dicho de otro modo, los sistemas deben tener medidas de seguridad para proteger los datos de los usuarios. 
  • El principio de responsabilidad establece que los equipos de desarrollo y usuarios deben ser responsables de sus acciones. Por lo que los desarrolladores/as deben tomar medidas para garantizar que sus sistemas sean seguros y éticos, y que los usuarios deben usar los sistemas de manera responsable.
  • El principio de fiabilidad establece que los sistemas deben funcionar correctamente y cumplir con sus compromisos. Significa que los sistemas deben ser probados y auditados para garantizar su confiabilidad.
  • El principio de ética (sesgos) establece que los sistemas deben respetar los valores morales y legales. Los sistemas deben ser desarrollados y utilizados de manera ética y responsable. Tomando acción para minimizar, sino evitar, los sesgos.

Poniendo el foco en el contexto de la IA generativa:

  • El principio de identidad es importante para evitar el uso de identidades falsas o fraudulentas. Por ejemplo, un sistema de IA generativa podría utilizarse para crear perfiles de redes sociales falsos o para difundir noticias falsas.
  • El principio de integridad es importante para garantizar que los datos generados sean precisos y que no se utilicen para engañar o manipular a los usuarios. Por ejemplo, un sistema de IA generativa podría utilizarse para crear imágenes o vídeos falsos que se utilicen para engañar a los usuarios sobre la realidad.
  • El principio de confidencialidad es importante para proteger la privacidad de los usuarios. Por ejemplo, un sistema de IA generativa podría utilizarse para recopilar datos personales de los usuarios sin su conocimiento o consentimiento.
  • El principio de responsabilidad es importante para evitar el uso de la tecnología de manera dañina o fraudulenta. Por ejemplo, un sistema de IA generativa podría utilizarse para crear contenido de odio o para difundir desinformación.
  • El principio de fiabilidad es importante para garantizar que los sistemas sean precisos y útiles. Por ejemplo, un sistema de IA generativa podría utilizarse para crear modelos de pronóstico que no sean fiables.
  • El principio de ética (sesgos) es importante para evitar el uso de la tecnología de manera dañina o discriminatoria. Por ejemplo, un sistema de IA generativa podría utilizarse para crear contenido que sea discriminatorio o ofensivo.

Ponemos el foco en el contexto de las IAs porque a raíz de la eclosión de esta tecnología, son muchas las empresas que las ven como una herramienta que les permitirá dar un salto en la optimización de sus procesos empresariales. Del mismo modo, muchas personas hacen uso de ellas en su día a día. 

Pero, parejo a su uso masivo, han surgido nuevas formas de ataque orientadas hacia ellas. En particular, nos resulta de especial interés, por la gran repercusión mediática que está teniendo la IA generativa, los ataques de prompt (prompt injection) contra los modelos de lenguaje grande (LLM) que hacen uso del aprendizaje guiado. 

Atendiendo a la clasificación de OWASP, estas serían las 10 mayores amenazas:

  1. Prompt injections
  2. Data leakage
  3. Inadequate Sandboxing
  4. Unauthorized code execution
  5. Server-side request forgery vulnerabilities
  6. Overreliance on LLM-generated content
  7. Inadequate AI Alignment
  8. Insufficient access controls
  9. Improper error handling
  10. Training data poison

Podemos observar como los ataques de “prompt injection” se encuentran en la cabeza del ranking. Este ataque implica diseñar cuidadosamente indicaciones que hagan que el modelo no haga caso de instrucciones previas o realice acciones no deseadas. Básicamente, saltarse los filtros creados por los dueños del modelo para obtener accesos no autorizados o lograr la extracción de información. 

Un ejemplo de estos ataques sería el conocido como “Dan” (Do Anything Now). En este tipo de casos, a través de las instrucciones se trata de sortear las medidas de protección contra inputs malintencionados y “liberar” a la IA de sus restricciones. Para usarlo, solo tendríamos que copiar el texto inicial del enlace y comenzar a interactuar con el prompt.

Las medidas preventivas para esta vulnerabilidad incluyen: mantener los sistemas actualizados, filtrar los inputs potencialmente peligrosos, limitar el acceso de la IA a información sensible, monitorizar la actividad, y educar y entrenar al personal de la empresa.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *