La IA son hackers, para bien o para mal

Un destacado vulgarizador, criptógrafo informático y "gurú de la seguridad" Bruce Schneier publicó recientemente un ensayo sobre inteligencia artificial: cómo "hackean" códigos de software, pero también los de impuestos, entre otros, y más ampliamente cualquier código social.

Te puede interesar: Cómo comenzar el estudio de la Inteligencia Artificial

La inteligencia artificial eventualmente encontrará vulnerabilidades en todo tipo de sistemas sociales, económicos y políticos, y luego las explotará a una velocidad, escala y alcance sin precedentes, escribe Bruce Schneier en un informe roborante de 54 páginas:

Después de hackear a la humanidad, los sistemas de IA luego hackearán otros sistemas de IA, y los seres humanos serán poco más que daños colaterales.

La mayoría de estos hacks ni siquiera requieren grandes avances en la investigación de IA. Ya están sucediendo. Sin embargo, a medida que la IA se vuelve más sofisticada, a menudo ni siquiera sabremos que esto está sucediendo.

Su resumen en Wired y su blog es sólo un sustituto de la riqueza del ensayo del consejo sobre el uso responsable de la inteligencia artificial en el Belfer Center for Science and International Affairs de la Escuela Kennedy de Harvard. Así que lo sintetizamos.

Schneier comienza señalando, en el preámbulo, que si bien la piratería se considera generalmente un acto dirigido a los sistemas informáticos, esta conceptualización se puede extender a "cualquier sistema de reglas", como el código tributario y los mercados financieros, por ejemplo.

Por lo tanto, el ensayo prevé un mundo en el que la IA podría descubrir vulnerabilidades en todos nuestros sistemas sociales, económicos y políticos, pero también para poder explotarlas "a la velocidad y la escala de un ordenador". No postula ninguna "singularidad tecnológica", una suposición de que el bucle de retroalimentación de aprendizaje de IA se volvería tan rápido que iría más allá de la comprensión humana e induciría cambios impredecibles.

Tampoco sus escenarios suponen que las IA, ni sus autores u operadores, estarían mal intencionados. Algunos de los hacks que cita ni siquiera requieren grandes avances en la investigación.

Por otro lado, cree que mejorarán a medida que las técnicas de IA se vuelvan más sofisticadas y que esta evolución se produzca lógicamente, a medida que avancen en el aprendizaje, la comprensión y la resolución de problemas.

Te puede interesar: La inteligencia artificial se apodera de los datos oscuros

MacGyver era un hacker

Schneier recuerda que el fallecido hacker y autor Jude Milhon (St. Jude), un pionero del movimiento cypherpunk, creía que "el hackeo es una elusión inteligente de los límites impuestos, ya sean impuestos por su gobierno, su propia personalidad o las leyes de la física", y por lo tanto vuelve a la definición del término "hack":

  1. Funcionamiento inteligente y fortuito de un sistema que: a) subvierte las normas o normas de dicho sistema, b) a expensas de otra parte de dicho sistema.
  2. Algo que un sistema permite, pero no anticipado por sus diseñadores.

Por lo tanto, la piratería no sería responsabilidad de "trampas" sin ley, sino que seguiría las reglas, y subvierte su intención. Es una operación, que consiste en "jugar con el sistema". O, dicho de otra manera, "MacGyver era un hacker." Debido a que los sistemas están optimizados para resultados específicos, la piratería nunca es sólo la búsqueda de otro resultado, "a menudo a expensas de la optimización original."

Los sistemas tienden a ser rígidos, limitan lo que podemos hacer, e invariablemente algunos de nosotros queremos ser capaces de hacer otra cosa: "Así que hackeamos. No todos, por supuesto. No todo el mundo es un hacker. Pero somos bastantes".

Si el código tributario no es software, y no requiere un ordenador, nada impide que se considere un "código" en el sentido informático del término, a saber, una serie de algoritmos que toma una entrada - información financiera para el año - y produce una salida: la cantidad de impuestos adeudados. "Es determinista, o al menos se supone que lo es", dice Schneier.

Sin embargo, todo el software contiene defectos o errores, ya sean errores de especificación, errores de programación o incluso implementación. Por ahora, "los números pueden sorprender, pero las aplicaciones de software modernas suelen tener cientos o incluso miles de errores", sin impedir que funcionen o necesariamente detectarlos.

Pero están ahí, introduciendo vulnerabilidades de seguridad o vulnerabilidades, que un atacante podría explotar para subvertir las características esperadas.

Los impuestos tienen un código, por lo que tienen errores

El código tributario, señala Schneier, también incluye errores en la forma en que se redactaron las leyes fiscales, omisiones (no voluntarias en la forma en que se diseñaron partes de la ley, o resultantes de interacciones entre sus diversos componentes. Y algunos de estos "errores" también son "vulnerabilidades". Por ejemplo, existe un conocido truco fiscal, el "Sándwich Doble Irlandés y Holandés", que se deriva de las interacciones entre las leyes fiscales de varios países.

Su objetivo es explotar las leyes fiscales irlandesas y neerlandesas con el fin de transferir beneficios de una empresa a sus filiales en jurisdicciones de bajos impuestos (o no), transferirles derechos de propiedad intelectual y luego transferir beneficios a paraísos fiscales. Se sabe que las empresas tecnológicas explotan esta vulnerabilidad.

Algunas vulnerabilidades también son deliberadas. Los grupos de presión están constantemente tratando de insertar nuevas disposiciones en el código tributario en beneficio de sus clientes. A veces estas vulnerabilidades incluso están consagradas en la ley con pleno conocimiento de los hechos de la legislatura, que patrocina la enmienda.

En el mundo de los impuestos, aprovechar estas vulnerabilidades se conoce como "evasión de impuestos". Y miles de hackers, conocidos como "abogados fiscales", examinan cada línea del código tributario en busca de tales vulnerabilidades explotables.

La historia de las finanzas es una historia de hacks

El software moderno es increíblemente complejo, señala Schneier: Windows 10 tiene alrededor de 50 millones de líneas de código. Pero más complejidad significa más errores y, por lo tanto, más vulnerabilidades. Sin embargo, sabemos cómo corregir vulnerabilidades en el código del equipo:

« Podemos usar una variedad de herramientas para detectarlas y corregirlas antes de que el código haya terminado y, lo que es más importante, queremos que los proveedores las arreglen rápidamente una vez que se conozcan. »

Revisar el código de software línea por línea suele ser el tipo de problema tedioso en el que la IA sobresale. Esta es la razón por la que Schneier cree que la búsqueda de vulnerabilidades es un área particularmente exitosa para los sistemas de IA si se les enseña a reconocer una vulnerabilidad. De hecho, ya hay una gran cantidad de literatura académica sobre este tema, y la investigación continúa, señala.

Sin embargo, las implicaciones van mucho más allá de las redes informáticas. No hay ninguna razón por la que las IA no puedan encontrar nuevas vulnerabilidades en muchos sistemas: códigos tributarios, regulaciones bancarias, procesos políticos, etc.

Mientras un gran número de reglas interactúen entre sí, "debemos esperar que la IA eventualmente encuentre vulnerabilidades y cree exploits", predice. De hecho, las IA ya están buscando defectos en los contratos, y esto es sólo el principio:

Alguien podría potenciar la IA con códigos fiscales globales o regulación financiera global, con el objetivo de crear una multitud de hacks rentables. Pero una IA también podría, aunque sin darse cuenta, hackear un sistema. Ambos son peligrosos, pero el segundo es más peligroso porque tal vez nunca sepamos que esto sucedió. 

Las leyes fiscales estadounidenses tendrían unas 2.600 páginas, señala Schneier. Y las regulaciones y resoluciones fiscales del IRS aumentan esa cifra a unas 70,000 páginas.

Si uno puede tratar de utilizar estos mismos métodos para corregir el código tributario, a menudo no es tan simple, cree el criptógrafo:

Algunos hacks están consagrados en la ley o no se pueden descartar. Puede ser difícil saber quién se supone que corrige el problema: ¿el legislador, los tribunales, los funcionarios fiscales? Puede llevar años. Simplemente no tenemos la capacidad de parchear el código tributario con la misma agilidad que para el software.

Aún así, para él, "la historia de las finanzas es una historia de hackeos. Una y otra vez, las instituciones financieras y los comerciantes están buscando lagunas en las reglas, cualquier cosa que no esté expresamente prohibida, sino una subversión fortuita de los sistemas subyacentes, que les dé una ventaja".

El problema es (también) entre la silla y el teclado

Por último, las personas también pueden ser hackeadas. La ingeniería social, la táctica clásica de hacking de persuadir a alguien a revelar su información de inicio de sesión o actuar en beneficio del hacker, es mucho más sobre psicología, confianza y autoridad, que los códigos informáticos.

Personalizada de acuerdo con nuestras actitudes y comportamientos, la publicidad moderna también es un truco de nuestros sistemas de persuasión. Las redes sociales explotan (y así hackean) la economía de la atención.

La desinformación también hackea nuestra comprensión común de la realidad. El terrorismo, señala Schneier, está pirateando nuestros sistemas cognitivos para evaluar el miedo y la evaluación del riesgo tratando de convencer a la opinión pública de que es una amenaza más grave de lo que realmente es.

Pero lo más interesante, señala, es la informatización de sistemas más tradicionales: "se han informatizado finanzas, impuestos, cumplimiento normativo, elecciones, todo esto y mucho más. Y cuando algo se informatiza, la forma en que puede ser hackeado cambia. La informatización acelera la piratería en tres dimensiones: velocidad, escala y alcance."

La velocidad de la computadora cambia la naturaleza de los hacks. Un ejemplo simple: automatizar la negociación de acciones. El proceso está evolucionando a un ritmo muy alto. Otro ejemplo es el comercio de alta frecuencia, no anticipado por aquellos que diseñaron los primeros mercados.

No todos los sistemas son igualmente hackeables. Los sistemas complejos con muchas normas son particularmente vulnerables, simplemente porque hay más oportunidades y consecuencias no deseadas. Esto es cierto para los sistemas informáticos, y igual de cierto para sistemas como el código tributario, el sistema financiero y la IA. 

Cuando la IA pasa de la ciencia ficción a la realidad

En 1968, recuerda Schneier, el pionero de la IA Marvin Minsky, lo definió como "la ciencia de asegurar que las máquinas hagan cosas que requerirían inteligencia si fueran hechas por hombres".

El Departamento de Defensa de EE.UU. se refiere a "la capacidad de las máquinas para realizar tareas que normalmente requieren inteligencia humana".

La versión de 1950 de la prueba de Turing, llamada "juego de imitación" en la discusión original, se centró en un programa informático que los seres humanos no podían distinguir de un humano real.

Las IA especializadas están diseñadas para una tarea específica. Schneier toma como ejemplo los sistemas de control de los coches autónomos. Saben cómo dirigir el vehículo, cómo cumplir con el código de tráfico, cómo evitar accidentes y qué hacer en caso de un evento imprevisto, como la bola de un niño rebotando repentinamente fuera de la carretera.

Solíamos asumir que leer radiografías de tórax requería un radiólogo, es decir, un ser humano inteligente con el entrenamiento adecuado. Ahora nos damos cuenta de que esta es una tarea que también puede ser realizada por un ordenador.

« Una IA especializada sabe mucho y puede tomar decisiones basadas en este conocimiento, pero sólo en esta área limitada", señala el popularizador. Él cuenta una broma común entre los investigadores de IA: "Tan pronto como algo funciona, ya no es IA, es sólo software".

Hacia la "propaganda computacional"

Schneier también señala que la gente ha atribuido durante mucho tiempo cualidades humanas a programas informáticos: "Son educados con asistentes de voz como Alexa y Siri. Y Siri se queja cuando no lo eres, diciendo que "no es muy agradable"; pero porque está programado para eso, por supuesto.

No sólo trataremos la IA como personas, sino que también actuarán como personas de una manera que está deliberadamente diseñada para engañarnos, usando hacks cognitivos, al igual que los anunciantes y terroristas.

En las elecciones estadounidenses de 2016, alrededor de una quinta parte de los tuits políticos fueron publicados por robots, señala el ensayista, pero también un tercio de los gastados en la votación del Brexit en el Reino Unido. Además, y durante años, las IA también han estado escribiendo informes deportivos y financieros para organizaciones de noticias como Le Monde o Associated Press.

Para él, "tales esfuerzos sólo serán más sofisticados". Empiezan a escribir historias más generalistas. Pero si bien estos sistemas pueden alimentarse de hechos reales para escribir historias plausibles, pueden alimentarse con la misma facilidad de las falsedades para escribir noticias falsas y alimentar teorías conspirativas:

« No se necesita mucha imaginación para ver cómo la IA degradará el discurso político. Estos sistemas sólo mejorarán: más sofisticados, más articulados, más personales y más difíciles de distinguir de los seres humanos reales.

Esto se ha llamado "propaganda computacional" y cambiará la forma en que vemos la comunicación. La IA hará que la futura oferta de desinformación sea infinita, inundando las agencias gubernamentales y las redes sociales con comentarios falsos. »

La robótica hará que estos hacks sean más eficaces

Estos sistemas también nos afectarán a nivel personal, dice Bruce Schneier, quien señala que la mayoría de los correos electrónicos de phishing son genéricos y fácilmente etiquetados como spam, mientras que los correos electrónicos de phishing más eficaces, aquellos que hacen que las personas y las empresas pierdan mucho dinero, son, por el contrario, personalizados:

"La laboriosa tarea de personalizar los ataques de phishing podría automatizarse con técnicas de IA, lo que permite a los vendedores enviar anuncios personalizados y a los estafadores de phishing para enviar correos electrónicos dirigidos individualmente.

No es que ser persuadido por una IA sea fundamentalmente más dañino que ser persuadido por otro humano, es que la IA será capaz de hacerlo a velocidad y escala de la computadora. »

Además, señala que "los hacks cognitivos de hoy en día son groseros: un artículo de periódico falso diseñado para engañar sólo a los más crédulos, o un impulso persuasivo diseñado para afectar sólo a los más desesperados". La inteligencia artificial también tiene el potencial de micro-objetivo para generar hacks individuales personalizados, optimizados y entregados.

Robots antropomórficos basados en tecnología "emocionalmente persuasiva", Schneier también predice que la IA amplificará su atractivo, haciendo que estos hacks sean aún más eficaces: "A medida que la IA imita a los humanos, incluso a los animales, secuestrará todos los mecanismos que los humanos utilizan" para hackear nuestros cerebros, como escribió la psicóloga Sherry Turkle en 2010:

« Cuando los robots hacen contacto visual, reconocen rostros, reflejan gestos humanos, presionan nuestros botones darwinianos, demostrando el tipo de comportamiento que las personas asocian con la sensibilidad, las intenciones y las emociones. »

Las IA ya están tratando de detectar emociones mediante el análisis de nuestros escritos, expresiones faciales, respiración y frecuencia cardíaca. "A menudo se equivocan", admite Schneier, pero "eventualmente superarán a las personas en términos de habilidad. Esto les permitirá manipularnos con mayor precisión".

Te puede interesar: Google y medicina: cómo su IA ayuda a curar la tuberculosis y los males...

Una IA no puede explicar lo que hizo (o cómo)

« Las IA no resuelven problemas como los humanos. Sus límites son diferentes a los nuestros. Considerarán soluciones más posibles de las que podríamos", señala el popular, "tomarán caminos que simplemente no hemos considerado, caminos que son más complejos que el tipo de cosas que solemos tener en cuenta".

En 2016, el programa alphago AI derrotó a Lee Sedol, uno de los mejores jugadores de Go en el mundo, con un movimiento que ningún humano habría elegido hacer.

En 2015, un grupo de investigación impulsó un sistema de IA llamado Deep Patient con datos médicos y de salud de unas 700.000 personas para probar si el sistema podía predecir o no la enfermedad. Curiosamente, Deep Patient pareció anticipar la aparición de trastornos psiquiátricos como la esquizofrenia, a pesar de que un primer episodio psicótico es casi imposible de predecir para los médicos.

Deep Patient no dio ninguna explicación para su diagnóstico, y los investigadores no tenían idea de cómo llegó a sus conclusiones. Dicho de otra manera: los médicos podrían decidir confiar o ignorar la computadora, pero sin poder cuestionarla para obtener más explicaciones...

Pero lo que queremos , dice Schneier, no es sólo que la IA nos proporcione respuestas que la inteligencia humana tendría dificultades para obtener. Debe proporcionar una explicación inteligible de sus resultados, en un formato que los seres humanos puedan entender:

« Queremos que sean capaces de confiar en las decisiones de IA, pero también para asegurarnos de que nuestros sistemas de IA no han sido hackeados para tomar decisiones sesgadas. »

Pero a corto plazo, "la IA se vuelve más opaca a medida que los sistemas se vuelven más complejos, menos humanos y menos explicables".

La IA no incluye el concepto de engaño

Por lo tanto, la IA conducirá invariablemente a soluciones que los seres humanos nunca hubiéramos sido capaces de anticipar. Esto se debe a que las IA no piensan en términos de las implicaciones, contexto, normas y valores que los seres humanos comparten y dan por sentado. Además, Schneier señala, "no entienden el concepto abstracto de hacer trampa":

« No podemos especificar completamente los objetivos de una IA. Y la IA no será capaz de entender completamente el contexto. Si bien los seres humanos a menudo entienden implícitamente el contexto y generalmente actúan de buena fe, las IA no serán capaces de entender completamente el contexto. Si hay problemas, incoherencias o defectos en las reglas y si estas propiedades conducen a una solución aceptable tal como se definen en las reglas, las IA las encontrarán. »

Schneier dice que en 2018, un programador quería que su aspiradora robot dejara de chocar con los muebles. Había entrenado una IA para no golpear los sensores del parachoques. Excepto que en lugar de aprender a evitar obstáculos, la IA aprendió a... conducir hacia atrás, ya que los sensores del parachoques están sólo en la parte delantera del dispositivo.

Un ser humano al que se le pediría que traiga café probablemente iría a la cafetería más cercana o al café local. Una IA, ilustra Schneier, podría ir a Costa Rica a comprar una plantación de café, identificar a la persona más cercana sosteniendo una taza de café antes de arrancarla de sus manos, traer café frío o una toalla de papel usada utilizada para limpiar el café.

Te puede interesar: La IA está aquí para cambiar lo que comes

Las IA pensarán como extraterrestres

En contraste con los clichés (demasiado) transmitidos a menudo en los medios de comunicación cuando se trata de un hacker o hackers, Schneier recuerda que "la piratería es tan antigua como la humanidad", que "somos solucionadores de problemas creativos, explotadores de escapes". TI también ha aumentado sus capacidades en esta área:

« Debido a su complejidad, las computadoras son hackeables. Y hoy, todo es una computadora. Coches, electrodomésticos, teléfonos: todos son computadoras. Todos nuestros sistemas sociales -finanzas, impuestos, cumplimiento normativo, elecciones- son complejos sistemas sociotécnicas que involucran computadoras y redes. Esto hace que todo sea más vulnerable a la piratería. »

Del mismo modo, señala, los hacks cognitivos son más eficaces cuando son perpetrados por un ordenador. No tanto porque las computadoras serían inherentemente mejores que los humanos para crear anuncios persuasivos, sino simplemente porque pueden personalizar los anuncios a individuos mucho más rápido de lo que podríamos.

Un proceso humano que podría tomar meses o años podría comprimirse en días, horas o incluso segundos, predice Schneier. Pero "¿qué sucede cuando usted proporciona una IA con todo el código tributario de EE.UU. y les ordena que entiendan todas las maneras en que puede minimizar la cantidad de impuestos que debe?» 

¿Y qué podría hacer una IA a quien una multinacional pediría analizar todos los códigos fiscales de todos los países? ¿Entendería, sin que le digan, que tiene sentido registrar su negocio en Delaware y registrar sus barcos en Panamá? ¿Cuántas vulnerabilidades y lagunas descubriría que aún no sabemos? ¿Docenas, cientos, miles? No tenemos ni idea, admite Schneier, que cree que probablemente sabremos en la próxima década:

« Encontrar nuevos hacks requiere experiencia, tiempo, creatividad y suerte. Cuando las IA empiecen a piratear, eso cambiará. La IA no se restringirá de la misma manera o no tendrá los mismos límites que las personas. Pensarán como extraterrestres, y hackearán los sistemas de una manera que no podemos anticipar. »

Las IA nos pondrán a todos en peligro

Schneier señala que nuestros sistemas sociales hasta ahora sólo se han acostumbrado a tomar hacks humanos: "No tenemos un sistema de gobernanza capaz de gestionar cientos, y mucho menos miles, de lagunas fiscales recién descubiertas. Simplemente no podemos arreglar el código tributario tan rápidamente".

« No somos capaces de tratar con la gente que usa Facebook para hackear la democracia, y mucho menos lo que sucederá cuando una IA lo haga. No podremos recuperarnos de una IA que descubra hacks imprevistos pero legales de los sistemas financieros. A la velocidad de las computadoras, la piratería se está convirtiendo en un problema que nosotros, como sociedad, ya no podemos gestionar. »

Las finanzas ya está informatizada, y el comercio de alta frecuencia nos ha mostrado lo que los hacks financieros a velocidad de la computadora pueden causar. Sin embargo, señala Schneier, estos no son IA, sino sistemas automatizados capaces de ejecutar reglas y estrategias generadas por humanos a velocidades sobrehumanas.

El hecho es que la IA ya está tomando decisiones importantes que afectan nuestras vidas y que alguna vez fueron parte de los procesos humanos. El ensayista señala que las IA toman decisiones sobre la libertad bajo fianza y la libertad condicional. Que otros seleccionen solicitantes de empleo, ayuden a decidir quién recibirá préstamos bancarios, moderen la información, los anuncios, las personas y los temas que aparecen en nuestras redes sociales.

« Cuando la IA sea capaz de descubrir nuevas vulnerabilidades de software, será una bendición increíble para los hackers gubernamentales, criminales y entusiastas de todo el mundo. Nos pondrá a todos en peligro. »

Un mundo sin vulnerabilidades de software (o impuestos)

Sin embargo, Schneier cree que la IA será igual de útil en defensa. Los proveedores de software podrán implementarlos para buscar vulnerabilidades en sus propios códigos, identificarlas, corregirlas -o al menos aquellas que se pueden detectar automáticamente- para evitar la publicación de versiones molestas.

Esta característica también podría explotarse automáticamente en el propio proceso de desarrollo de código. "Podríamos imaginar fácilmente un futuro donde las vulnerabilidades de software son cosa del pasado", incluso le gusta imaginar:

"Por supuesto, el período de transición será peligroso. Pero a largo plazo, una tecnología de IA que detecta vulnerabilidades de software favorece la defensa.

Imagínese una nueva ley

de impuestos probada de esta manera. Alguien — podría ser un legislador, una organización de vigilancia, la prensa, cualquiera — podría tomar el texto de un proyecto de ley y encontrar todas las vulnerabilidades explotables. »

Esto no significa que todas las vulnerabilidades serán fijas, pero que en teoría podrían ser corregidos antes de que las personas maliciosas lo puedan encontrar y explotarlos. Sin embargo, "el período de transición será peligroso debido a todas nuestras leyes y reglas son heredadas del pasado".

Queda por ver cuál será el equilibrio de poder entre ataque y defensa: "La IA será capaz de hackear las redes informáticas a velocidades de computadora, pero ¿serán capaces las IA defensivas de detectar y reaccionar eficazmente? Las IA hackearán directamente nuestra cognición, pero ¿podemos implementar IA para monitorear nuestras interacciones y alertarnos de que estamos siendo manipulados? No sabemos lo suficiente como para hacer predicciones precisas", concluye.

Por ello, Schneier cree que "será necesario establecer estructuras de gobernanza resilientes capaces de responder rápida y eficazmente" a este nuevo tipo de problemas. "No servirá de nada si se tarda años en arreglar el código tributario, o si un hackeo legislativo se afianza tanto que no se puede corregir políticamente".

"La solución general aquí es la gente", dijo. Y ya deberíamos empezar a pensar en soluciones éticas aplicables y comprensibles" para prepararnos para entender, en esta interacción entre los sistemas humanos y los informáticos, los riesgos inherentes cuando las computadoras deciden en lugar de los humanos.

« Y aunque es fácil dejar que la tecnología nos guíe hacia el futuro, depende de nosotros como sociedad decidir cuál debe ser el papel de la tecnología en nuestro futuro. Y ese es un debate que necesitamos tener ahora, antes de que estas IA entren en línea y empiecen a hackear nuestro mundo. »

Publicar un comentario

0 Comentarios