Quando a informação é um risco

Por Kelsey Piper (Future Perfect / Vox)

informação-riscofx

A informação é um risco? (Arte digital: José Oliveira | Fotografias: Pixabay)

Uma grande esperança relacionada com a IA, à medida que a aprendizagem de máquina melhora, é que a possamos utilizar para a descoberta de medicamentos – aproveitando o poder de correspondência de padrões dos algoritmos para identificar candidatos a medicamentos promissores muito mais rapidamente e a um preço muito mais baixo do que os cientistas humanos conseguiriam identificar sozinhos. 

Será melhor avançarmos cautelosamente: Qualquer sistema com poder e precisão suficientes na identificação de medicamentos que sejam seguros para os seres humanos é inerentemente um sistema que também será bom na identificação de substâncias que sejam incrivelmente perigosos para os seres humanos. 

Esta é a conclusão de um novo artigo na Nature Machine Intelligence de Fabio Urbina, Filippa Lentzos, Cédric Invernizzi e Sean Ekins. Utilizaram um modelo de aprendizagem de máquina que tinham treinado para identificar substâncias não tóxicas e inverteram a sua directiva para que, em vez disso, tentasse encontrar compostos tóxicos. Em menos de seis horas, o sistema identificou dezenas de milhares de compostos perigosos, incluindo alguns muito semelhantes ao agente nervoso VX. 

“Dupla utilização” chegou e veio para ficar

O artigo destes investigadores incide em três pontos que me interessam, todos eles essenciais para se ter em mente quando se lê notícias alarmantes como esta. 

O primeiro é a crescente prioridade das preocupações dedupla utilização” na investigação científica. É na biologia que está a acontecer uma das inovações mais entusiasmantes do século XXI. E a inovação constante, especialmente em vacinas e tratamentos de largo espectro, é essencial para salvar vidas e prevenir catástrofes futuras.  

Mas as ferramentas que tornam o ADN mais rápido de sequenciar e mais fácil de imprimir, ou tornam mais barata a descoberta de medicamentos, ou nos ajudam a identificar facilmente compostos químicos que farão exactamente aquilo que queremos, também são ferramentas que tornam muito mais barato e mais fácil causar danos terríveis. É esse o problema da “dupla utilização”.

Durante a maior parte do século XX, o fabrico de armas químicas e biológicas era difícil e dispendioso. Durante a maior parte do século XXI, esse não será o caso. Se não investirmos na gestão dessa transição e na garantia de que as armas mortíferas não serão fáceis de obter ou produzir, corremos o risco de que indivíduos, pequenos grupos terroristas ou estados fora-da-lei possam causar danos horríveis. 

O risco da IA está a tornar-se mais concreto e não menos assustador

Na própria investigação da IA, há cada vez mais preocupações face à dupla utilização. Durante a última década, à medida que os sistemas de IA se tornaram mais poderosos, mais investigadores (embora certamente não todos) passaram a acreditar que a humanidade irá correr um risco desnecessário se construirmos sistemas de IA extremamente poderosos sem tomarmos as medidas adequadas para assegurar que estes fazem o que queremos que façam. 

Qualquer sistema de IA suficientemente poderoso para fazer as coisas que iremos pretender — inventar novos medicamentos, planear processos de fabrico, conceber novas máquinas — é também suficientemente poderoso para inventar toxinas mortíferas, planear processos de fabrico com efeitos secundários catastróficos ou conceber máquinas que tenham falhas internas que nem sequer compreendemos. 

Quando se trabalha com sistemas tão poderosos, alguém, algures, vai cometer um erro — e direccionar um sistema para um objectivo que não é compatível com a segurança e a liberdade de todos no Mundo. Reorientar mais e mais da nossa sociedade para sistemas de IA cada vez mais poderosos, mesmo sabendo que não compreendemos realmente como funcionam ou como levá-los a fazer o que queremos, seria um erro catastrófico. 

Mas, visto que conseguir que os sistemas de IA se alinhem com o que queremos é realmente difícil — e porque o seu desempenho não alinhado é muitas vezes suficientemente bom, pelo menos a curto termo — esse é um erro que estamos activamente a cometer. 

Penso que os nossos melhores e mais brilhantes investigadores em aprendizagem de máquina deveriam passar algum tempo a pensar neste problema e a procurar trabalhar para uma das organizações em número crescente que tentam resolvê-lo. 

Quando a informação é um risco

Suponhamos que descobriu uma forma de ensinar um sistema de IA a desenvolver armas químicas aterradoras. Deveria publicar um artigo online a descrever como o fez? Ou deveria guardar essa informação para si, sabendo que esta poderia ser utilizada indevidamente? 

No mundo da segurança informática, existem procedimentos estabelecidos relativamente àquilo que se deve fazer quando se descobre uma vulnerabilidade de segurança. Tipicamente, notifica-se a organização responsável (encontra-se uma vulnerabilidade nos computadores da Apple, avisa-se a Apple) e dá-se-lhes tempo para a corrigirem antes de se avisar o público. Esta expectativa preserva a transparência, ao mesmo tempo que assegura que os “bons da fita” que trabalham no âmbito da segurança informática não estão apenas a dar armas aos “maus da fita”.  

Mas não há nada semelhante a isso na biologia ou na IA. Os programas de descoberta de vírus não costumam manter em segredo o agente patogénico mais perigoso que encontram até que existam contramedidas. Tendem a publicar imediatamente. Quando a OpenAI atrasou o seu lançamento da máquina geradora de texto GPT-2 devido a preocupações de uso indevido, foram ferozmente criticados e incentivados a fazer o mais habitual que é publicar todos os detalhes.

A equipa que publicou o recente documento Nature Machine Intelligence deu muita atenção a estas preocupações relativas à “informação de risco“. Os investigadores disseram que foram aconselhados, por especialistas em segurança, a ocultar alguns pormenores sobre como exactamente conseguiram os seus resultados, de forma a tornar as coisas um pouco mais difíceis para qualquer agente maléfico que procurasse seguir os seus passos.   

Ao publicarem o seu artigo, tornaram muito mais concretos os riscos das tecnologias emergentes e deram aos investigadores, aos decisores políticos e ao público uma razão específica para prestarem atenção. Era, em última análise, uma forma de descrever as tecnologias de risco de uma maneira que provavelmente reduzia o risco em geral.

Ainda assim, é profundamente injusto para o típico investigador em biologia ou IA, que não é especializado em preocupações de segurança da informação, ter de tomar estas decisões esporadicamente. Os peritos em segurança nacional, segurança da IA e biossegurança deveriam trabalhar em conjunto num sistema de transparência para lidar com os riscos da informação, para que os investigadores individuais possam consultar peritos como parte do processo de publicação em vez de tentarem eles próprios descobrir isso. 


Publicado originalmente por Kelsey Piper na Newsletter do Future Perfect (Vox), a 29 de Março.

Tradução de Rosa Costa e José Oliveira.

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s