Domar os monstros do amanhã

Por Kai Kupferschmidt (revista Science)

Monstro IA

Como domesticar a inteligência artificial? (Arte digital: José Oliveira | Fotografias: Pixabay)

O filósofo Nick Bostrom acredita que é perfeitamente possível que a inteligência artificial (IA) possa levar à extinção do Homo sapiens. Em seu best-seller de 2014, Superintelligence: Paths, Dangers, Strategies [“Superinteligência: caminhos, perigos e estratégias”]*, Bostrom retrata um cenário sombrio no qual os pesquisadores criam uma máquina capaz de se aperfeiçoar a si mesma progressivamente. Em algum momento, ela aprende a ganhar dinheiro com transações on-line e começa a comprar bens e serviços no mundo real. Usando DNA encomendado por correio, cria nanossistemas simples que, por sua vez, criam sistemas mais complexos, dando-lhe cada vez mais capacidade de moldar o mundo.

Agora, suponha que a IA suspeite que os humanos possam interferir em seus planos, escreve Bostrom, da Universidade de Oxford, no Reino Unido. Poderia decidir construir armas minúsculas e distribuí-las secretamente por todo o mundo. “Na altura predefinida, nanofábricas produzindo gás de nervos ou robôs semelhantes a mosquitos, buscando os alvos automaticamente, podem então brotar em simultâneo de cada metro quadrado do globo.”

Para Bostrom e uma série de outros cientistas e filósofos, tais cenários são mais do que ficção científica. Eles estudam quais avanços tecnológicos representam “riscos existenciais” que poderiam destruir a humanidade ou pelo menos acabar com a civilização como a conhecemos — e o que poderia ser feito para detê-los. “Pense que o que estamos tentando fazer é como providenciar um “advogado do diabo”, em termos científicos, para as coisas que poderiam ameaçar nossa espécie”, diz o filósofo Huw Price, que dirige o Centre for the Study of Existential Risk (CSER) aqui na Universidade de Cambridge.

A ideia da ciência eliminar a raça humana remonta ao Frankenstein. No romance de Mary Shelley, o monstro fica a odiar o seu criador, Victor Frankenstein, por este o ter rejeitado. Ele mata o irmão mais novo de Frankenstein, William, mas propõe ao doutor um acordo: faça uma companheira para mim e deixaremos você em paz, partindo à América do Sul para viver a nossa vida. Frankenstein começa a trabalhar na noiva, mas percebe que o casal pode se reproduzir e superar os humanos: “Uma raça de diabos seria propagada sobre a terra, o que poderia tornar a própria existência da espécie humana uma condição precária e cheia de terror”. Ele destrói a fêmea incompleta, reacendendo a ira da criatura e provocando a sua própria morte.

“Eu acho que Frankenstein ilustra muito bem esse ponto”, diz o físico Max Tegmark, do Massachusetts Institute of Technology (MIT) em Cambridge, membro do conselho do CSER e co-fundador de um grupo de reflexão semelhante, o Future of Life Institute (FLI), próximo ao MIT. “Nós, os seres humanos, desenvolvemos gradualmente tecnologia cada vez mais poderosa, e quanto mais poderosa essa tecnologia se torna, mais cuidadosos temos que ser para que não estraguemos tudo.”

O estudo dos riscos existenciais ainda é uma área minúscula, tendo no máximo algumas dezenas de pessoas em três centros de pesquisa. Nem todos estão convencidos de que é uma disciplina acadêmica séria. A maioria dos cenários sobre o fim da civilização — que incluem patógenos de criação humana, exércitos de nanorrobôs ou até mesmo a ideia de que nosso mundo é uma simulação que pode ser desativada — é altamente improvável, diz Joyce Tait, que estuda questões regulatórias nas ciências biológicas no Instituto Innogen, em Edimburgo. A única verdadeira ameaça existencial, diz, é algo familiar: uma guerra nuclear global. Fora isso, “não há nada no horizonte”.

O psicólogo da Universidade de Harvard, Steven Pinker, chama aos riscos existenciais uma “categoria inútil” e adverte que as “fantasias frankensteinianas” podem desviar a atenção de ameaças reais e resolúveis, como as mudanças climáticas e a guerra nuclear. “Semear o medo sobre desastres hipotéticos, longe de salvaguardar o futuro da humanidade, pode colocá-lo em perigo”, escreve ele em seu próximo livro Enlightenment Now: The Case for Reason, Science, Humanism and Progress [“Iluminismo agora: em defesa da razão, da ciência e do progresso”]*.

Mas os defensores prevêem que a área só se tornará mais importante à medida que o progresso científico e tecnológico acelere. Como Bostrom apontou em um artigo, muito mais pesquisas foram feitas sobre os besouros do estrume ou Star Trek do que sobre os riscos da extinção humana. “Justifica-se dizer que a ciência basicamente ignorou” a questão, diz Price.

A humanidade sempre enfrentou a possibilidade de um fim prematuro. Um outro asteróide do tamanho do que acabou com o reinado dos dinossauros poderia atingir a Terra, um cataclismo vulcânico poderia escurecer os céus durante anos e nos matar de fome a todos.

Mas os riscos existenciais decorrentes dos avanços científicos foram literalmente ficção até o dia 16 de julho de 1945, quando a primeira bomba atômica foi detonada. Com base em cálculos preliminares, o físico Edward Teller concluiu que a explosão poderia desencadear uma reação em cadeia global, “inflamando” a atmosfera. “Embora agora saibamos que isso era fisicamente impossível, pode ser considerado como um risco existencial que existia à época”, escreve Bostrom. Passadas duas décadas, surgiu um risco existencial real, com os crescentes estoques de novas armas. Os físicos finalmente haviam criado a noiva de Frankenstein.

Em breve, outras disciplinas científicas podem apresentar ameaças semelhantes. “Neste século, vamos introduzir tipos de fenômenos inteiramente novos que nos darão novos tipos de poderes para remodelar o mundo”, diz Bostrom. A biotecnologia é mais barata e mais fácil de manipular do que a tecnologia nuclear jamais foi. A nanotecnologia tem avançado rapidamente. Em uma reunião em Copenhague em 2011, Jaan Tallinn, programador estônio e co-desenvolvedor do Skype, relatou a Price, durante uma viagem conjunta de táxi, seus medos profundos sobre a IA. “Até àquela altura, eu nunca havia conhecido quem levasse isso tão a sério quanto Jaan”, diz Price, que estava prestes a começar a trabalhar na Universidade de Cambridge.

Price apresentou Tallinn ao astrônomo Martin Rees, ex-presidente da Royal Society, que há muito tempo adverte que a ciência, ao progredir, irá colocar cada vez mais o poder de destruir a civilização nas mãos de indivíduos. O trio decidiu criar o CSER, o segundo centro de pesquisas na área após o Future of Humanity Institute de Bostrom, em Oxford, fundado em 2005. O nome do CSER foi “uma tentativa deliberada de tornar mais convencional o conceito de risco existencial”, diz Price. “Estávamos conscientes de que as pessoas acham essas questões um pouco duvidosas.”

O CSER recrutou alguns colaboradores de renome: o conselho científico inclui o físico Stephen Hawking, o biólogo de Harvard George Church, o líder em saúde global Peter Piot e o empresário de tecnologia Elon Musk. Um sinal de como esta área ainda é pequena é que Tallinn também foi co-fundador do FLI em 2014, e tanto Church, Musk, Hawking, Bostrom como Rees fazem parte do seu conselho científico (o ator Morgan Freeman, que literalmente interpretou Deus, também é consultor do FLI).

A maior parte do financiamento do CSER vem de fundações e indivíduos, incluindo Tallinn, que doou cerca de 8 milhões de dólares para pesquisadores da área de riscos existenciais em 2017. A produção acadêmica do CSER tem sido “efêmera” até agora, admite Tallinn. No entanto, o centro foi criado como “uma espécie de campo de formação para a pesquisa de riscos existenciais”, diz ele, com acadêmicos de outros lugares a visitar e depois “infectar” suas próprias instituições com ideias.

A dúzia de pessoas a trabalhar no próprio CSER — pouco mais do que uma grande sala em um prédio remoto, junto ao serviço de saúde ocupacional da universidade — organiza palestras, reúne cientistas para discutir desenvolvimentos futuros e publica sobre tópicos que vão desde a regulamentação da biologia sintética a pontos de ruptura ecológicos. Muito do seu tempo é gasto pensando em cenários de fim de mundo e possíveis salvaguardas.

Church diz que uma “crise”, em que uma grande parte da população mundial morre, é mais provável do que uma extinção completa. “Não é necessário transformar todo o planeta em átomos”, diz ele. Interromper redes elétricas e outros serviços em grande escala ou lançar um agente patogênico letal poderia criar o caos, derrubar governos e levar a humanidade a um descarrilamento incontrolável. Acabaríamos em um nível de cultura medieval”, diz Church. “Para mim, esse é o fim da humanidade.”

Os riscos existenciais decorrentes das ciências da vida talvez sejam os mais fáceis de se imaginar. Os patógenos se mostraram capazes de eliminar espécies inteiras, como os sapos que foram vítimas do fungo anfíbio Batrachochytrium dendrobatidis. Além disso, quatro pandemias de gripe varreram o mundo no século passado, incluindo uma que matou até 50 milhões de pessoas em 1918 e 1919. Pesquisadores já conseguem desenvolver patógenos que, em princípio, poderiam ser ainda mais perigosos. Preocupações com os estudos que tornaram a estirpe da gripe aviária H5N1 mais facilmente transmissível entre mamíferos levaram os Estados Unidos a suspender essas pesquisas até o final do ano passado. Terroristas ou Estados-vilões poderiam usar agentes criados em laboratório como arma, ou uma epidemia artificial poderia ser lançada acidentalmente.

Rees apostou publicamente que, em 2020, “o bioterrorismo ou um bioerro causarão 1 milhão de baixas em um único evento”. O microbiologista de Harvard, Marc Lipsitch, calculou que a probabilidade de um vírus da gripe desenvolvido em laboratório levar a uma pandemia acidental é entre um em 1000 e um em 10 000 por cada ano de pesquisa em um laboratório; Ron Fouchier, do Erasmus MC em Roterdã, na Holanda, um dos pesquisadores envolvidos nos estudos do H5N1, rejeitou essa estimativa, dizendo que o verdadeiro risco é mais próximo de um em 33 bilhões [Pt. 33 mil milhões] por cada ano de pesquisa em cada laboratório.

Uma medida contra o “bioerro” podia ser a exigência de que os pesquisadores que realizam experiências arriscadas comprassem seguros; isso causaria uma avaliação independente dos riscos e forçaria os pesquisadores a confrontá-los, diz Lipsitch. Ainda assim, a medida preventiva mais importante é fortalecer a capacidade do mundo de conter um surto logo no início, acrescenta ele, por exemplo, com vacinas. “Para os riscos biológicos, com exceção de um ataque paralelo, vasto e coordenado, em todo o mundo, a única maneira de chegarmos a um cenário realmente catastrófico é falhando no controle de um cenário menor”, diz ele.

É improvável que os vírus matem todos os seres humanos, diz Bostrom; para ele e para os outros, é a IA que realmente constitui ameaças existenciais. A maioria dos cenários centra-se em máquinas que sejam mais inteligentes que os seres humanos, uma proeza denominada “super-inteligência”. Se uma tal IA fosse alguma vez alcançada e adquirisse vontade própria, poderia se tornar malévola e procurar ativamente destruir os seres humanos, como HAL, o computador que se revolta a bordo de uma nave espacial no filme de Stanley Kubrick 2001: Uma Odisséia no Espaço.

 

 

A estratégia da humanidade é aprender com os erros. Quando está em causa o fim do mundo, essa é uma péssima estratégia.

 

Max Tegmark, Massachusetts Institute of Technology (MIT)

No entanto, a maioria dos especialistas em IA se preocupa menos com máquinas que se revoltem contra os seus criadores do que com a possibilidade delas cometerem um erro fatal. Para Tallinn, a maneira mais plausível pela qual a IA poderia acabar com a humanidade seria se esta simplesmente perseguisse os seus objetivos e, entretanto, criasse por negligência um ambiente fatal para os seres humanos. “Imagine uma situação em que a temperatura suba 100 graus ou seja reduzida em 100 graus. Nós seríamos extintos em questão de minutos”, diz Tallinn. Tegmark concorda: “O verdadeiro problema da IA ​​não é malícia, mas sim incompetência”, diz ele.

Uma analogia atual é a tragédia de 2015 em que um piloto suicida da Germanwings mandou o computador de seu avião descer a uma altitude de 100 metros enquanto voava sobre os Alpes franceses. A máquina obedeceu, matando todos os 150 a bordo, apesar de ter GPS e um mapa topográfico. “Não fazia idéia sequer do objetivo humano mais simples”, diz Tegmark. Para evitar tais calamidades, os cientistas estão a tentar descobrir como ensinar os valores humanos à IA ​​e garantir que se mantenham, um problema chamado “alinhamento de valores”. “Deve haver menos de 20 pessoas a trabalhar em tempo integral em pesquisa técnica de segurança em IA”, diz Bostrom. “Mais algumas pessoas talentosas poderiam aumentar substancialmente a taxa de progresso.”

Críticos dizem que é improvável que esses esforços sejam úteis, porque as ameaças futuras são inerentemente imprevisíveis. As previsões foram um problema em todos os “exercícios de antecipação” de que Tait participou, diz ela. “Nós simplesmente não somos bons nisso.” Mesmo que se preveja um risco, as circunstâncias econômicas, políticas e sociais afetarão a maneira como este se desenrola. “A menos que se saiba não apenas o que vai acontecer, mas como vai acontecer, a informação não serve de muito em termos de se fazer algo sobre isso”, diz Tait.

Pinker acredita que os cenários revelam mais sobre obsessões humanas do que sobre os verdadeiros riscos. Somos atraídos por possibilidades “que sejam altamente improváveis e no entanto acabam por ter grande impacto no nosso valor adaptativo, como sexo ilícito, morte violenta e façanhas quixotescas de glória”, escreve ele. “Enredos apocalípticos são, sem dúvida, cativantes — são um estímulo supranormal às nossas obsessões mórbidas.” Claro, ele diz, pode-se imaginar uma IA malévola e poderosa que foge ao controle das pessoas. “A maneira de lidar com essa ameaça é simples: não construa uma.”

Tallinn argumenta que é melhor prevenir do que remediar. Uma pesquisa de 2017 mostrou que 34% dos especialistas em IA acreditavam que os riscos associados ao seu trabalho são um problema importante; 5% disseram que são “um dos problemas mais importantes”. “Imagine que está em um avião e 40% dos especialistas acham que há uma bomba nesse avião”, diz Tallinn. “Você não irá esperar que os restantes especialistas fiquem convencidos.”

Price diz que os críticos que o acusam a si e aos seus colegas de cederem à ficção científica não estão totalmente errados: produzir cenários apocalípticos não é muito diferente do que Shelley fez. “O primeiro passo é imaginar esse leque de possibilidades e, nesse momento, o tipo de imaginação que é usada na ficção científica e em outras formas de literatura e cinema provavelmente será extremamente importante”, diz ele.

Os cientistas têm a obrigação de se envolver, diz Tegmark, porque os riscos são diferentes daqueles que o mundo já enfrentou antes. Sempre que novas tecnologias surgiram no passado, ele aponta, a humanidade esperou que seus riscos se tornassem óbvios antes de aprender a reduzi-los. O fogo matou pessoas e destruiu cidades, então a humanidade inventou extintores de incêndio e retardantes de chama. Com os automóveis, vieram as mortes no trânsito — e então os cintos de segurança e os airbags. “A estratégia da humanidade é aprender com os erros”, diz Tegmark. “Quando está em causa o fim do mundo, essa é uma péssima estratégia.”

 

* Ainda sem tradução para o português (N. do T.)


Texto de Kai Kupferschmidt publicado originalmente na revista Science a 11 de janeiro de 2018.

Tradução de Daniel de Bortoli e revisão de José Oliveira.

Botao-assineBoletim

Anúncios

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s