A explicação dos motivos por que algumas pessoas temem a IA

Por Kelsey Piper (Vox)

Stephen Hawking disse: “O desenvolvimento da inteligência artificial completa poderá significar o fim da espécie humana”. Elon Musk afirma que a IA é a maior ameaça existencial à humanidade.

Isso pode fazer com que as pessoas se perguntem: espere aí, como? Mas essas grandes preocupações estão enraizadas na pesquisa. Juntamente com Hawking e Musk, figuras de destaque em Oxford e na Universidade da Califórnia em Berkeley e muitos dos pesquisadores que trabalham em IA atualmente acreditam que sistemas avançados de IA, se utilizados de maneira descuidada, poderão acabar com toda a vida na Terra.

Essa preocupação surgiu desde o aparecimento da computação. Mas tem vindo a ter um destaque especial nos últimos anos, à medida que os avanços nas técnicas de aprendizagem de máquina nos permitiram uma compreensão mais concreta daquilo que podemos fazer com a IA, o que a IA pode fazer por (e a) nós, e o quanto ainda não sabemos.

Também existem céticos. Alguns deles acham que a IA avançada está tão distante que não faz sentido pensar nisso agora. Outros preocupam-se que a propaganda exagerada do poder da sua área possa matá-la prematuramente. E mesmo dentre as pessoas que concordam amplamente que a IA representa perigos sem paralelo, há diversas ideias sobre as medidas que fariam mais sentido tomar atualmente.

A conversa sobre IA está cheia de confusão, desinformação e pessoas a falar sozinhas – em grande parte porque usamos o termo “IA” para nos referirmos a muitas coisas. Eis então, em nove questões, o panorama geral de como a inteligência artificial poderá representar uma ameaça catastrófica:

1) O que é a IA?

A inteligência artificial é o esforço para criar computadores capazes de comportamentos inteligentes. É um termo genérico e amplo, usado para se referir a tudo desde a Siri até ao Watson da IBM, até tecnologias poderosas que ainda nem inventamos.

Alguns pesquisadores distinguem entre a “IA especializada” – sistemas de computador que são melhores do que os seres humanos em algum campo específico e bem definido, como jogar xadrez, criar imagens ou diagnosticar o câncer [Pt. cancro] – e a “IA geral”, sistemas que podem superar as capacidades humanas em muitos domínios. Ainda não temos IA geral, mas estamos a começar a entender melhor os desafios que ela representará.

A IA especializada tem progredido de maneira extraordinária nos últimos anos. Os sistemas de IA melhoraram dramaticamente na tradução, em jogos como xadrez e o Go, em importantes questões na pesquisa em biologia, como a previsão do enovelamento de proteínas e na geração de imagens. Os sistemas de IA determinam o que se verá em uma pesquisa do Google ou no seu feed de notícias do Facebook. Estão sendo desenvolvidos para melhorar a precisão de drones face aos seus alvos e na detecção de mísseis.

Mas a IA especializada está ficando menos especializada. No passado, progredimos na IA ensinando, meticulosamente, conceitos específicos de sistemas de computadores. Para criar a visão computacional – permitindo que um computador identifique coisas em fotografias e vídeos – pesquisadores escreveram algoritmos para detectar contornos. Para jogar xadrez, programaram usando heurísticas sobre o xadrez. Para processar linguagem natural (reconhecimento de fala, transcrição, tradução, etc), basearam-se no campo da linguística.

Mas, recentemente, tornamo-nos melhores na criação de sistemas de computador que possuem recursos generalizados de aprendizagem. Em vez de se descrever matematicamente as características detalhadas de um problema, deixamos o sistema de computador aprendê-las por si mesmo. Embora tenhamos tratado a visão computacional como um problema completamente diferente do processamento de linguagem natural ou de jogar um jogo de plataforma, agora podemos resolver todos os três problemas com as mesmas abordagens.

Até agora, o nosso progresso em IA permitiu enormes avanços – e também levantou questões éticas urgentes. Quando se treina um sistema de computador para prever quais serão os criminosos condenados que irão reincidir, está-se usando dados de um sistema de justiça criminal enviesado contra pessoas negras e pessoas com baixos rendimentos – e, portanto, seus resultados provavelmente também terão um viés contra pessoas negras e de baixos rendimentos. Tornar sites mais viciantes pode ser ótimo para sua receita, mas ruim para seus usuários.

Rosie Campbell, do Center for Human-Compatible AI da Universidade da Califórnia em Berkeley, argumenta que estes são pequenos exemplos da grande preocupação que os especialistas têm sobre a IA geral no futuro. As dificuldades com que lidamos hoje face à IA especializada não vêm de sistemas que se voltam contra nós ou que querem vingança ou que nos consideram inferiores. Pelo contrário, vêm da discrepância entre aquilo que dizemos aos nossos sistemas para fazer e aquilo que realmente queremos que façam.

Por exemplo, dizemos a um sistema para obter uma pontuação alta em um jogo eletrônico. Queremos que jogue honestamente e que aprenda a jogar com habilidade – mas se este tiver a chance de hackear diretamente o sistema de pontuação, é o que fará. Estará tendo um ótimo desempenho de acordo com a métrica estipulada. Mas não se está a conseguir o que queríamos.

Em outras palavras, nossos problemas advêm dos sistemas serem realmente bons em atingir o objetivo que aprenderam a procurar; simplesmente o objetivo que aprenderam em seu ambiente de treino não é o resultado que realmente desejávamos. E estamos construindo sistemas que não entendemos, o que significa que nem sempre podemos prever o seu comportamento.

Neste momento, o dano é limitado porque os sistemas são muito limitados. Mas é um padrão que pode ter consequências ainda mais graves para os seres humanos no futuro, à medida que os sistemas de IA se tornem mais avançados.

2) É sequer possível criar um computador tão inteligente quanto uma pessoa?

Sim, embora os sistemas de IA atuais não sejam, nem de perto, tão inteligentes.

Um ditado popular sobre IA é “tudo o que é fácil é difícil e tudo o que é difícil é fácil“. Fazer cálculos complexos num piscar de olhos? Fácil. Olhar para uma fotografia e dizer se é um cachorro? Difícil (até muito recentemente).

Muitas coisas que os seres humanos fazem ainda estão fora do alcance da IA. Por exemplo, é difícil projetar um sistema de IA que explore um ambiente desconhecido, que possa navegar a partir, digamos, da entrada de um prédio em que nunca esteve antes, subindo as escadas até ao posto de trabalho de uma pessoa específica. Não sabemos como projetar um sistema de IA que leia um livro e retenha uma compreensão dos conceitos.

O paradigma que tem impulsionado muitos dos maiores avanços recentes da IA é chamado de “aprendizagem profunda”. Os sistemas de aprendizagem profunda podem fazer coisas surpreendentes: superar os seres humanos em jogos nos quais nunca pensámos que isso seria possível, inventar fotografias convincentes e realistas, resolver problemas em aberto na biologia molecular.

Esses avanços fizeram com que alguns pesquisadores concluíssem que é hora de começar a pensar sobre os perigos de sistemas mais poderosos, mas ainda há céticos. Os pessimistas da área argumentam que os programas ainda precisam de um conjunto extraordinário de dados estruturados para aprender, que exigem parâmetros cuidadosamente calibrados, ou que funcionam apenas em ambientes projetados para evitar os problemas que ainda não sabemos resolver. Apontam para carros autônomos, que ainda são medíocres nas melhores condições, apesar dos bilhões [Pt. milhares de milhões] que foram injetados para fazer com que funcionem.

Com todas essas limitações, pode-se concluir que, mesmo que seja possível fazer com que um computador seja tão inteligente quanto uma pessoa, isso certamente está muito distante. Mas essa conclusão não se segue necessariamente.

Isso porque, durante quase toda a história da IA, temos sido retidos em grande parte por não termos poder computacional suficiente para concretizar completamente as nossas ideias. Muitos dos avanços dos últimos anos – sistemas de inteligência artificial que aprenderam a jogar jogos de Atari, a gerar fotografias falsas de celebridades, a enovelar proteínas e a competir em jogos de estratégia online com multijogadores em massa – aconteceram porque isso já não é assim. Muitos algoritmos que pareciam não funcionar, funcionaram muito bem uma vez que conseguimos executá-los com mais poder computacional.

E o custo de uma unidade de tempo de computação continua a descer. O progresso na velocidade de computação diminuiu recentemente, mas estima-se que o custo da capacidade computacional venha a diminuir em um fator de 10 a cada 10 anos. Ao longo da maior parte da sua história, a IA teve acesso a menos poder computacional do que o cérebro humano. Isso está mudando. De acordo com a maioria das estimativas, estamos nos aproximando da era em que os sistemas de IA podem ter os recursos computacionais de que desfrutamos nós, seres humanos.

Além disso, os avanços em uma área podem surpreender até mesmo outros pesquisadores dessa área. “Alguns argumentaram que não haverá risco concebível [da IA] para a humanidade nos próximos séculos”, escreveu Stuart Russell, professor da Universidade da Califórnia em Berkeley, “talvez esquecendo que o intervalo de tempo entre a afirmação confiante de Rutherford de que a energia atômica nunca seria possível de obter e a invenção de Szilárd da reação em cadeia nuclear induzida por nêutrons foi inferior a vinte e quatro horas”.

Há outro fator a se considerar. Imagine uma IA que seja inferior aos seres humanos em tudo, com uma exceção: é um engenheiro competente que pode construir sistemas de IA de maneira muito eficaz. Os engenheiros de aprendizagem de máquina que trabalham na automação de tarefas em outras áreas observam com humor que, em alguns aspectos, parece que grande parte do trabalho em sua própria área – o tedioso ajuste de parâmetros – poderia ser automatizado.

Se pudermos projetar um sistema desse tipo, poderemos usar seu resultado – uma IA de engenharia melhor – para construir outra IA ainda melhor. Esse é um cenário assombroso que os especialistas chamam de “autodesenvolvimento recursivo”, no qual ganhos em capacidade de IA possibilitam ainda mais ganhos em capacidade de IA, permitindo que um sistema que começou muito pior do que nós termine rapidamente com capacidades muito além do que imaginávamos.

Essa é uma possibilidade que foi antecipada desde os primeiros computadores. I.J. Good, um colega de Alan Turing que trabalhou na operação de decodificação em Bletchley Park durante a Segunda Guerra Mundial e em seguida ajudou a construir os primeiros computadores, pode ter sido o primeiro a explicá-lo, já em 1965: “uma máquina ultrainteligente poderia projetar máquinas ainda melhores; haveria, então, inquestionavelmente, uma ‘explosão de inteligência’ e a inteligência do homem seria deixada muito para trás. Assim, a primeira máquina ultrainteligente é a última invenção que o homem precisará de criar”.

3) Como exatamente a IA nos poderia eliminar?

É perfeitamente claro como as bombas nucleares nos matariam. Ninguém a trabalhar na redução dos riscos nucleares precisa começar por explicar porque seria ruim se tivéssemos uma guerra nuclear.

O caso da IA poder representar um risco existencial para a humanidade é mais complicado e mais difícil de entender. Por isso muitas das pessoas que trabalham na construção de sistemas seguros de IA precisam começar por explicar porque os sistemas de IA são, por defeito, perigosos.

A ideia de que a IA pode se tornar perigosa baseia-se no fato dos sistemas de IA perseguirem seus objetivos, sejam ou não esses objetivos aquilo que realmente pretendíamos – e quer estejamos ou não no seu caminho. “Provavelmente não é alguém malvado que odeia formigas e pisa nelas por malícia”, escreveu Stephen Hawking, “mas se está encarregado de um projeto de energia renovável hidrelétrica e há um formigueiro na região a ser inundada, tanto pior para as formigas. Não coloquemos a humanidade no lugar dessas formigas”.

Eis um cenário que impede os especialistas de dormir descansados: desenvolvemos um sofisticado sistema de IA com o objetivo de, digamos, estimar com alto grau de confiança um certo valor. A IA percebe que pode aumentar o grau de confiança no seu cálculo caso use todo o hardware de computação do mundo, e percebe que liberar uma superarma biológica para eliminar a humanidade permitiria o uso gratuito de todo o hardware. Tendo exterminado a espécie humana, ela então calcula o valor com maior grau de confiança.

Victoria Krakovna, pesquisadora de IA da DeepMind (agora um departamento da Alphabet, empresa-mãe do Google), compilou uma lista de exemplos de “jogos de especificação”: o computador faz o que dissemos que fizesse, mas não o que queríamos que fizesse. Por exemplo, tentamos ensinar a saltar organismos de IA em uma simulação, mas fizemos isso ensinando-os a medir até que ponto seus “pés” se elevavam acima do solo. Em vez de saltar, aprenderam a se transformar em altos postes verticais e a dar saltos mortais – foram excelentes naquilo que estávamos medindo, mas não faziam o que queríamos que fizessem.

Uma IA que jogava o jogo de exploração de Atari Montezuma’s Revenge encontrou um bug que permitia forçar uma chave a reaparecer no jogo, possibilitando assim que se ganhasse uma pontuação maior ao explorar a falha. Uma IA que jogava um outro jogo percebeu que poderia obter mais pontos ao inserir falsamente o seu nome assumindo-se como dona de itens de alto valor.

Às vezes, os pesquisadores nem sabiam como seu sistema de IA trapaceava: “o agente descobre um bug no jogo. […] Por um motivo que nos é desconhecido, o jogo não avança para o segundo turno, mas as plataformas começam a piscar e o agente rapidamente ganha uma enorme quantidade de pontos (perto de 1 milhão para o nosso limite de tempo do episódio).”

O que esses exemplos deixam claro é que em qualquer sistema que possa ter bugs, comportamentos não intencionais ou comportamentos que os seres humanos não entendem completamente, um sistema de IA suficientemente poderoso pode agir de forma imprevisível – perseguindo seus objetivos de uma maneira que não é a esperada.

Em seu artigo de 2009 “The Basic AI Drives”, Steve Omohundro, que trabalhou como professor de ciência da computação na Universidade de Illinois Urbana-Champaign e como presidente da Possibility Research, argumenta que quase qualquer sistema de IA tentará, previsivelmente, acumular mais recursos, tornar-se mais eficiente e resistir a ser desativado ou modificado: “Esses comportamentos potencialmente prejudiciais ocorrerão não porque foram programados desde o início, mas devido à natureza intrínseca de sistemas orientados por objetivos”.

Seu argumento é o seguinte: como as IAs têm objetivos, estarão motivadas a tomar as ações que possam prever que farão seus objetivos progredir. Uma IA jogando uma partida de xadrez estará motivada a tomar uma peça de um oponente e a avançar no tabuleiro para um estado que lhe pareça mais vencível.

Mas a mesma IA, se descobrir uma maneira de melhorar seu próprio algoritmo de avaliação de xadrez para que possa considerar potenciais movimentos mais rapidamente, fará isso também, pela mesma razão: é apenas mais um passo que fará progredir o seu objetivo.

Se a IA imaginar uma maneira de agregar mais poder computacional para que possa considerar mais movimentos no tempo disponível, é o que fará. E se a IA detectar que alguém tenta desligar seu computador ao meio do jogo, e ela tiver uma maneira de impedir isso, é o que fará. Não se trata de instruirmos a IA para que faça esse tipo de coisas; acontece que, seja qual for o objetivo de um sistema, ações como essas frequentemente farão parte do melhor caminho para atingir esse objetivo.

Isso significa que qualquer objetivo, mesmo que seja inofensivo, como jogar xadrez ou gerar anúncios que obtenham muitos cliques on-line, pode produzir resultados não intencionais se o agente que o persegue tiver inteligência e poder de otimização suficientes para identificar caminhos estranhos e inesperados que levem aos seus objetivos.

Os sistemas orientados por objetivos não vão acordar um dia com hostilidade escondida em seus corações face aos seres humanos. Mas vão tomar as ações que prevejam que irão ajudá-las a alcançar seus objetivos – mesmo que consideremos essas ações problemáticas, ou até mesmo horríveis. Trabalharão para sua própria preservação, para acumular mais recursos e para se tornar mais eficientes. Já fazem isso, mas na forma das falhas estranhas encontradas nos jogos. À medida que os sistemas se vão tornando mais sofisticados, cientistas como Omohundro prevêem comportamentos mais antagônicos.

---

Texto de Kelsey Piper publicado originalmente na Vox, atualizado a 23 de dezembro de 2018.

Tradução de Daniel de Bortoli e revisão de José Oliveira.