Fundamentos para considerar a Inteligência Artificial (IA) como uma ameaça séria à humanidade (parte 2 de 2)

A explicação dos motivos por que algumas pessoas temem a IA

Por Kelsey Piper (Vox)

Risco_IA(19)2

Qual o risco da Inteligência Artificial? (Arte digital: José Oliveira | Fotografias: Pixabay)

A conversa sobre IA está cheia de confusão, desinformação e pessoas a falar sozinhas – em grande parte porque usamos o termo “IA” para nos referirmos a muitas coisas. Eis então, em nove questões, o panorama geral de como a inteligência artificial poderá representar uma ameaça catastrófica:

1) O que é a IA?

2) É sequer possível criar um computador tão inteligente quanto uma pessoa?

3) Como exatamente a IA nos poderia eliminar?

4) Quando é que os cientistas começaram a se preocupar com os riscos da IA?

Os cientistas têm refletido sobre o potencial da inteligência artificial desde os primórdios da computação. No famoso artigo em que apresenta o teste de Turing para determinar se um sistema artificial é verdadeiramente “inteligente”, Alan Turing escreveu:

Suponhamos agora, para fins de argumentação, que essas máquinas são uma possibilidade genuína e examinemos as consequências de construí-las. […] Haveria muito o que fazer para tentar manter nossa inteligência à altura dos padrões estabelecidos pelas máquinas, pois parece provável que, uma vez iniciado o método de pensamento da máquina, não demoraria muito para que esta superasse nossos frágeis poderes. […] Devemos portanto esperar que, em determinado momento,  as máquinas assumam o controle.

I.J. Good trabalhou de perto com Turing e chegou às mesmas conclusões, segundo seu assistente, Leslie Pendleton. Em um trecho de anotações privadas que Good escreveu pouco antes de morrer em 2009, escreve sobre si mesmo na terceira pessoa e observa um desacordo com a sua posição anterior  – embora enquanto jovem ele achasse que poderosas IAs poderiam nos ser úteis, o Good mais velho previa que a IA nos aniquilasse.

[O artigo] “Especulações a propósito da primeira máquina ultra-inteligente” (1965) […] começava com: “A sobrevivência do homem depende da construção em breve de uma máquina ultra-inteligente”. Essas foram suas palavras durante a Guerra Fria, e ele agora suspeita que “sobrevivência” deveria ser substituído por “extinção”. Considera que, por causa da concorrência internacional, não podemos impedir que as máquinas assumam o controle. Acha que somos como lêmingues suicidas. Disse também que “provavelmente o homem construirá o deus ex machina à sua própria imagem”.

No século XXI, com os computadores rapidamente a se estabelecer em nosso mundo como uma força transformadora , pesquisadores mais jovens começaram a expressar preocupações semelhantes.

Nick Bostrom é professor da Universidade de Oxford, diretor do Future of Humanity Institute e do Governance of Artificial Intelligence Program. Pesquisa sobre os riscos da humanidade, tanto em termos abstratos – fazendo perguntas como, por que estaremos sozinhos no universo – quanto em termos concretos, analisando os avanços tecnológicos que estão em cima da mesa e se estes nos colocam em perigo. A IA, concluiu, coloca-nos em perigo.

Em 2014, escreveu um livro que explica os riscos que a IA representa e a necessidade de acertarmos à primeira, concluindo: “Uma vez que exista a superinteligência hostil, ela nos impediria de substituí-la ou de mudar as suas preferências. Nosso destino estaria traçado.”

No mundo todo, outros chegaram à mesma conclusão. Bostrom é coautor de um artigo sobre a ética da inteligência artificial com Eliezer Yudkowsky, fundador e pesquisador do Machine Intelligence Research Institute (MIRI) em Berkeley, uma organização que trabalha no melhoramento da caracterização formal do problema de segurança da IA.

Yudkowsky iniciou sua carreira em IA preocupando-se em encontrar falhas nas propostas de outros sobre como tornar seguros os sistemas de IA, e passou a maior parte da sua carreira a trabalhar para persuadir seus colegas de que os sistemas de IA, por defeito, não estarão alinhados com os valores humanos (não necessariamente em oposição mas indiferentes à moralidade humana) – e de que evitar esse resultado será um problema técnico desafiador.

Cada vez mais, os pesquisadores perceberam que haveria desafios que não existiam quando os sistemas de IA eram simples. “Os ‘efeitos colaterais’ são muito mais prováveis de ocorrer em um ambiente complexo, e um agente pode precisar ser bastante sofisticado para hackear sua função de recompensa de uma maneira perigosa. Isso pode explicar por que esses problemas receberam tão pouca atenção no passado, além de sugerir sua importância no futuro”, concluiu um artigo científico de 2016 sobre problemas na segurança da IA.

O livro Superinteligência, de Bostrom, convenceu muitas pessoas, mas havia céticos. “Não, os especialistas não acham que a IA superinteligente seja uma ameaça para a humanidade“, argumentou num editorial Oren Etzioni, professor de ciência da computação na Universidade de Washington e diretor executivo do Allan Institute for Artificial Intelligence. “Sim, estamos preocupados com os riscos existenciais da inteligência artificial“, respondeu num editorial opositor Stuart Russell, um pioneiro da IA e professor da UC Berkeley, e Allan DaFoe, pesquisador sênior e diretor do programa Governance of AI em Oxford.

É tentador concluir que há uma batalha acirrada entre os céticos dos riscos da IA e os crentes nos riscos da IA. Na realidade, eles podem não discordar tão profundamente quanto se poderia pensar.

O cientista principal de IA do Facebook, Yann LeCun, por exemplo, é uma voz reivindicativa do lado cético. Mas embora argumente que não devemos temer a IA, ainda assim acredita que devemos ter pessoas a trabalhar e a pensar na segurança da IA. “Mesmo que o risco de uma insurreição de IA seja muito improvável e muito distante no futuro, ainda assim devemos pensar sobre isso, planejar medidas cautelares e estabelecer diretrizes”, escreve.

Isso não quer dizer que haja aqui um consenso entre os especialistas – longe disso. Há divergências substanciais sobre que abordagens parecem ser mais prováveis de nos levar à IA geral, que abordagens parecem ser mais prováveis de nos levar à IA geral segura, e o quão cedo devemos nos preocupar com qualquer uma dessas situações.

Muitos especialistas desconfiam que outros estejam supervalorizando sua área e condenando-a assim que essa promoção exagerada se esgotar. Mas essa discordância não deve obscurecer interesses comuns crescentes; pois são possibilidades sobre as quais vale a pena pensar, investir e pesquisar, para que tenhamos diretrizes quando chegar o momento em que sejam necessárias.

 

5) Por que não poderíamos simplesmente desligar um computador se este ficasse poderoso demais?

Uma IA esperta poderia prever que pretendíamos desligá-la se ela nos deixasse nervosos.  Assim iria esforçar-se para não nos deixar nervosos, porque isso não a ajudaria a atingir seus objetivos. Caso lhe perguntassem quais eram as suas intenções, ou no que estaria a trabalhar, tentaria avaliar que respostas reduziriam a probabilidade de que fosse desligada e responderia dessa maneira. Se não fosse competente o suficiente para fazer isso, poderia fingir ser ainda mais estúpida do que realmente fosse – antecipando que os pesquisadores lhe dariam mais tempo, recursos computacionais e dados de treino.

Por isso, podemos não saber qual será o momento certo para desligar um computador.

Também podemos fazer as coisas de tal modo que tornem impossível desligar o computador mais tarde, mesmo que percebamos que essa é uma boa ideia. Por exemplo, muitos sistemas de IA podem ter acesso à Internet, que é uma fonte rica de dados de treino e da qual precisam se tiverem que ganhar dinheiro para seus criadores (por exemplo, no mercado de ações, onde mais da metade das transações é feito por algoritmos de IA de reação rápida).

Mas com acesso à internet, uma IA poderia enviar cópias de si mesma para algum lugar onde seriam instaladas após transferência, ou poderia hackear sistemas vulneráveis em outro lugar. Desligar um computador qualquer não ajudaria.

Nesse caso, não é uma péssima ideia deixar que qualquer sistema de IA – mesmo um que não pareça poderoso o suficiente para ser perigoso – tenha acesso à Internet? Provavelmente. Mas isso não significa que isso não continuará a acontecer.

Até agora, falamos principalmente sobre os desafios técnicos da IA. Mas daqui em diante, é necessário enveredar mais pela questão política. Como os sistemas de IA permitem coisas incríveis, haverá muitos atores diferentes a trabalhar nesses sistemas.

Provavelmente haverá startups, empresas de tecnologia estabelecidas como a Google (a startup recém-adquirida pela Alphabet, a DeepMind, é frequentemente mencionada como pioneira em pesquisa de IA) e organizações sem fins lucrativos (a OpenAI, fundada por Elon Musk, é outra importante participante nesta área).

Haverá governos – Vladimir Putin, da Rússia, manifestou interesse pela IA e a China fez grandes investimentos. Alguns deles presumivelmente serão cautelosos e empregarão medidas de segurança, incluindo manter sua IA fora da internet. Mas em um cenário como este, ficamos à mercê do ator menos cauteloso, seja ele quem for.

Isso é parte do que torna a IA difícil: mesmo que saibamos como tomar as devidas precauções (o que não é o caso até este momento), também precisamos descobrir como garantir que todos os aspirantes a programadores de IA estejam motivados a tomar essas precauções e tenham as ferramentas para implementá-las corretamente.

 

6) Neste momento o que estamos a fazer para evitar um apocalipse de IA?

“Pode-se dizer que políticas públicas sobre IAG [inteligência artificial geral] não existem”, concluiu um estudo este ano avaliando os avanços nesta área.

A verdade é que o trabalho técnico em abordagens promissoras está a ser feito, mas é chocante o pouco que tem sido feito quanto a planejamento de políticas, colaboração internacional ou parcerias público-privadas. De fato, grande parte do trabalho está a ser feito por apenas um punhado de organizações, e estima-se que cerca de 50 pessoas no mundo trabalhem em tempo integral na segurança técnica da IA.

O Future of Humanity Institute de Bostrom publicou uma agenda de pesquisa para o controle da IA: o estudo da “elaboração de normas, políticas e instituições globais para melhor garantir o desenvolvimento benéfico e o uso da IA avançada”. Publicou pesquisas sobre o risco do uso malicioso da IA, no contexto da estratégia da IA na China, e sobre inteligência artificial e segurança internacional.

A organização mais antiga que trabalha com segurança de IA é o Machine Intelligence Research Institute (MIRI), que prioriza pesquisas para projetar agentes altamente confiáveis – programas de inteligência artificial cujo comportamento podemos prever suficientemente bem para ter certeza de sua segurança. (Declaração de intenções: MIRI é uma organização sem fins lucrativos cujo trabalho apoiei com uma doação em 2017 e 2018.)

A OpenAI, fundada por Elon Musk, é uma organização muito nova, com menos de três anos. Mas os seus pesquisadores contribuem ativamente para a pesquisa tanto de segurança da IA quanto de capacidades de IA. Uma agenda de pesquisa em 2016 expôs “problemas técnicos concretos em aberto relacionados à prevenção de acidentes em sistemas de aprendizagem de máquina”, e desde então os pesquisadores adiantaram algumas abordagens para sistemas seguros de IA.

A DeepMind, da Alphabet, líder neste campo, tem uma equipe de segurança e uma agenda de pesquisa técnica descritas aqui. “Nossa intenção é garantir que futuros sistemas de IA não apenas ‘desejadamente seguros’, mas seguros de maneira robusta e verificável”, conclui, delineando uma abordagem com ênfase na especificação (projetar bem os objetivos), robustez (projetar sistemas que, sob condições voláteis, tenham um desempenho dentro de limites seguros) e garantia (monitorar sistemas e compreender o que estão a fazer).

Há também muitas pessoas a trabalhar em problemas mais atuais de ética em IA: viés algorítmico, robustez de algoritmos modernos de aprendizagem de máquina perante pequenas mudanças, transparência e interpretabilidade de redes neurais, para citar apenas alguns. Algumas dessas pesquisas são potencialmente valiosas para que se evite cenários destrutivos.

Mas no geral, a situação nesta área é um pouco como se quase todos os pesquisadores de mudanças climáticas estivessem concentrados em gerenciar as secas, os incêndios florestais e a fome que já enfrentamos hoje, mas apenas com uma equipe mínima a dedicar-se a prever o futuro, e cerca de 50 pesquisadores a trabalhar em tempo integral na criação de um plano para reverter a situação.

Nem todas as organizações com um grande departamento de IA têm uma equipe de segurança, e algumas delas têm equipes de segurança concentradas apenas na imparcialidade algorítmica e não nos riscos dos sistemas avançados. O governo dos EUA não tem um departamento para a IA.

Esta área ainda tem muitas questões em aberto que ninguém investigou a fundo – muitas das quais podem fazer a IA parecer muito mais assustadora, ou muito menos.

 

7) É realmente mais provável que a IA nos mate a todos do que, digamos, as mudanças climáticas?

Às vezes parece que no século XXI estamos a enfrentar perigos de todos os lados. É provável que tanto as mudanças climáticas quanto os desenvolvimentos futuros da IA venham a ser forças transformadoras atuando em nosso mundo.

Nossas previsões sobre as mudanças climáticas são mais confiáveis, tanto para o melhor como para o pior. Temos uma compreensão mais clara dos riscos que o planeta enfrentará e podemos estimar os custos para a civilização humana. Estima-se que serão enormes, potencialmente colocando em risco centenas de milhões de vidas. Quem mais sofrerá com isso serão pessoas de baixo rendimento nos países em desenvolvimento; os ricos se adaptarão com maior facilidade. Também temos uma compreensão mais clara das políticas públicas que precisamos implementar para lidar com as mudanças climáticas do que com a IA.

Há um intenso desacordo nesta área quanto à cronologia estimada para avanços críticos em IA. Embora os especialistas em segurança de IA concordem sobre muitos aspectos do problema de segurança, ainda estão a argumentar com as equipes de pesquisa em sua própria área, e discordam sobre alguns dos detalhes. Há discordância substancial sobre o quão mal as coisas poderiam correr, e sobre a probabilidade de correrem mal. Existem apenas algumas pessoas a trabalhar em tempo integral em previsões sobre a IA. Uma das coisas que os pesquisadores atuais tentam definir são os seus modelos e as razões para os desentendimentos que persistem sobre como serão as abordagens seguras.

A maioria dos especialistas na área da IA acredita que esta representa um risco total de extinção humana muito maior do que as mudanças climáticas, já que analistas de riscos existenciais da humanidade pensam que as mudanças climáticas, embora catastróficas, provavelmente não levarão à extinção humana. Mas muitos outros enfatizam principalmente nossa incerteza – e enfatizam que quando estamos trabalhando rapidamente em direção a tecnologias poderosas sobre as quais ainda existem muitas perguntas sem resposta, o passo inteligente a tomar é começar a pesquisa agora.

 

8) Existe a possibilidade da IA ser benévola?

Os pesquisadores de segurança da IA enfatizam que não devemos supor que os sistemas de IA serão benevolentes à partida. Terão os objetivos para os quais foram preparados pelo seu ambiente de treino, e isso sem dúvida não incluirá todos os valores humanos.

Quando a IA ficar mais esperta, poderá descobrir a moralidade por si mesma? Mais uma vez, os pesquisadores enfatizam que isso não acontecerá. Não é realmente uma questão de “descobri-la” – a IA vai entender muito bem que os seres humanos realmente valorizam amor, realização pessoal e felicidade, e não apenas o número associado ao Google na Bolsa de Valores de Nova Iorque. Mas os valores da IA serão construídos em torno de qualquer sistema de metas no qual tenha sido inicialmente construído, o que significa que não estará, subitamente, alinhado com os valores humanos se não for projetado dessa maneira desde o início.

É claro que podemos construir sistemas de IA que estejam alinhados com valores humanos, ou pelo menos com os quais os seres humanos possam trabalhar com segurança. Isso é basicamente o que quase todas as organizações com um departamento de inteligência artificial geral estão tentando fazer. O sucesso com a IA poderia nos dar acesso a décadas ou séculos de inovação tecnológica de uma só vez.

“Se formos bem sucedidos, acreditamos que este será um dos avanços científicos mais importantes e amplamente benéficos de todos os tempos”, diz a introdução à DeepMind da Alphabet. “Desde as mudanças climáticas até à necessidade de um sistema de saúde radicalmente aprimorado, muitos problemas padecem de um progresso penosamente lento, com sua complexidade a ultrapassar nossas capacidades de encontrar soluções. Com a IA como um multiplicador da inventividade humana, essas soluções ficarão ao nosso alcance”.

Por isso, sim, a IA pode partilhar dos nossos valores – e transformar nosso mundo para o bem. Só precisamos primeiro resolver um problema de engenharia muito difícil.

 

9) Só quero saber: quão preocupados deveríamos estar?

Para aqueles que acham que a preocupação é prematura e os riscos estão sendo exagerados, a segurança da IA está a competir com outras prioridades que soam, digamos, um pouco menos a ficção científica – e não é claro por que a IA deveria ter prioridade. Para aqueles que julgam os riscos descritos são reais e substanciais, é absurdo que estejamos dedicando tão poucos recursos a trabalhar neles.

Embora os pesquisadores de aprendizagem de máquina tenham razão pela sua cautela quanto aos exageros, também é difícil evitar o fato de que estes têm feito coisas impressionantes e surpreendentes usando técnicas muito generalizáveis, e que não parece que já tenham sido colhidos todos os frutos mais fáceis de colher.

Em uma grande conferência no início de dezembro, a DeepMind, da Google, resolveu um problema de longa data na biologia: prever como as proteínas se enovelam. “Embora ainda haja muito trabalho a ser feito antes que possamos ter um impacto quantificável no tratamento de doenças, no gerenciamento do meio ambiente, dentre outros, sabemos que o potencial é enorme”, conclui este anúncio.

A IA parece cada vez mais ser uma tecnologia que mudará o mundo quando chegar. Pesquisadores de muitas das principais organizações de IA dizem-nos que será como lançar um foguete: algo que precisamos estar certos antes de dar a ordem de “partida”. Por isso, parece urgente começar a trabalhar para aprendermos sobre foguetes. Não importa se a humanidade deveria ou não ter medo, definitivamente deveríamos era estar a cumprir com os nosso deveres.


Texto de Kelsey Piper publicado originalmente na Vox, atualizado a 23 de dezembro de 2018.

Tradução de Daniel de Bortoli e revisão de José Oliveira.

Botao-assineBoletim

Anúncios

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s