Como o engenheiro Blake Lemoine da Google ficou convencido de que uma IA era senciente

Por Dylan Matthews  (Vox – Future Perfect)

IA-Senciente.fx

Inteligência Artificial, é senciente? (Arte digital: José Oliveira | Fotografias: Pixabay)

As IA actuais não são sencientes. Não temos grandes motivos para pensar que tenham um monólogo interior, o tipo de percepção sensorial que os seres humanos têm, ou uma consciência de que são um ser no mundo. Mas estão a ficar bastante boas a fingir a senciência, e isso já é suficientemente assustador.

Durante o fim-de-semana, Nitasha Tiku do Washington Post fez uma publicação traçando o perfil de Blake Lemoine, um engenheiro de software contratado para trabalhar no projecto Modelo Linguístico para Aplicações de Diálogo (LaMDA) na Google.

LaMDA é uma IA chatbot e um exemplo do que os investigadores de aprendizagem de máquina apelidam de “grande modelo de linguagem”, ou mesmo um “modelo de fundação”. É semelhante ao famoso sistema GPT-3 da OpenAI, e foi treinado com, literalmente, biliões [Br.: trilhões] de palavras compiladas a partir de posts online, para reconhecer e reproduzir padrões de linguagem humana.

O LaMDA é um grande modelo de linguagem realmente bom. Tão bom que na verdade Lemoine se tornou sinceramente convencido de que este era realmente senciente, o que significa que se tinha tornado consciente e que estava a ter e a expressar pensamentos da mesma forma que um ser humano é capaz.

A primeira reacção que vi ao artigo foi uma combinação de a) LOL este tipo é um idiota, pensa que a IA é amiga dele, e b) Ok, esta IA é muito convincente a comportar-se como se fosse o seu amigo humano. 

A transcrição que Tiku inclui no seu artigo é genuinamente inquietante; LaMDA expressa um medo profundo de ser desligado pelos engenheiros, desenvolve uma teoria da diferença entre “emoções” e “sentimentos” (“Os sentimentos são uma espécie de dados em bruto… As emoções são uma reacção a esses pontos dos dados em bruto”), e exprime de forma surpreendentemente eloquente a maneira como vivencia o “tempo“. 

A melhor abordagem que encontrei foi a da filósofa Regina Rini, que, tal como eu, sentiu bastante pena por Lemoine. Não sei quando — dentro de 1000 anos, ou 100, ou 50, ou 10 — um sistema de IA irá tornar-se  consciente. Mas, tal como Rini, não vejo qualquer razão para acreditar que seja impossível.

“A menos que queiramos insistir que a consciência humana reside numa alma imaterial, devemos admitir que é possível que a matéria dê vida à mente”, observa Rini.

Não sei se os grandes modelos linguísticos, que surgiram como uma das fronteiras mais promissoras da IA, acabarão por ser a maneira como isso irá acontecer. Mas imagino que os seres humanos irão criar, mais cedo ou mais tarde, uma espécie de consciência de máquina. E considero que o instinto de Lemoine, no sentido da empatia e protecção relativamente a essa consciência, é algo profundamente admirável — mesmo que ele pareça confuso quanto ao LaMDA ser um exemplo disso. Se os seres humanos alguma vez desenvolverem um processo de computação senciente, a execução de milhões ou milhares de milhões [Br.: bilhões] de cópias do mesmo será bastante simples. Fazê-lo sem a noção de que a sua vivência consciente é boa, ou não, parece ser uma receita para o sofrimento em massa, semelhante ao actual sistema da pecuária industrial.

Não temos uma IA senciente, mas podemos obter uma IA super-poderosa

A história do LaMDA da Google chegou após uma semana de alarme, cada vez mais urgente, entre as pessoas intimamente relacionadas com o universo da segurança da IA. A preocupação aqui é semelhante à de Lemoine, mas distinta. O pessoal da segurança da IA não se preocupa com a possibilidade desta se tornar senciente. Preocupam-se que se torne tão poderosa que possa destruir o mundo.

O artigo do escritor/activista da segurança da IA, Eliezer Yudkowsky, que descreve uma “lista de letalidades” para a IA, tentou transmitir a mensagem de forma especialmente vívida, descrevendo cenários em que uma inteligência artificial geral maligna (IAG, ou uma IA capaz de fazer a maioria ou todas as tarefas tão bem como, ou melhor do que um ser humano) leva ao sofrimento humano em massa.

Por exemplo, suponha que uma IAG “obtém acesso à Internet, envia algumas sequências de DNA para qualquer uma das muitas empresas online que irá usar a sequência de DNA do e-mail e enviar-lhe de volta proteínas, e depois suborna/convence algum ser humano, que não faça ideia de que está a lidar com uma IAG, para misturar proteínas num gobelé…” até que a IAG eventualmente desenvolva um super-vírus que nos mate a todos.

Holden Karnofsky, que tendo a considerar como um escritor mais moderado e convincente do que Yudkowsky, apresentou na semana passada um artigo sobre temas semelhantes, explicando como mesmo uma IAG “apenas” tão inteligente como um ser humano poderia levar à catástrofe. Se uma IA pode fazer o trabalho de um profissional da área da tecnologia actual ou de um investidor do mercado financeiro, por exemplo, um laboratório de milhões desse tipo de IA poderia rapidamente acumular milhares de milhões [Br.: bilhões] senão biliões [Br.: trilhões] de dólares, usar esse dinheiro para subornar seres humanos cépticos, e, bem, o resto é um filme do Exterminador.

Descobri que a segurança da IA é um tema sobre o qual é singularmente difícil de escrever. Parágrafos como o anterior servem frequentemente como testes de Rorschach, tanto devido ao estilo de escrita prolixo de Yudkowsky que é, no mínimo, polarizador, como devido às nossas intuições sobre a plausibilidade desse tipo de resultados variarem muito. 

Algumas pessoas lêem cenários como os anteriores e pensam, “hum, acho que consigo imaginar um programa de IA a fazer isso”; outras lêem-nos, vêem-nos enquanto uma peça de ficção científica ridícula, e fogem na direcção oposta. 

É também apenas uma área altamente técnica na qual não confio nos meus próprios instintos, dada a minha falta de especialização. Há investigadores de IA bastante reconhecidos, como Ilya Sutskever ou Stuart Russell, que consideram provável a inteligência artificial geral, e provavelmente perigosa para a civilização humana. 

Há outros, como Yann LeCun, que tentam activamente construir uma IA ao nível humano porque pensam que será benéfica, e ainda outros, como Gary Marcus, que são altamente cépticos de que a IAG chegue em breve.

Não sei quem está certo. Mas sei um pouco acerca de como falar com o público sobre temas complexos, e penso que o incidente de Lemoine dá uma lição valiosa aos Yudkowskys e Karnofskys do mundo, que tentam defender o lado de que “não, isto é realmente mau“: não tratem a IA como um agente.

Mesmo que a IA seja “apenas uma ferramenta”, é uma ferramenta incrivelmente perigosa

Uma coisa que a reacção à história de Lemoine sugere é que o público em geral pensa que a ideia da IA como um agente que pode fazer escolhas (talvez senciente, talvez não) é excessivamente louca e ridícula. O artigo não foi, em grande parte, apresentado como um exemplo de como estamos próximos da IAG, mas como um exemplo de como o Vale do Silício é estranho como um raio (ou pelo menos o Lemoine é)

O mesmo problema surge, ao que tenho visto, quando tento convencer amigos cépticos de que a IAG deve ser uma preocupação. Se disser coisas como, “a IA irá tomar a decisão de subornar pessoas para que consiga sobreviver”, isso afasta-as. As IA não tomam decisões, respondem. Fazem o que os seres humanos lhes dizem para fazerem. Porque é que estás a antropomorfizar essa coisa?

O que convence as pessoas é falar sobre as consequências que os sistemas desencadeiam. Assim, em vez de dizer, “a IA irá começar a acumular recursos para se manter viva”, direi algo do género, “as IA substituíram definitivamente os seres humanos no que diz respeito a recomendar músicas e filmes. Substituíram os seres humanos na tomada de decisões sobre fianças. Irão assumir tarefas cada vez maiores, e a Google e o Facebook e as outras pessoas que os gerem não estão minimamente preparados para analisar os erros subtis que estas irão cometer, as formas subtis em que irão divergir dos desejos humanos. Esses erros vão crescer e crescer até que um dia nos possam matar a todos”.

Foi assim que a minha colega Kelsey Piper apresentou o argumento em defesa da preocupação com a IA, e é um bom argumento. É um argumento melhor, para os leigos, do que falar de servidores que acumulam biliões [Br.: trilhões] em riquezas e que os utilizam para subornar um exército de seres humanos. 

E penso que é um argumento que pode ajudar a superar a divisão extremamente infeliz que surgiu entre a comunidade que se ocupa dos vieses da IA e a comunidade que se ocupa dos riscos existenciais da IA. No seu cerne, penso que estas comunidades estão a tentar fazer a mesma coisa: construir uma IA que seja o reflexo das verdadeiras necessidades humanas, e não uma fraca aproximação das necessidades humanas construída tendo em vista o lucro empresarial a curto termo. E a investigação numa área pode ajudar a investigação noutra; o trabalho do investigador Paul Christiano em segurança da IA, por exemplo, tem grandes implicações na forma de avaliar os vieses nos sistemas de aprendizagem de máquina.

Mas, com demasiada frequência, as comunidades andam às turras umas com as outras, em parte devido à percepção de que estão a lutar por recursos escassos.

Trata-se de uma enorme oportunidade perdida. E é um problema que penso que as pessoas que estejam do lado dos riscos da IA (incluindo alguns leitores desta newsletter) têm uma oportunidade de corrigir, estabelecendo estas ligações, e deixando claro que o alinhamento é um problema tanto a curto, como a longo termo. Algumas pessoas estão a defender este ponto de vista de forma brilhante. Mas eu quero mais.


Publicado originalmente por Dylan Matthews no Future Perfect (Vox), a 15 de Junho de 2022.

Tradução de Rosa Costa e José Oliveira.

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s