Por José Oliveira

Julgo que todos nós já passamos por aquela situação em que um professor explica uma matéria e nós não conseguimos compreender. A partir daí podemos imaginar a sensação do nosso próprio professor a passar por uma situação semelhante. Mas temos dificuldade em imaginar que matéria seria essa. E se essa matéria fosse sobre várias disciplinas e 10 vezes mais difícil? Tão difícil que todos os nossos melhores professores juntos não conseguissem compreender? Ou se fosse 100 vezes mais difícil do que isso? Ou 1000 vezes mais difícil, mas, ainda assim, houvesse uma superinteligência capaz de compreender algo tão complexo? Mesmo conseguindo imaginar algo semelhante (pois acabei de o fazer!), isso não é o suficiente para nos aproximarmos sequer da compreensão daquilo que seriam as capacidades, em concreto, dessa superinteligência. Ou seja, estaria muito longe de responder à pergunta: O que é ser superinteligente? 

Pois bem, a OpenAI, criadora do ChatGPT e do GPT4, pretende criar uma superinteligência artificial desse tipo. E qual é o problema? Bom, entre outros, o problema é que pretende fazê-lo o mais rápido possível. E não é a única com essas intenções. Para percebermos a gravidade destes riscos, vejamos o que diz Kelsey Piper:

Kelsey Piper, “A OpenAI quer construir máquinas superinteligentes — o mais rápido possível” (Newsletter da Vox)

Quais são as intenções da OpenAI? 

A OpenAI publicou recentemente os seus “Planos para a IAG e mais além” em que afirma que uma introdução incremental da IA é a melhor solução para, posteriormente, introduzir uma Inteligência Artificial Geral (IAG), isto é, uma inteligência ao nível humano, e depois ir mais além. Nessa declaração de intenções, o Director Executivo, Sam Altman, esclarece o seguinte sobre o seu plano: 

“A transição bem-sucedida para um mundo com superinteligência é talvez o projecto mais importante — e esperançoso e assustador — da história da humanidade.”

Kelsey Piper destaca que esta declaração de intenções tem a vantagem de pôr a nu o que a OpenAI pretende fazer, pois assim poderá ficar sujeita ao tipo de escrutínio e prestação de contas que os próprios afirmam ser necessários numa situação como esta. 

Agora que muitos parecem levar a sério as intenções da OpenAI, vão-se levantando as vozes que defendem que ainda não estamos preparados para a implementação destes poderosos sistemas. Esse é o caso do Professor Gary Marcus, da Universidade de Nova Iorque, que apela ao refreamento dessas intenções: 

“A ausência a nível mundial de um conjunto abrangente de políticas para assegurar o alinhamento da IA — ou seja, salvaguardas para assegurar que uma função da IA não seja prejudicial para os seres humanos — exige uma nova abordagem”. 

Por isso, defende que a abordagem necessária é precisamente adiar a implementação desses poderosos sistemas.

Superinteligência, acelerar porquê?

A declaração da OpenAI parece direccionada a essas críticas veementes da aceleração da superinteligência, invocando duas ordens de razões que justificariam a aceleração em vez do abrandamento:

1. Podemos aprender com a implementação de modelos menos poderosos: as várias oportunidades de detectar erros e excentricidades para tentar compreender e corrigir esses modelos poderão ajudar no tipo de cenários em que só se tem uma única oportunidade para acertar.  
2. É melhor fazê-lo enquanto isso é muito caro: visto que os chips tendem a ficar cada vez mais baratos, teremos mais hipóteses de resolver o problema do alinhamento se implementarmos uma IA ao nível humano numa altura em que é muito caro fazê-lo, em vez de esperarmos pelo momento em que esta seja extremamente barata e acessível.

Embora não consiga descartar a hipótese deste argumento ser uma racionalização formulada a partir daquilo que a OpenAI faria de qualquer modo, Kelsey Piper vê no argumento da aceleração da IA três razões para a sua plausibilidade: 

1. É possível que nesta corrida haja menos competidores,
2. É possível que seja mais fácil legislar e auditar esses sistemas sem grande disrupção da economia,
3. É possível que, havendo mais dificuldade em escalar as capacidades da IA, diminuam as hipóteses dos cenários catastróficos.  

Mas, não estamos todos no mesmo barco?  

Embora seja louvável que a OpenAI aja com uma certa transparência face às suas intenções e face aos riscos existenciais para a humanidade (por oposição àqueles que, tendo as mesmas intenções, ridicularizam os riscos), ainda assim Kelsey Piper alerta que estamos todos no mesmo barco, ou seja, os riscos não se colocam apenas àqueles que estão a tomar a decisão de avançar a todo o vapor. E acrescenta que se inclina para o abrandamento de todo o processo, na esperança que a OpenAI permita, de facto, que o seu trabalho seja auditado.

————————————————————————————————————–

Outras leituras

Kelsey Piper, “Holden Karnofsky fala sobre a prevenção da IA catastrófica ” (Newsletter da Vox).

No mesmo dia em que a OpenAI anunciava o lançamento do GPT4, Kelsey Piper entrevistou aquele que aponta como um dos poucos que, desde 2008, já vaticinava que os poderosos sistemas de IA seriam um dos maiores problemas da nossa era: Holden Karnofsky — co-fundador da GiveWell e da Open Philanthropy (OP). 

Nos últimos anos, Holden Karnofsky tem escrito mais sobre o assunto, a organização que dirige (OP) tem investido mais para tentar resolver o problema e, recentemente, anunciou que iria deixar a OP (possivelmente de forma definitiva) para trabalhar exclusivamente neste problema.

Eis alguns destaques da entrevista:

• Holden considera que o mais importante sobre a IA é a ideia de que esta poderá servir como uma forma de automatizar os avanços científicos e tecnológicos em que os seres humanos estão envolvidos, fazendo com que um futuro estranho e incontrolável se avizinhe mais depressa do que tendemos a imaginar.
• E ao ser a IA a fazer essa investigação, o avanço da ciência e da tecnologia decorrerá num ciclo contínuo. E, se atingirmos esse ciclo, o progresso será extremamente explosivo.
• Quanto a isso, Holden pensa que a sociedade não demonstrou ser capaz de se adaptar a uma taxa de mudança tão rápida.
• Pois, esta pode vir a ser a primeira vez em toda a história que o desenvolvimento da ciência e da tecnologia não será de origem humana.
• Por isso Holden pensa que podemos estar à beira de uma explosão radical no crescimento tecnológico, não vendo ele como é que a aceleração deste processo nos possa ser útil.

——————————

Scott Alexander, “OpenAI e os seus “Planos para a IAG e mais além””(Astral Codex Ten).

Analisando a mesma publicação recente da OpenAI (“Planos para a IAG e mais além“), Scott Alexander considera que esta é a última peça de uma recente (e convincente) campanha para fazer o público acreditar que estão a priorizar a segurança. Aborda então os argumentos aí apresentados e pretende demonstrar como alguns estão “obviamente errados”, passando pelos seguintes pontos:

• Porque é que os catastrofistas pensam que a OpenAI é má e deviam ter abrandado a investigação há muito tempo: os mais cépticos acreditam que, se o cenário fosse a crise climática, pouco adiantaria criar-se, em 2041, um tipo de energia limpa que resolvesse o problema, se uma companhia de energia extremamente poluente levasse a que tudo ficasse submerso até 2031 (isto por analogia às linhas de tempo adiantadas pelos super-previsores da Metaculus relativas à passagem de uma IAG para uma superinteligência),
• Porque é que a OpenAI pensa que a sua investigação é boa agora, mas pode ser má mais tarde
  • O argumento da corrida: para estudar o comportamento da IA é melhor que esta exista, assim como é melhor que seja cada vez mais poderosa, o que justificaria avançar agora,
  • O argumento da computação: conseguiríamos lidar com um poder computacional com um QI de 200 mas, possivelmente, não com um de 1000,
  • O argumento do alarme de incêndio: caso a IA venha a fazer algo alarmante, isso poderá desencadear um grande envolvimento mundial e acções que atrasem o momento que se está a tentar prevenir.
• Porque é que as pessoas cínicas podem pensar que tudo isto é uma farsa de qualquer das maneiras: vejamos um exemplo de James Miller: “Cada uma de 10 pessoas recebe um botão diferente. Quem carregar no botão recebe um milhão de dólares. Caso alguém carregue no seu botão haverá 50% de hipóteses do mundo acabar daqui a um ano, portanto o risco é o mesmo caso seja 1 ou 10 pessoas a carregar. O que é que acontece e o que é que este jogo tem a ver com o risco da IAG?”
• O que é que vamos fazer agora: Referindo-se directamente à OpenIA, Scott conclui: “Na realidade, vamos agradecer-lhes profundamente pela sua declaração extremamente boa e depois vamos fazer figas, com muita força, para que estejam a dizer a verdade.
  OpenAI ofereceu-se, unilateralmente, para destruir o mundo um pouco menos do que antes.”

——————————

Scott Alexander, “Porque não sou (tão) catastrofista (como algumas pessoas)”(Astral Codex Ten).

Qual seria a probabilidade de uma catástrofe existencial causada pela IA? Começando por listar as previsões (dos 3% de Will MacAskill, passando pelos 50% de Holden Karnofsky, até aos mais de 90% de Eliezer Yudkowsky), Scott Alexander diz acreditar que teremos mais probabilidade de sobreviver (pelo menos durante uns tempos), mas ainda assim uma probabilidade de 33% de morrermos todos devido à IA.

Apresenta depois as suas razões:

• Um cenário optimista — será que uma IA suficientemente inteligente e malévola para usar super-armas autonomamente virá antes ou depois de várias IA pseudo-alinhadas suficientemente inteligentes para descobrir como prevenir a IA malévola? Scott pensa que a IA malévola virá depois. 
• Interlúdio: Agentes adormecidos — devido à forma como as IA são treinadas, analisa o caso de uma IA que tivesse um bug no seu sistema motivacional e que talvez fosse suficientemente inteligente para agir como um agente adormecido, ou seja, fingindo estar bem alinhada, mas estando de facto à espera de uma oportunidade para atacar.
• Um cenário pessimista — a mesma coisa que no cenário optimista, excepto o facto de algumas (ou todas?) as IA intermédias, nas quais confiamos para resolver os nossos problemas, serem, na verdade, agentes adormecidos. Assim, no momento em que lhes delegarmos mais funções cruciais (económicas, industriais, militares, etc.), talvez aí coordenem algum tipo de ataque, ou simplesmente, para estas, nós passemos a ser redundantes.
• Que pressupostos diferenciam os cenários optimista e pessimista? 
  
  1: Até que ponto as várias IA intermédias serão coerentes? — Scott questiona se a IA mudará de baixa coerência (ex. GPT) para alta coerência (ex. assassina-do-mundo) a determinado ponto. E se esse ponto estará mais perto de um QI de 150 ou de 1000. Em seu entender, se for o primeiro caso, o mais provável é morrermos, e se for o segundo, é possível que consigamos superar a situação. Refere ainda que está optimista porque espera que a coerência seja um processo gradual.
  
  2: Qual será a probabilidade de as várias IA cooperarem umas com as outras, em vez de cooperarem com os seres humanos? — Explicadas as diferentes possibilidades de cooperação entre várias IA, Scott mostra-se optimista porque acredita que, antes das IA que possam realizar negociações assustadoras sem causa aparente, deverá obter-se algumas IA capazes de realizar investigação sobre o problema do alinhamento. 
  
  3: Até que ponto será mais difícil resolver o problema do alinhamento do que verificar a solução de alguém? — Mais uma vez, Scott mostra-se optimista pois no seu entender haverá muitos caminhos possíveis para resolver o problema do alinhamento, incluindo alguns em que as soluções sejam mais verificáveis, mesmo tratando-se de soluções fornecidas por agentes adormecidos IA, testando-se essas soluções em diferentes IA para ver se funcionariam.
  
  4: Até que ponto será fácil criar super-armas? — Depois de analisar várias possibilidades, Scott conclui que, caso os nanorrobôs sejam fáceis de criar, então teremos uma janela de tempo muito curta entre as IA intermédias capazes de resolver o problema do alinhamento e as assassinas-do-mundo. Mas caso os nanorrobôs sejam impossíveis, então, provavelmente, só nos teríamos de preocupar com os cenários semelhantes a revoltas de escravos. 
  
  5: A descolagem será lenta vs. rápida? — Embora nem todos estejam tranquilos, Scott mostra-se mais uma vez optimista pois parece haver provas de que o progresso seja gradual.
  
  6: O que acontece se apanharmos alguns agentes adormecidos? — Caso isso aconteça, poderemos considerar a possibilidade de todas as IA serem agentes adormecidos ou, não sabendo como distinguir as que são das que não são, podermos agir em conformidade.
  
  Mas face a essa hipótese Scott não está tão optimista. No entanto, ao ver como as pessoas se assustaram com as ofensas (comparativamente leves) do Bing, ou face à pandemia da COVID, vendo como as pessoas podem passar, muito rapidamente, de uma reacção insuficiente para uma reacção excessiva, talvez seja possível que haja uma solução. E a esse propósito, e citando Milton Friedman, refere que se muda o mundo tendo um plano e esperando por uma crise, pois o único que tiver um plano, quando a crise acontecer, será seguido pelos outros.

Assim, termina sublinhando que, mesmo sendo improvável que aconteça tudo o que acabou de descrever, caso isso venha a acontecer, o leitor poderá querer considerar perguntar às pessoas da comunidade de alinhamento IA quais são os planos que estes estão a fazer!

---

“Breves do AE”: resumos de publicações AE que servem essencialmente como estímulo à leitura dos textos originais, mas que, por constrangimentos de tempo, ou restrições de direitos autorais, não poderíamos traduzir.

Por José Oliveira (com a colaboração de Rosa Costa).