Por William MacAskill, Forethought (EA Forum)

Hoje, a Forethought e eu lançamos uma série de ensaios intitulada Better Futures (Futuros Melhores), aqui.¹ Demorou cerca de oito anos a ficar pronta, por isso, estou muito feliz por finalmente ter sido lançada! Esta série questiona se, ao olharmos para o futuro, devemos concentrar-nos na sobrevivência ou no florescimento?

Na prática, os altruístas orientados para o futuro tendem a concentrar-se em garantir a nossa sobrevivência (ou evitar que sejamos permanentemente privados do nosso poder por algumas IA sem valor). No entanto, talvez devêssemos concentrar-nos antes no florescimento futuro. 

Porquê? 

Bem, mesmo que consigamos sobreviver, provavelmente teremos um futuro que será apenas uma pequena fracção do que poderia ter sido. Em vez disso, poderíamos tentar ajudar a orientar a sociedade para que se encaminhe no sentido de um futuro verdadeiramente maravilhoso.   

Ou seja, parece-me que está mais em jogo quando se trata de florescimento do que de sobrevivência. Por isso, talvez esse deva ser o nosso objectivo principal.

A série de ensaios completa foi lançada hoje. Mas irei publicar resumos de cada ensaio ao longo das próximas duas semanas. O primeiro episódio do podcast em vídeo da Forethought, que aborda este tema, também já está disponível.

O primeiro ensaio, intitulado Introducing Better Futures (Introdução a Futuros Melhores), apresenta, juntamente com o suplemento, a argumentação básica para nos concentrarmos em tornar o futuro maravilhoso em vez de apenas garantirmos um futuro aceitável. Baseia-se num modelo simples de dois factores: o valor do futuro é o produto da probabilidade de “Sobrevivência” e do valor do futuro, se sobrevivermos, ou seja, o nosso “Florescimento”.  

(Aqui, “Não Sobrevivência” significa qualquer coisa que nos prenda, no curto prazo, a um futuro com valor quase nulo: a extinção causada por uma catástrofe biológica conta, mas se uma super-inteligência sem valor nos retirar o poder sem causar a extinção humana, isso também conta. Creio que é assim que o termo “catástrofe existencial” é frequentemente usado na prática).

A ideia central é que talvez estejamos mais próximos do “limite máximo” da Sobrevivência do que do “limite máximo” do Florescimento. 

A maioria das pessoas (embora não todas) acredita que a Sobrevivência neste século é muito mais provável do que improvável. O Metaculus calcula que o risco de extinção seja de cerca de 4%; ao passo que um inquérito a super-previsores calcula que seja de 1%. Toby Ord calcula que o risco existencial total neste século seja de 16%.

Gráfico da The Possible Worlds Tree.

Em contrapartida, qual é o valor do Florescimento? Ou seja, se a extinção a curto prazo for igual a zero, que percentagem do valor de um futuro melhor possível devemos esperar alcançar? Nos dois ensaios seguintes, Fin Moorhouse e eu argumentamos que esse valor é baixo. 

Se estivermos mais distantes do limite máximo do Florescimento, a dimensão do problema do não Florescimento é muito maior do que a dimensão do problema do risco de não Sobrevivência.

Para ilustrar, suponha que a nossa probabilidade de Sobrevivência neste século é de 80%, mas o valor do futuro condicionado pela sobrevivência é de apenas 10%.

Se assim for, então o problema do não Florescimento é 36 vezes maior do que o problema da não Sobrevivência. 

(Caso admita uma “probabilidade de destruição” [p(doom)] muito elevada, então este argumento não se aplica, e a série de ensaios será menos interessante para si.)

Pode ser difícil pensar claramente sobre a importância do Florescimento, pois o valor absoluto do futuro pode ser tão elevado, mesmo que só alcancemos uma pequena fracção do que é possível. Mas é a fracção do valor alcançado que importa. Dada a minha definição de quantidades de valor, é tão importante passar de um futuro com 50% de valor para outro com 60%, como passar de um futuro com 0% para um com 10% de valor.

Podemos até alcançar um mundo utópico no sentido comum e, ainda assim,  estar a perder quase todo o valor possível.

No mito medieval, existe uma concepção de utopia chamada “Cocanha” — uma terra de abundância, onde todos permanecem jovens e podem comer e fazer sexo à vontade. 

Nós, nos países ricos de hoje, vivemos em sociedades que os camponeses medievais provavelmente considerariam como a Cocanha. Mas estamos muito, muito longe de uma sociedade perfeita. Da mesma forma, aquilo que hoje em dia podemos considerar uma utopia pode, no entanto, mal arranhar a superfície do que é possível.  

Tendo tudo isto em conta, penso que há muito mais em jogo quando se trata de Florescimento do que de Sobrevivência.

Penso que o Florescimento também é provavelmente mais negligenciado. A razão principal é que o desejo latente de Sobreviver (neste sentido) é muito mais forte do que o de Florescer. A maioria das pessoas realmente não quer morrer, nem ser privada do seu poder ao longo da sua vida. Portanto, para que o risco existencial seja elevado, tem de haver uma falha verdadeiramente muito grave na racionalidade. 

Por exemplo, aqueles que controlam a IA super-inteligente (e os seus funcionários) teriam de estar iludidos quanto ao risco que enfrentam, ou ter preferências incomuns para estarem dispostos a pôr as suas vidas em risco por um pouco mais de poder. Em alternativa, considere a disposição agregada dos Estados Unidos da América para pagar a fim de evitar uma probabilidade de 0,1% de uma catástrofe que mataria toda a gente: mais de 1 bilião de dólares. Alguns sinais de alerta poderiam, pelo menos em parte, desencadear esse desejo latente e despertar uma enorme atenção por parte da sociedade.

Em contrapartida, em que medida existe um desejo latente que garanta que, daqui a milhares de anos, as pessoas não cometam algum erro moral subtil mas importante? Não muito. A sociedade pode estar claramente a caminho de cometer alguns erros morais graves e simplesmente não se importar com isso.

Mesmo dentro da comunidade de altruísmo eficaz (e pessoas adjacentes), a maior parte da atenção está voltada para a Sobrevivência, e não para o Florescimento. Felizmente, a segurança da IA e a redução dos riscos biológicos têm recebido muito mais atenção e investimento nos últimos anos; mas, à medida que isso acontece, a negligência em relação a estes aspectos diminui. 

A tratabilidade do trabalho em prol de futuros melhores é muito menos clara; se o argumento falhar, é aqui que falhará. Mas penso que devemos, pelo menos, tentar compreender quão viáveis podem ser as melhores intervenções nesta área. Há uma década, o trabalho na segurança da IA e na mitigação dos riscos biológicos parecia incrivelmente intratável. Porém, um esforço concertado tornou essas áreas tratáveis.

Penso que iremos querer fazer o mesmo em muitas outras áreas — incluindo golpes de Estado por seres humanos com a ajuda da IA; a utilização da IA para melhorar o raciocínio, a tomada de decisões e a coordenação; o carácter e a personalidade que queremos que a IA avançada tenha; os direitos legais que as IA devem ter; a governança de projectos para construir super-inteligência; a governança do espaço sideral e muito mais.

Por fim, eis algumas advertências sobre a série como um todo. 

Primeiro, os ensaios tendem a usar uma linguagem de realismo moral — por exemplo, ao falar de uma ética “correcta”. Mas a maioria dos argumentos é transferível — basta traduzi-los para a linguagem da sua preferência, por exemplo, “o que pensaria eu sobre ética após uma reflexão ideal”.

Segundo, estou a falar apenas de uma parte da ética — nomeadamente, o que é melhor para o futuro a longo prazo, ou o que por vezes chamo de “ética cósmica”. Por isso, não falo de algumas razões óbvias para querer evitar catástrofes a curto prazo — como não querer que você e todos os seus entes queridos morram. Mas não estou a dizer que essas razões não sejam moralmente importantes. 

Terceiro, pensar em tornar o futuro melhor pode, por vezes, parecer assustadoramente utópico. Penso que isso é uma preocupação legítima — dado que alguns dos movimentos utópicos do século XX foram extremamente nocivos. E penso que isso deve tornar-nos particularmente cautelosos face a propostas para futuros melhores baseadas numa concepção limitada do que seria um futuro ideal. Dado o progresso moral que devemos esperar alcançar, devemos partir do princípio de que quase nada sabemos sobre como seria o melhor futuro possível.

Em vez disso, defendo o que tenho chamado de viatopia, ou seja, um estado do mundo em que a sociedade pode orientar-se rumo aos melhores resultados possíveis, sejam eles quais forem. Plausivelmente, a viatopia é um estado da sociedade em que os riscos existenciais são muito baixos, em que podem florescer muitos pontos de vista morais diferentes, em que muitos futuros possíveis permanecem abertos para nós e em que as decisões importantes são tomadas através de processos ponderados e reflectidos. 

Do meu ponto de vista, a principal prioridade no mundo de hoje é aproximarmo-nos da viatopia, e não de um estado final restrito ou fechado. Não desenvolvo mais o conceito de viatopia nesta série, mas espero escrever sobre ele mais detalhadamente no futuro.

1. Esta série está longe de ser um esforço individual. Fin Moorhouse é co-autor de dois dos ensaios e Phil Trammell é co-autor do suplemento Basic Case for Better Futures (Argumentação Básica para Futuros Melhores).
   E houve muita ajuda da equipa mais alargada da Forethought (Max Dalton, Rose Hadshar, Lizka Vaintrob, Tom Davidson e Amrit Sidhu-Brar), bem como de um grande número de comentadores ↩︎

---

Publicado originalmente por William MacAskill no EA Forum, a 4 de Agosto de 2025.

Tradução de José Oliveira🔸