Série de posts sobre o “século mais importante”

Por Holden Karnofsky (Cold Takes)

secXXImais importante.fx

Séc. XXI, será o mais importante? (Arte digital: José Oliveira | Fotografias: Pixabay)

A série de posts sobre o “século mais importante” argumenta que o século XXI poderá ser o século mais importante para a humanidade, como resultado do desenvolvimento de sistemas avançados de IA que poderão acelerar drasticamente o avanço científico e tecnológico, levando-nos mais rapidamente do que a maioria das pessoas imagina para um futuro profundamente desconhecido.

Poderá ver os destaques da série do seguinte modo:

Poderá ler a série inteira como:

  • Uma série de posts no blogue: Sugeria que se começasse com o Roteiro. (Cada texto, no final, tem um link para o próximo texto.) Este é o formato original, onde será mais fácil de clicar de um lado para o outro, ver os gráficos em tamanho real, etc. 
  • Uma série em áudio disponível na maioria das plataformas de podcast (Spotify, Stitcher, Apple Podcasts, etc.): 

Screenshot 2021-10-31 at 12-15-55 The most important century blog post series

O resumo da série

Passei a maior parte da minha carreira à procura de formas de fazer o maior bem possível, por cada unidade de dinheiro ou de tempo. Trabalhei na identificação de instituições de caridade baseadas em provas científicas que trabalhassem na saúde global e no desenvolvimento (co-fundando a GiveWell), e mais tarde mudei-me para uma filantropia que arrisca mais (co-fundando a Open Philanthropy). 

Ao longo dos últimos anos — graças ao amplo diálogo com a comunidade altruísta eficaz e à extensa investigação feita pela equipa de Investigação de Visão Global da Open Philanthropy — fiquei convencido de que a humanidade como um todo enfrenta enormes riscos e oportunidades neste século. Estou agora concentrado numa melhor compreensão e preparação face a esses riscos e oportunidades.

Este texto irá resumir uma série de posts sobre as razões que me levam a acreditar que poderemos estar no século mais importante de todos os tempos para a humanidade. Apresenta um pequeno resumo, posts essenciais e às vezes gráficos essenciais para 5 pontos básicos: 

  • O futuro a longo prazo é radicalmente desconhecido. Avanços suficientes na tecnologia podem levar a uma civilização de longa duração abrangendo toda a galáxia, que pode ser uma utopia radical, uma distopia ou qualquer coisa entre as duas. 
  • O futuro a longo prazo pode chegar muito mais rápido do que pensamos, devido a uma possível explosão de produtividade impulsionada pela IA. 
  • O tipo relevante de IA aparentemente será desenvolvida neste século — fazendo deste século aquele que iniciará, e terá a oportunidade de configurar, uma futura civilização abrangendo toda a galáxia. 
  • Estas afirmações parecem demasiado “alucinantes” para serem levadas a sério. Mas há muitas razões para se pensar que vivemos numa época alucinante, e que devemos estar prontos para tudo. 
  • Nós, as pessoas que vivemos neste século, temos a oportunidade de ter um enorme impacto sobre um grande número de pessoas futuras — se conseguirmos entender a situação o suficiente para encontrar acções úteis. Mas neste momento, não estamos preparados para isso. 

Esta tese tem um ar estranho, tipo ficção científica. Está muito longe de onde esperava chegar quando me propus a fazer o maior bem possível. 

Mas parte da mentalidade que desenvolvi através da GiveWell e da Open Philanthropy é estar aberto a possibilidades estranhas, enquanto são examinadas criticamente com o máximo de rigor possível. E depois de muito investimento no exame da tese acima, acho que é provável que o mundo precise urgentemente de concentrar mais atenção nisso. 

Ao escrever sobre isso gostaria, ou de despertar mais atenção sobre isso, ou de gerar mais oportunidades para ser criticado e mudar a minha opinião. 

Vivemos numa época alucinante, e devemos estar prontos para tudo

Muitas pessoas consideram a afirmação o “século mais importante” demasiado “alucinante”: um futuro radical com uma IA avançada e uma civilização a propagar-se por toda a nossa galáxia pode acontecer eventualmente, mas será mais daqui a 500 anos, ou 1000 ou 10 000. (Não neste século). 

Estes prazos mais longos iriam colocar-nos numa posição menos alucinante do que se estivéssemos no “século mais importante”. Mas no esquema geral das coisas, mesmo que a expansão da galáxia comece daqui a 100 000 anos, isso continuaria a implicar que vivemos numa época extraordinária — a pequeníssima fracção de tempo durante a qual a galáxia passa de quase sem vida a largamente povoada. Significa que, de um número assombroso de pessoas que alguma vez irão existir, nós estamos entre os primeiros. E que de entre centenas de milhares de milhões [Br. bilhões] de estrelas na nossa galáxia, a nossa produzirá os seres que irão preenchê-la. 

fermi-agnostic

Mais informação em Todas as Possíveis Visões Sobre o Futuro da Humanidade São Alucinantes 

Quando nos aproximamos podemos ver que vivemos num século especial, não apenas numa era especial. Podemos ver isso ao olhar para a rapidez com que a economia está a crescer. Não parece que se esteja a passar nada de especial porque, desde que qualquer um de nós nasceu, a economia mundial tem crescido uma pequena percentagem por ano: 

business-as-usual

No entanto, quando nos afastamos para olhar para a história num contexto maior, vemos uma imagem de um passado instável e de um futuro incerto: 

long-vs-short-view

Mais informação em Isto Não Pode Continuar 

Actualmente estamos a viver o período de crescimento mais rápido da história. Esta taxa de crescimento não dura há muito tempo e não pode continuar indefinidamente (não há átomos suficientes na galáxia para sustentar esta taxa de crescimento nem mesmo por mais 10 000 anos). E se conseguirmos uma aceleração maior nesta taxa de crescimento — alinhada com a aceleração histórica — poderemos alcançar  mais rapidamente os limites daquilo que é possível: durante este século. 

Para recapitular: 

  • Os últimos milhões de anos — com o início da nossa espécie — têm tido mais acontecimentos do que os vários milhares de milhões [Br. bilhões] anteriores. 
  • Os últimos cem anos têm tido mais acontecimentos do que os vários milhões anteriores. 
  • Se tivermos outro acelerador (como me parece que a IA pode ser), as próximas décadas podem ser as que terão mais acontecimentos de todas. 
index

Clicar aqui para continuar a ver a animação.

Mais informações sobre estas cronologias em Todas as Possíveis Visões Sobre o Futuro da Humanidade São Alucinantes, Isto Não Pode Continuar, e Previsões sobre IA Transformativa: Âncoras Biológicas, respectivamente. 

Dada a época em que vivemos, precisamos de estar abertos a possíveis maneiras de mudar o mundo de forma rápida e radical. Idealmente, estaríamos um pouco mais atentos a essas coisas, como ao privilegiar a segurança quando conduzimos. Mas hoje em dia, tais possibilidades recebem pouca atenção. 

Textos essenciais: 

O futuro a longo prazo é radicalmente desconhecido

A tecnologia tende a aumentar o controlo das pessoas sobre o meio ambiente. Para dar um exemplo concreto e fácil de visualizar de como as coisas poderiam ser caso a tecnologia se desenvolva o suficiente, podemos imaginar uma tecnologia como “pessoas digitais”: pessoas totalmente conscientes “feitas de software” que habitam ambientes virtuais de tal forma que podem experimentar qualquer coisa e podem ser copiadas, funcionar a velocidades diferentes e até mesmo ser “reiniciadas”. 

Um mundo de pessoas digitais poderia ser radicalmente distópico (ambientes virtuais usados para consolidar o poder absoluto de algumas pessoas sobre outras) ou utópico (sem doenças, pobreza material ou violência não consensual, e muito mais sabedoria e compreensão de si mesmo do que é possível hoje). De qualquer das formas, as pessoas digitais poderiam permitir que uma civilização se espalhasse pela galáxia e perdurasse por muito tempo. 

Muitas pessoas pensam que este tipo de civilização do futuro, grande e estável, é para onde nos poderíamos dirigir eventualmente (seja através de pessoas digitais ou de outras tecnologias que aumentem o controlo sobre o meio ambiente), mas não se preocupam em discuti-lo porque parece muito distante. 

Texto essencial: Pessoas Digitais Seria Algo Ainda Mais Importante 

O futuro a longo prazo pode chegar muito mais depressa do que pensamos.

Os modelos padrão de crescimento económico implicam que qualquer tecnologia que pudesse automatizar totalmente a inovação causaria uma “singularidade económica”: a produtividade iria até ao infinito neste século. Isto porque iria criar um poderoso ciclo que se auto-alimenta: mais recursos -> mais ideias e inovação -> mais recursos -> mais ideias e inovação… 

Este ciclo não seria inédito. Penso que é, em certo sentido, a forma “por defeito” do funcionamento da economia — durante a maior parte da história da economia até há algumas centenas de anos. 

duplicatorfeedbackloop-original-2

duplicatorfeedbackloop-original-6

História da economia: mais recursos -> mais pessoas -> mais ideias -> mais recursos… 

Mas na “transição demográfica”, há algumas centenas de anos, o passo desse ciclo “mais recursos -> mais pessoas” parou. O crescimento da população nivelou-se e mais recursos levaram a pessoas mais ricas em vez de mais pessoas: 

demographic-transition-nutshell

A economia de hoje: mais recursos -> mais pessoas mais ricas -> o mesmo ritmo de ideias -> … 

O ciclo que se auto-alimenta poderia voltar se alguma outra tecnologia restaurasse a dinâmica “mais recursos -> mais ideias”. Uma dessas tecnologias poderia ser o tipo certo de IA: aquilo a que chamo PASTA, ou Processo para Automatizar o Avanço Científico e Tecnológico [Process for Automating Scientific and Technological Advancement]

pasta-stills-1

pasta-stills-3

Futuro possível: mais recursos -> mais IA-> mais ideias -> mais recursos… 

Isso significa que o nosso futuro radical de longo prazo pode cair sobre nós muito rapidamente depois do PASTA ser desenvolvido (se é que alguma vez o será). 

Isso também significa que se os sistemas PASTA estiverem desalinhados — perseguindo os seus próprios objectivos não compatíveis com o ser humano — as coisas podem, muito rapidamente, correr mal. 

Textos essenciais: 

Parece que o PASTA será desenvolvido neste século

Não é controverso dizer que um sistema de IA altamente geral, como o PASTA, seria importantíssimo. A questão é, quando é que (se é que alguma vez) tal coisa irá existir? 

Nos últimos anos, uma equipa da Open Philanthropy tem investigado esta questão de vários ângulos. 

Um método de previsão observa que: 

  • Até à data, nenhum modelo de IA foi sequer 1% tão “grande” (em termos de cálculos efectuados) como um cérebro humano, e até há pouco tempo isso não teria sido economicamente acessível — mas isso irá mudar relativamente depressa.
  • E até ao final deste século, será economicamente acessível treinar, muitas vezes, modelos enormes de IA; treinar modelos do tamanho do cérebro humano em tarefas extremamente difíceis e dispendiosas; e até talvez realizar tantos cálculos como os que têm sido efectuados “por evolução” (por todos os cérebros animais da história até à data).

As previsões deste método estão de acordo com o último inquérito aos investigadores de IA: algo como o PASTA é mais provável de acontecer neste século do que não acontecer.

Foram também examinados vários outros ângulos. 

Um desafio para essas previsões: não há um “campo de previsão da IA” e não há qualquer consenso de especialistas comparável ao que existe em torno das mudanças climáticas. 

É difícil ter confiança quando as discussões em torno destes tópicos são reduzidas e limitadas. Mas penso que devemos levar a sério a hipótese do “século mais importante” com base no que sabemos agora, até que (e a menos que) se desenvolva um “campo de previsão da IA”.

Textos essenciais: 

Não estamos preparados para isto

Quando digo que estamos no “século mais importante”, não quero apenas dizer que vão ocorrer acontecimentos significativos. Quero dizer que nós, as pessoas que vivem neste século, temos a oportunidade de ter um enorme impacto no grande número de pessoas que irá existir — se conseguirmos fazer sentido da situação o suficiente para encontrar acções que sejam úteis.

Mas isso é um grande “se”. Muitas coisas que possamos fazer podem tornar as coisas melhores ou piores (e é difícil dizer quais). 

Ao confrontar a hipótese do “século mais importante”, a minha atitude não corresponde às familiares de “entusiasmo e mover” ou “medo e evitar”. Em vez disso, sinto uma estranha mistura de intensidade, urgência, confusão e hesitação. Estou a olhar para algo maior do que aquilo com que alguma vez esperei confrontar-me, sentindo-me com poucas qualificações e ignorante face ao que fazer a seguir. 

Situação 

Reacção apropriada (na minha opinião) 

“Esta pode ser uma empresa de um bilião de dólares!” 

“Uau, VAMOS a isso!” 

“Este pode ser o século mais importante!” 

“… Oh… uau… não sei o que dizer e estou com um certa vontade de vomitar… Tenho de me sentar e pensar sobre isto”. 

Com isso em mente, em vez de um “apelo à acção”, eu lanço um Apelo à Vigilância

  • Caso tenha ficado convencido pelos argumentos desta série, então não se apresse a “fazer algo” e depois siga em frente.
  • Em vez disso, realize hoje todas as acções robustamente boas que puder e, caso contrário, coloque-se numa posição melhor para realizar acções importantes quando chegar a hora. 
  • Para quem procura uma acção rápida que torne mais provável uma acção futura, veja esta secção de “Apelo à Vigilância”

Textos essenciais: 

Uma metáfora para o meu estado de espírito é que parece que o mundo é um conjunto de pessoas num avião disparado pela pista de descolagem: 

airplane-launch-compressed

E sempre que leio comentários sobre o que está a acontecer no mundo, as pessoas estão a discutir sobre como colocar o cinto de segurança da forma mais confortável possível, já que usar um faz parte da vida, ou estão a dizer que os melhores momentos da vida são estar sentados com a sua família e observar as linhas brancas que passam rapidamente por nós, ou estão a discutir a propósito de quem será a culpa do ruído de fundo que dificulta que se ouçam uns aos outros. 

Não sei para onde estamos realmente a ir, ou o que podemos fazer sobre isso. Mas sinto-me bastante seguro em dizer que nós, como civilização, não estamos prontos para o que está para vir, e precisamos começar por levar isto mais a sério. 

Agradecimentos

Tenho poucas ou nenhumas reivindicações de originalidade. A grande maioria das afirmações, observações e ideias perspicazes desta série, veio de uma certa combinação de: 

  • Anos de discussões com outros, particularmente nas comunidades altruísta eficaz e racionalista. É difícil associar ideias específicas a pessoas específicas dentro deste contexto, mas sei que uma grande parte do meu pensamento vem, pelo menos aproximadamente, de Carl Shulman, Dario Amodei e Paul Christiano, e que o trabalho de Nick Bostrom e Eliezer Yudkowsky tem sido muito influente de um modo geral. (Também entendo que futuristas e transhumanistas anteriores influenciaram estas pessoas e comunidades, embora eu não me tenha envolvido muito directamente com os seus trabalhos). 
  • Análises aprofundadas pela equipa de Investigações Longotermistas de Visão Mundial da Open Philanthropy: Ajeya Cotra e Tom Davidson (especialmente), assim como Nick Beckstead, Joe Carlsmith e David Roodman. Também me baseei fortemente nos relatórios de Katja Grace e Luke Muehlhauser. 

Além disso, devo agradecer a: 

  • Ajeya Cotra, María Gutiérrez Rojas e Ludwig Schubert pela ajuda com as imagens. 
  • Várias pessoas pelo feedback sobre as versões anteriores:
    • A minha irmã Daliya Karnofsky, a minha esposa Daniela Amodei e Elie Hassenfeld: um agradecimento especial por lerem os rascunhos mais antigos (menos legíveis) e por darem muitas vezes um feedback detalhado sobre várias repetições.
    • Pessoas que serviram como “leitores beta” e deram quantidades significativas de feedback, particularmente sobre o que estava (e não estava) a fazer sentido para eles: Alexander Berger, Damon Binder, Lukas Gloor, Derek Hopf, Mike Levine, Eli Nathan, Sella Nevo, Julian Sancton, Simon Shifrin, Tracy Williams. (Mais uma série de pessoas já mencionadas acima).

Publicado originalmente por Holden Karnofsky no Cold Takes, a 24 de Setembro de 2021.

Tradução de Rosa Costa e José Oliveira.

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s