Perguntas frequentes sobre riscos de sofrimento astronômico futuro (riscos-s)

Por Tobias Baumann (Foundational Research Institute)

S-risk

No futuro haverá muito mais sofrimento? (Arte digital: José Oliveira | Fotografias: Pixabay)

Perguntas gerais

O que são os riscos-s?

No ensaio Reduzir os Riscos de Sofrimento Astronômico: Uma Prioridade Negligenciada, os riscos-s (também chamados de riscos de sofrimento ou riscos de sofrimento astronômico) são definidos como “eventos que provocariam sofrimento em escala astronômica, excedendo vastamente todo o sofrimento que existiu na Terra até agora”.

Caso esta ideia não lhe seja familiar, poderá obter mais informação assistindo à palestra apresentada no EAG Boston por Max Daniel ou lendo a introdução aos riscos-s.

Pode exemplificar o que poderão ser riscos-s?

No futuro, pode tornar-se possível executar simulações tão complexas que os indivíduos (artificiais) dentro dessas simulações sejam sencientes. Nick Bostrom cunhou o termo mindcrime (crime mental) para a ideia de que os processos de pensamento de uma IA superinteligente podem causar danos morais intrínsecos se contiverem pessoas simuladas (sofrendo). Uma vez que existem razões instrumentais para executar muitas dessas simulações, isso pode levar a grandes quantidades de sofrimento. Por exemplo, uma IA pode usar simulações para melhorar seu conhecimento sobre psicologia humana ou para prever o que os seres humanos fariam em uma situação de conflito.

Outros exemplos comuns incluem sub-rotinas de sofrimento e disseminação do sofrimento de animais selvagens para outros planetas.

Não será tudo isso demasiado implausível?

À primeira vista, pode-se ter a impressão de que os riscos-s são apenas especulações infundadas. Mas, para desconsiderar os riscos-s como não tendo importância (em previsão), seria preciso estar extremamente confiante de que a sua probabilidade é negligenciável, o que, refletindo bem, é difícil de justificar. A introdução aos riscos-s apresenta vários argumentos para explicar a razão da sua probabilidade não ser, de fato, negligenciável:

Primeiramente, os riscos-s são disjuntivos. Eles podem se materializar em qualquer número de maneiras não relacionadas. De um modo geral, é difícil prever o futuro e a gama de cenários que podemos imaginar é limitada. Portanto, é plausível que cenários imprevistos – conhecidos como cisnes negros – representem uma fração significativa dos riscos-s. Assim, mesmo que quaisquer cenários distópicos específicos que possamos conceber sejam altamente improváveis, a probabilidade de algum risco-s pode ainda assim ser não negligenciável.

Em segundo lugar, enquanto os riscos-s podem parecer especulativos à partida, todas as suposições subjacentes são plausíveis. […]

Em terceiro lugar, existem precedentes históricos. A pecuária industrial, por exemplo, é estruturalmente similar aos riscos-s (incidentais), embora menor em escala. Em geral, a humanidade tem um histórico misto em relação ao uso responsável de novas tecnologias, portanto, dificilmente podemos ter certeza de que os riscos tecnológicos futuros serão tratados com cuidado e consideração adequados.

Quais sistemas de valor devem ter a preocupação de reduzir os riscos-s?

Praticamente todas as pessoas concordariam que o sofrimento (involuntário) deveria, tudo o mais sendo igual, ser evitado. Por outras palavras, assegurar que o futuro não contenha quantidades astronômicas de sofrimento é um denominador comum de quase todos os sistemas de valor (plausíveis).

O trabalho na redução de riscos-s é, portanto, um bom candidato para um compromisso entre diferentes sistemas de valor. Em vez de mantermos as nossas próprias visões éticas, de forma limitada, em potencial conflito com outras, deveríamos trabalhar por um futuro que seja considerado favorável por muitos sistemas de valor.

O futuro

As gerações futuras não estarão em uma posição muito melhor para fazer algo sobre isso?

As gerações futuras provavelmente terão mais informações sobre os riscos-s em geral, incluindo quais serão os mais graves, o que lhes dará a vantagem de encontrar intervenções eficazes. Pode-se, portanto, argumentar que o trabalho feito mais futuramente terá um impacto marginal significativamente maior. No entanto, também há argumentos para trabalhar agora nos riscos-s.

Em primeiro lugar, pensar nos riscos-s apenas quando eles começarem a se materializar não é suficiente porque pode ser tarde demais para fazer algo a esse respeito. Sem uma antecipação e cautela suficientes, a sociedade pode já estar “bloqueada” em uma trajetória que, em última análise, leva a um mau resultado.

Em segundo lugar, uma das principais razões pelas quais as futuras gerações estarão em melhor posição é que elas poderão recorrer a trabalhos anteriores. Trabalhos anteriores – especialmente pesquisa ou progresso conceptual – podem ser eficazes na medida em que permitam que gerações futuras reduzam de forma mais eficaz os riscos-s.

Em terceiro lugar, mesmo que as gerações futuras sejam capazes de evitar os riscos-s, não está claro que se importarão o suficiente para fazê-lo. Podemos trabalhar para garantir isso fazendo crescer um movimento de pessoas que queiram reduzir riscos-s. Nesse sentido, seria de esperar que um crescimento precoce fosse mais valioso do que um crescimento tardio.

Em quarto lugar, se houver uma probabilidade suficiente de que a IA mais inteligente do que a humana seja construída neste século, é possível que estejamos em uma posição única para influenciar o futuro. Se for possível trabalhar agora de forma produtiva na segurança da IA, então também deve ser possível reduzir os riscos-s agora.

O ensaio de Toby Ord A cronologia do trabalho destinado a reduzir o risco existencial aborda a mesma questão com relação aos esforços para reduzir os riscos-x. Ele dá duas razões adicionais em favor do trabalho precoce: a saber, a possibilidade de se mudar o rumo (que é mais valioso se for feito logo no início) e o potencial de auto-aperfeiçoamento.

Visto que os seres humanos são (pelo menos em certa medida) benevolentes e terão soluções tecnológicas avançadas à sua disposição, não será provável que o futuro seja bom de qualquer maneira?

Se estivermos (muito) otimistas em relação ao futuro, poderemos pensar que os riscos-s são improváveis ​​por esse motivo (o que é diferente da objeção de que os riscos-s parecem improváveis). Um argumento comum é que evitar o sofrimento se tornará mais fácil com tecnologia mais avançada; já que os seres humanos se importam pelo menos um pouco em reduzir o sofrimento, haverá menos sofrimento no futuro.

Embora esse argumento tenha algum mérito, não é infalível. Por norma, quando nós, seres humanos, encontramos um problema que precisa ser resolvido, tendemos a implementar a solução mais eficiente economicamente, muitas vezes independentemente de envolver grandes quantidades de sofrimento. A pecuária industrial fornece um bom exemplo de tal incompatibilidade; diante do problema de produzir carne para milhões de pessoas da maneira mais eficiente possível, foi implementada uma solução que resulta no envolvimento de uma imensa quantidade de sofrimento para os animais não humanos.

Além disso, o futuro provavelmente conterá populações vastamente maiores, especialmente se os seres humanos a certa altura colonizarem o espaço. Tudo o mais sendo igual, tal aumento na população também pode implicar (muito) mais sofrimento. Mesmo que a fração de sofrimento diminua, não está claro se a quantidade absoluta será maior ou menor.

Se o seu objetivo principal é reduzir o sofrimento, então suas ações importam menos se o futuro for “automaticamente” bom (porque o futuro irá conter pouco ou nenhum sofrimento). Dada a suficiente incerteza, isso é motivo para se concentrar, por medida de precaução, na possibilidade de maus resultados de qualquer maneira. Em um mundo onde os riscos-s são prováveis, podemos ter mais impacto.

fará sentido trabalhar com os riscos-s caso uma pessoa seja muito pessimista em relação ao futuro?

Embora o nosso grau de otimismo ou pessimismo em relação ao futuro seja claramente relevante face à nossa preocupação com os riscos-s, uma pessoa precisaria ser excepcionalmente otimista em relação ao futuro para descartar totalmente os riscos-s.

Da introdução aos riscos-s:

Trabalhar com riscos-s não requer uma visão particularmente pessimista do progresso tecnológico e da trajetória futura da humanidade. Para nos preocuparmos com os riscos-s, é suficiente acreditar que a probabilidade de um mau resultado não é desprezível, o que é consistente com a crença de que um futuro utópico livre de sofrimento também é bem possível.

Por outras palavras, preocuparmo-nos com os riscos-s não requer crenças incomuns sobre o futuro.

Riscos-s e riscos-x

Qual a relação entre riscos-s e os riscos existenciais (riscos-x)? Os riscos-s são uma subclasse dos riscos-x?

Primeiramente, lembre-se da definição de riscos-x de Nick Bostrom:

Risco existencial – aquele em que um resultado adverso aniquilaria a vida inteligente originária da Terra ou limitaria permanente e drasticamente seu potencial.

Os riscos-s são definidos da seguinte forma:

Os riscos-s são eventos que trariam sofrimento em escala astronômica, excedendo muito todo o sofrimento que existiu na Terra até agora.

De acordo com essas definições, tanto os riscos-x como os riscos-s se relacionam com influenciar o futuro a longo prazo, mas a redução dos riscos-x é sobre a realização do potencial da humanidade, enquanto reduzir os riscos-s é sobre como evitar maus resultados.

Há duas visões possíveis sobre se os riscos-s são uma subclasse de riscos-x.

De acordo com uma possível visão, é concebível ter quantidades astronômicas de sofrimento que não levem à extinção ou que limitem o potencial da humanidade. Poderíamos até imaginar que algumas formas de sofrimento (como sub-rotinas de sofrimento) são instrumentalmente úteis para a civilização humana. Portanto, nem todos os riscos-s são também riscos-x. Por outras palavras, alguns futuros possíveis são tanto um risco-x quanto um risco-s (por exemplo, IA não controlada), alguns seriam risco-x mas não um risco-s (por exemplo, um universo vazio), alguns seriam um risco-s, mas não um risco-x (por exemplo, sub-rotinas de sofrimento), e alguns não seriam nenhum deles.

Risco-s?
Sim Não
Risco-x? Sim IA não controlada Universo vazio
Não Sub-rotinas de sofrimento Futuro utópico

A segunda visão é que o significado de “potencial” depende dos nossos valores. Por exemplo, podemos pensar que um futuro cósmico só é valioso se não contiver sofrimento (severo). Se “potencial” for em relação ao potencial de um futuro utópico sem sofrimento, então cada risco-s é (por definição) um risco-x também.

Como posso decidir se o mais importante é reduzir os riscos de extinção da humanidade ou reduzir os riscos-s?

Isso depende dos difíceis julgamentos éticos feitos por cada um de nós. A resposta depende de quanto você se importa em reduzir o sofrimento versus aumentar a felicidade, e como iria estabelecer um compromisso entre os dois. (Isso também levanta questões fundamentais sobre como a felicidade e o sofrimento podem ser medidos e comparados).Os proponentes da ética focada no sofrimento argumentam que a redução do sofrimento é de importância moral primordial e que a felicidade adicional não pode contrabalançar facilmente o sofrimento (severo). De acordo com essa perspectiva, prevenir os riscos-s é moralmente mais urgente.Outros sistemas de valor, como o utilitarismo clássico ou a teoria da diversão, enfatizam a criação de felicidade ou outras formas de valor positivo, e afirmam que as vastas possibilidades de um futuro utópico podem superar os riscos-s. Embora a prevenção dos riscos-s seja valiosa mesmo nessa perspectiva, considera-se apesar disso ainda mais importante garantir que a humanidade tenha de qualquer modo um futuro cósmico, através da redução dos riscos de extinção. Além das questões normativas, a resposta também depende da questão empírica de quanta felicidade e sofrimento o futuro conterá. David Althaus sugere que consideremos tanto a proporção normativa do compromisso sofrimento/felicidade (PNS), que mede como poderíamos chegar, em teoria, ao compromisso entre o sofrimento e a felicidade, e a proporção esperada de sofrimento/felicidade (PES), que mede as quantidades (relativas) de sofrimento e felicidade que esperamos no futuro. Nesse contexto, quem enfatiza a felicidade (baixa PNS) ou quem é otimista em relação ao futuro (baixa PES) tenderá a se concentrar na redução do risco de extinção. Se o produto de PNS e PES for alto – seja por causa de uma ênfase normativa no sofrimento (alta PNS) ou visões pessimistas sobre o futuro (alta PES) – é mais plausível concentrar-se na redução de riscos-s.

Perguntas diversas

O conceito de riscos-s está ligado à possibilidade de IA geral e senciência artificial?

Muitos riscos-s, como sub-rotinas de sofrimento ou crime mental, têm a ver com mentes artificiais ou inteligência artificial mais inteligente que a humana. Mas o conceito de riscos-s não é conceitualmente dependente da possibilidade de cenários de IA. Por exemplo, espalhar o sofrimento de animais selvagens para outros planetas não requer senciência artificial ou IA. No entanto, os exemplos geralmente envolvem senciência artificial devido ao vasto número de seres artificiais que poderiam ser criados se a senciência artificial se tornar viável a qualquer momento no futuro. Combinado com o histórico da humanidade de uma preocupação moral insuficiente por seres “sem voz” submetidos ao nosso comando, isso pode representar um risco-s particularmente grave. (Mais detalhes aqui).

Por que pensaríamos à partida que a senciência artificial é possível?

Essa questão foi discutida extensivamente pela filosofia da mente. Muitas teorias populares sobre a consciência, como a teoria geral do espaço de trabalho, teorias de ordem superior ou teoria da informação integrada, concordam que a senciência artificial é possível em princípio. O filósofo Daniel Dennett apresenta isso do seguinte modo:

Há anos que defendo que sim, em princípio é possível que se possa obter a consciência humana através de uma máquina. Afinal, é isso que somos. Somos robôs feitos de robôs feitos de robôs. Somos incrivelmente complexos, trilhões [Pt. biliões] de partes móveis. Mas todas são partes robóticas não miraculosas.

Como exemplo do tipo de raciocínio envolvido, considere este experimento mental intuitivo: se você pegasse um cérebro biológico senciente e substituísse um neurônio após outro por um chip de computador funcionalmente equivalente, será que isso tornaria o cérebro de alguma maneira menos senciente? Será que o cérebro continuaria senciente depois de todos os seus neurónios biológicos serem substituídos? Se não, em que momento deixaria de ser senciente? O debate ainda não está resolvido, mas parece pelo menos plausível que a senciência artificial seja possível em princípio. Além disso, não precisamos ter certeza para justificar a preocupação moral. É suficiente que não possamos descartá-la.

Muito bem, convenceram-me. O que posso pessoalmente fazer para ajudar a reduzir os riscos-s?

Um primeiro passo simples é participar de discussões, por exemplo, neste grupo do Facebook. Se mais pessoas pensarem e escreverem sobre o tópico (seja de forma independente ou nas organizações do Altruísmo Eficaz), avançaremos na questão crucial de como reduzir da melhor forma os riscos-s. Ao mesmo tempo, isso ajuda a construir uma comunidade que, por sua vez, pode envolver ainda mais pessoas. Se você tiver interesse em fazer pesquisas sérias sobre riscos-s imediatamente, pode dar uma olhada nesta lista de perguntas abertas para encontrar um tópico de pesquisa adequado. O trabalho em política e estratégia de IA é outra opção interessante, pois o progresso nessa área nos permite moldar a IA de maneira mais refinada, facilitando a identificação e implementação de medidas de segurança contra os riscos-s.
Outra possibilidade é doar para organizações que trabalham na redução de riscos-s. Atualmente, o Foundational Research Institute é o único grupo com foco explícito em riscos-s, mas outros grupos também contribuem para a solução de problemas relevantes para a redução de riscos-s. Por exemplo, o Machine Intelligence Research Institute visa garantir que a inteligência artificial mais inteligente do que a humana esteja alinhada com os valores humanos, o que provavelmente também reduz os riscos-s. Instituições de caridade que promovem amplas melhorias sociais, tais como melhor cooperação internacional ou valores benéficos, também podem contribuir para a redução dos riscos-s, embora de maneira menos direcionada.

 


Texto de Tobias Baumann publicado originalmente no site do Foundational Research Institute a 1 de setembro de 2017

Tradução de Lara André. Revisão de José Oliveira.

Botao-assineBoletim

 

Anúncios

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s