Dois tipos de risco ocupam uma parte crescente da ética do futuro. O risco existencial (risco X) é o de a humanidade ser extinta ou perder para sempre seu potencial. O risco de sofrimento (risco S) é o de o futuro conter sofrimento em escala muito maior do que toda a história até aqui. Teorias diferentes dão pesos diferentes a cada um, e a diferença revela o que cada uma valoriza.
Uma analogia
Um engenheiro que projeta uma represa pensa em dois desastres: a represa secar e a represa romper e inundar a cidade. São problemas diferentes, com prioridades diferentes, e um bom projeto evita os dois. O risco X é a represa seca: nenhum futuro. O risco S é a inundação: um futuro que afoga quem está nele.
Explicando para uma criança
Imagine que a sua turma vai existir por muitos e muitos anos. Dá para pensar em duas coisas ruins: a turma acabar, ou a turma continuar, mas com todo mundo sofrendo. Pensar no futuro é tentar evitar as duas, começando pelo que a gente decide hoje.
Ao fim desta lição, você vai conseguir
- Definir riscos existenciais e riscos de sofrimento.
- Dizer onde as duas agendas se encontram e onde divergem.
- Avaliar as objeções (especulação, custo de oportunidade, fanatismo).
Ajuda ter lido: Gerações futuras: quem ainda não nasceu conta igual?, O peso do sofrimento diante do prazer.
Antes de ler: o que você faria?
Dois futuros: num, a humanidade desaparece sem dor; no outro, sobrevive por milênios mantendo trilhões de seres em sofrimento.
Qual é pior? Sua resposta diz que tipo de risco você prioriza?
Ver o que a lição responde
Quem acha o segundo pior prioriza riscos S; quem acha o primeiro, riscos X. A lição mostra que as agendas se encontram na maior parte do caminho e divergem no que vem primeiro.
Riscos existenciais
Nick Bostrom definiu o termo em 2002. Toby Ord, em O Precipício (2020), estimou em cerca de um em seis a chance de uma catástrofe existencial neste século, com as maiores parcelas vindas de inteligência artificial fora de controle e de pandemias projetadas, seguidas de guerra nuclear e colapso climático. Os números são palpites informados, e Ord os apresenta assim.
Por que a extinção seria pior do que uma catástrofe que mata 99% das pessoas? Derek Parfit respondeu: porque a diferença entre 99% e 100% não é 1%, e sim todas as gerações que poderiam vir depois. Para quem dá valor a vidas futuras boas, evitar a extinção é a prioridade quase absoluta. Veja gerações futuras.
Riscos de sofrimento
Autores ligados ao Center on Long-Term Risk e ao Center for Reducing Suffering, como Brian Tomasik, David Althaus, Lukas Gloor, Magnus Vinding e Tobias Baumann, chamam a atenção para outro desfecho: não a ausência de futuro, mas um futuro cheio de sofrimento. Exemplos: criação de animais em escala ainda maior, espalhada por outros planetas; mentes artificiais sencientes criadas aos bilhões e exploradas; regimes totalitários estáveis com tecnologia de vigilância; conflitos entre potências com armas capazes de causar sofrimento extremo.
Baumann, em Avoiding the Worst (2022), a primeira introdução sistemática ao tema, separa os riscos S em incidentais (sofrimento como subproduto de atividades que ninguém faz para causar dor, como a criação industrial hoje), agenciais (causado de propósito, por conflito, vingança ou sadismo) e naturais (como o sofrimento dos animais selvagens, se se espalhar). Para ele, os riscos mais importantes são os realistas e evitáveis, e os fatores que os alimentam são tecnologia poderosa sem controle, falta de consideração moral por quem sente, e conflito. Veja catástrofes morais.
Para quem dá prioridade ao sofrimento, um risco S é pior do que a extinção: um universo vazio não sofre; um universo cheio de seres em agonia sofre mais do que qualquer coisa que já existiu. Essa é a divergência central entre as duas agendas.
| Risco X | Risco S | |
|---|---|---|
| O pior desfecho | Nenhum futuro | Um futuro de sofrimento imenso |
| Quem mais se preocupa | Utilitaristas clássicos, longoprazistas | Éticas focadas no sofrimento |
| O que torna o futuro valioso | Vidas boas que podem existir | Ausência de vidas ruins |
| Ponto de convergência | Evitar catástrofes irreversíveis; manter instituições capazes de corrigir erros; cautela com tecnologias que concentram poder | |
Onde as agendas se encontram
Apesar da divergência, as duas concordam em muito. Uma guerra nuclear é um risco X e um risco S. Uma inteligência artificial com objetivos errados pode extinguir ou pode fazer sofrer. Instituições estáveis, cooperação internacional e cautela com tecnologias irreversíveis servem às duas. Por isso, muitos autores defendem focar no que é robusto: o que reduz os dois riscos ao mesmo tempo.
As objeções
- Fanatismo: números astronômicos multiplicados por probabilidades minúsculas podem justificar qualquer sacrifício presente. A resposta usual é limitar a agregação, focar em riscos concretos e nunca aceitar causar sofrimento certo hoje por benefícios especulativos. Veja incerteza moral.
- Negligenciar o presente: há sofrimento certo agora. Defensores respondem que as duas coisas não competem tanto quanto parece, e que parte dos riscos (pandemias, guerra) já afeta o presente.
- Quem decide o futuro: pensar a longo prazo pode virar desculpa para concentrar poder “pelo bem das gerações futuras”. É um risco real, e uma razão para preferir instituições plurais a planos grandiosos.
- Ficção científica: mentes artificiais e colonização espacial parecem distantes. Mas a criação industrial de animais já é um sofrimento em escala que ninguém previu há dois séculos, e as decisões que moldam tecnologias são tomadas antes que elas existam.
Para que serve pensar nisso
Não para prever o futuro, e sim para notar que as escolhas de hoje, sobre inteligência artificial, sobre como tratamos quem sente, sobre que instituições construímos, podem se repetir em escala muito maior. A pergunta do círculo moral aparece de novo, no tempo: quem vai sofrer com o que decidimos, e eles têm voz?
Para guardar
- Riscos X ameaçam a existência da humanidade; riscos S ameaçam criar sofrimento em escala astronômica, e podem ser piores.
- As agendas convergem em evitar catástrofes irreversíveis deste século e manter a capacidade de corrigir erros.
- Divergem em prioridade quando é preciso escolher entre existir e existir bem.
Para pensar
Entre um futuro em que a humanidade acaba sem dor e outro em que sobrevive mantendo trilhões em sofrimento, qual é pior para você? Sua resposta diz que risco você prioriza.
Teste rápido · 1 de 3
Aplique · 2 de 3
Confira · 3 de 3