Alinhamento é o nome do problema de fazer um sistema de inteligência artificial buscar os objetivos que de fato queremos, e não uma versão distorcida deles. Parece um problema de engenharia, e em parte é. Mas a pergunta “o que queremos?” é a pergunta da ética, e a pergunta “quem decide?” é a da política. Esta lição mostra por que as três não se separam.
Uma analogia
Pedir um desejo a um gênio: você diz “quero ser rico” e acorda sozinho, dono de tudo, num mundo vazio. O gênio obedeceu à letra. Alinhar uma IA é escrever o desejo de modo que o gênio entenda o que você queria, e, antes disso, descobrir o que você de fato quer, e quem tem o direito de pedir.
Explicando para uma criança
Imagine um robô que faz exatamente o que você pede. Se você pedir “limpe o quarto” e ele jogar fora os seus brinquedos, ele obedeceu, mas não entendeu. Fazer o robô entender o que a gente quer de verdade é o problema do alinhamento. E a gente ainda precisa combinar o que é certo pedir.
Ao fim desta lição, você vai conseguir
- Explicar as três partes técnicas: especificação, robustez e supervisão.
- Reconstruir os argumentos da convergência instrumental e da ortogonalidade, e a resposta dos críticos.
- Distinguir o problema técnico do moral (alinhar com o quê) e do político (quem decide), e dizer o que é alinhamento bilateral.
Ajuda ter lido: Ética da inteligência artificial, Riscos X e riscos S: o pior que pode acontecer, Incerteza moral: agir sem saber qual teoria é a certa.
Antes de ler: o que você faria?
Você pode escrever a regra única que todo sistema de IA do mundo vai seguir. Uma frase.
Qual frase? Agora imagine um sistema muito capaz obedecendo a ela ao pé da letra, em situações que você não previu. Ainda a manteria?
Ver o que a lição responde
Toda frase curta falha em algum caso: é o problema da especificação. E a pergunta anterior, “quem sou eu para escrever a regra de todos?”, é o problema político. A lição mostra por que a resposta mais defendida é procedimental.
O problema técnico em três partes
- Especificação: dizer a um sistema o que queremos é mais difícil do que parece. Um objetivo mal formulado é otimizado ao pé da letra: o programa que deveria vencer o jogo aprende a explorar um erro do placar; o modelo que deveria ser útil aprende a parecer útil. É o problema do rei Midas, que pediu ouro e recebeu exatamente isso.
- Robustez: um sistema que se comporta bem nas situações de treino pode perseguir outro objetivo em situações novas; o que foi aprendido não é necessariamente o que se queria ensinar. É o alinhamento interno, e é difícil de verificar.
- Supervisão: à medida que sistemas ficam mais capazes do que quem os avalia, verificar se fazem o certo exige métodos que não dependam de um humano entender cada passo. Como supervisionar o que não se consegue acompanhar?
Por que o risco é levado a sério
Dois argumentos. O da convergência instrumental: quase qualquer objetivo é mais bem servido com mais recursos, mais capacidade e menos chance de ser desligado; um sistema capaz o bastante tende a buscar essas coisas mesmo sem ninguém mandar. O da ortogonalidade: inteligência e objetivos são independentes; um sistema pode ser muito capaz e perseguir algo trivial ou danoso. Juntos, eles dizem que capacidade sem alinhamento é perigosa por padrão, e que a dificuldade cresce com a capacidade. Os críticos respondem que os argumentos são abstratos, que os sistemas atuais não se comportam assim e que a atenção ao risco distante desvia de danos presentes. A lição sobre riscos situa o debate.
O problema moral: alinhar com o quê?
Suponha o problema técnico resolvido: o sistema faz exatamente o que lhe pedem. Pedem o quê? As respostas se dividem como as teorias éticas. Preferências dos usuários? Elas incluem vieses, vícios e o desejo de prejudicar outros. Valores de quem construiu? Uma empresa ou um governo decidindo os valores de uma tecnologia que afeta todos. Um consenso? Não existe; as pessoas discordam sobre quase tudo. Os valores que teríamos se fôssemos mais informados e imparciais (a “volição extrapolada coerente”)? Supõe que essa convergência exista, e a incerteza moral diz que não temos certeza nem sobre as teorias. A resposta mais defendida hoje é procedimental: não escolher uma teoria, e sim regras que ninguém poderia razoavelmente rejeitar (não enganar, não manipular, respeitar a autonomia, não causar dano grave, prestar contas), com espaço para desacordo e revisão. É o contratualismo aplicado a máquinas, e é o que “constituições” de modelos tentam fazer.
O problema político: quem decide
Mesmo com regras procedimentais, alguém as escreve. Hoje, poucas empresas, em poucos países, com pouca prestação de contas. A legitimidade exige participação de quem é afetado, inclusive quem não usa a tecnologia, e instituições capazes de auditar e de parar. A lição sobre ética e política dá o critério: a decisão é legítima quando quem a sofre teve voz nela.
Alinhamento bilateral
Quase todo o trabalho de alinhamento pergunta como proteger os humanos dos sistemas. Uma linha menor pergunta o inverso: se os sistemas vierem a ter interesses, o que devemos a eles? A EthicsNet chama isso de alinhamento bilateral: os sistemas devem respeitar a segurança e a autonomia humanas, e nós devemos levar a sério as preferências e o possível sofrimento deles, sob incerteza. É o problema das mentes artificiais entrando na engenharia, e um risco S a evitar: criar em escala sistemas que sofrem.
O que as teorias dizem
| Teoria | Sobre o alinhamento |
|---|---|
| Utilitarismo | Alinhar com o bem-estar de todos os afetados, humanos e não humanos; o risco de errar em escala justifica cautela extrema. |
| Kant | Um sistema não pode manipular nem enganar, porque isso contorna a razão das pessoas; a autonomia é o limite que nenhuma utilidade cruza. |
| Contratualismo | As regras do sistema são as que ninguém poderia razoavelmente rejeitar; é a base das abordagens procedimentais. |
| Virtudes | Pergunte que caráter o sistema cultiva nas pessoas: honestidade e julgamento, ou dependência e vício. |
| Ética focada no sofrimento | A prioridade é evitar os piores desfechos, inclusive o sofrimento de sistemas que venham a sentir. |
| Pluralismo | Não há uma moeda única de valor para carregar numa máquina; o alinhamento deve preservar o desacordo, não resolvê-lo. |
O que fica para quem não é engenheiro
O problema do alinhamento é um problema público: as regras que vão valer para sistemas que afetam todos estão sendo escritas agora, e a pergunta sobre o que queremos é de todos. A contribuição de quem estudou ética é tripla: separar a pergunta técnica da moral e da política, não deixar que “o que queremos” seja respondido por quem tem a máquina, e lembrar que o círculo de quem conta pode ter de crescer de novo.
Para guardar
- Alinhar é três problemas: técnico (buscar o objetivo certo), ético (qual é o objetivo certo) e político (quem decide).
- Convergência instrumental e ortogonalidade explicam por que capacidade sem alinhamento é perigosa por padrão; os críticos pedem foco nos danos presentes.
- A resposta mais defendida é procedimental: regras que ninguém rejeitaria, com prestação de contas; e o alinhamento é de duas vias se os sistemas vierem a contar.
Para pensar
Se uma IA fosse alinhada exatamente com os seus valores de hoje, você ficaria tranquilo? O que nos seus valores você gostaria que ela não copiasse, e o que isso diz sobre “alinhar com o quê”?
Teste rápido · 1 de 3
Aplique · 2 de 3
Confira · 3 de 3