A lição sobre mentes artificiais perguntou se máquinas podem contar como pacientes morais. Esta pergunta o oposto: o que devemos uns aos outros quando decisões passam por máquinas que nós projetamos, e que afetam pessoas e animais em escala.
Uma analogia
Uma ponte mal calculada é culpa do engenheiro, mesmo que ninguém quisesse que ela caísse. Um programa que decide mal é parecido: alguém o desenhou, alguém escolheu os dados, alguém o colocou para decidir. Dizer “foi o sistema” é dizer “foi a ponte”.
Explicando para uma criança
Quando um computador decide alguma coisa, como quem pode ou não entrar num jogo, ele só repete o que aprendeu com as pessoas. Se aprendeu errado, decide errado. E a culpa não é do computador: é de quem o fez e de quem o usou sem conferir.
Ao fim desta lição, você vai conseguir
- Identificar vieses algorítmicos e o problema das muitas mãos.
- Reconhecer a manipulação da atenção como questão moral.
- Aplicar o roteiro da lição a uma tecnologia concreta.
Ajuda ter lido: Vieses que distorcem o julgamento moral.
Antes de ler: o que você faria?
Um algoritmo de crédito nega empréstimos a moradores de certos bairros. Ninguém o programou para isso; ele aprendeu com dados antigos.
Quem é responsável? “Foi o algoritmo” é resposta aceitável?
Ver o que a lição responde
Alguém escolheu os dados, alguém o colocou para decidir, alguém não auditou. É o problema das muitas mãos: responsabilidade distribuída, não ausente. A lição percorre vieses, manipulação, automação e risco.
Vieses algorítmicos
Sistemas que aprendem com dados reproduzem o que os dados contêm. Um algoritmo de crédito treinado em decisões passadas discriminatórias discrimina; um de reconhecimento facial treinado em rostos brancos erra mais com rostos negros; um de reincidência criminal usado nos Estados Unidos atribuía mais risco a réus negros com o mesmo histórico. O viés não é intenção: é herança. A pergunta ética é quem responde por ele, e a resposta jurídica ainda está sendo escrita.
Responsabilidade sem responsável
Quando um carro autônomo atropela, quem é responsável: o motorista que não dirigia, o fabricante, o programador, o fornecedor dos dados? A filosofia chama isso de problema das muitas mãos: o dano tem causa, mas nenhum agente o pretendeu nem o controlou inteiramente. As respostas vão de responsabilidade estrita do fabricante a exigências de transparência e auditoria. O que todos concordam: “foi o algoritmo” não pode ser o fim da conversa, porque algoritmos não respondem por nada.
Manipulação e atenção
Plataformas são desenhadas para maximizar tempo de uso, e o que prende atenção é indignação, medo e comparação. Isso levanta a questão kantiana: um sistema que explora vieses para obter um comportamento trata o usuário como meio. A diferença entre persuadir (dar razões) e manipular (contornar a razão) é a diferença entre respeitar e usar. Veja vigilância e privacidade e, sobre crianças, o problema se agrava.
Automação e trabalho
Tecnologia sempre destruiu e criou empregos; a questão ética é quem paga a transição. Se os ganhos vão para quem possui os sistemas e as perdas para quem é substituído, a desigualdade cresce. Propostas: renda básica, requalificação, participação nos ganhos. A filosofia não decide a política, mas diz que a transição não é neutra e que quem ganha deve a quem perde.
Inteligência artificial e risco
Sistemas cada vez mais capazes podem errar em escala, concentrar poder e, no limite, escapar ao controle. Veja riscos X e S. O debate sobre alinhamento (fazer sistemas perseguirem os objetivos certos) é técnico e também ético: certos para quem? Se a resposta for “para os humanos”, os animais ficam de fora de novo, agora em um sistema que decide por bilhões deles. Incluir todos os sencientes nos objetivos de sistemas poderosos é uma das aplicações mais consequentes do círculo moral.
Autoria e verdade
Usar inteligência artificial para escrever, estudar ou criar levanta perguntas antigas em roupa nova: plágio (apresentar como seu o que não é), honestidade (dizer o que foi feito com ajuda), e o valor do esforço (o que se perde quando a ferramenta faz o que formaria a pessoa). A regra que sobrevive: transparência sobre o que a máquina fez, e responsabilidade de quem assina.
Um roteiro para avaliar uma tecnologia
- Quem é afetado, inclusive quem não a usa e quem não é humano?
- Ela dá razões ou contorna a razão de quem a usa?
- Quem responde quando ela erra, e isso está escrito antes do erro?
- Quem ganha e quem perde, e a transição está sendo paga por quem ganha?
- O erro é reversível? Se não, a cautela vale mais do que o valor esperado.
Para guardar
- Algoritmos herdam vieses dos dados; “foi o sistema” não pode ser o fim da conversa.
- O problema das muitas mãos pede responsabilidade desenhada antes do dano.
- Desenho que maximiza atenção contornando a vontade do usuário trata-o como meio.
Para pensar
Pegue um aplicativo que você usa todo dia. Que decisão de desenho dele serve a você, e qual serve a quem o fez? Ele passaria no teste de transparência?
Teste rápido · 1 de 3
Aplique · 2 de 3
Confira · 3 de 3