O veto humano

Há uma história que quase todo executivo brasileiro que implantou IA nos últimos três anos conhece, ainda que poucos tenham contado em público. Ela começa com uma automação elegante — um modelo de crédito, uma recomendação de desligamento por performance, um algoritmo de pricing dinâmico — e termina com uma notificação judicial sobre uma mesa em que, até aquele momento, ninguém tinha percebido que a responsabilidade estava sentada.

Um caso ilustrativo. Uma fintech de médio porte ajusta juros automaticamente, via modelo, para cento e oitenta mil clientes por dia. Em março, o sistema começa a cobrar, de um subgrupo mal classificado, taxas acima do permitido por normativa. Nenhum humano autorizou linha por linha. Nenhum humano auditou o drift do modelo. Quando o Procon age, a resposta interna é a mesma de sempre: "foi o modelo". O problema é que o modelo não tem CPF. Só a diretoria tem.

Essa cena — e suas variações em RH, compliance, marketing e operações — tem nome técnico. Madeleine Clare Elish, em pesquisa publicada em 2019 no Engaging Science, Technology, and Society, cunhou o termo Moral Crumple Zone. A metáfora vem da engenharia automotiva: a zona de deformação controlada do veículo é projetada para absorver o impacto e proteger o passageiro. Na arquitetura corporativa de IA, há uma zona análoga — só que ela protege o fornecedor do modelo e transforma a liderança humana no passageiro que colide.

A observação de Elish é desconfortável porque é estrutural, não moral. Ela não acusa ninguém de ingenuidade. Ela descreve um fenômeno previsível: quando um sistema automatizado executa decisões em velocidade e escala que nenhuma revisão humana consegue acompanhar, a responsabilidade formal permanece com o humano, mas a capacidade real de intervenção migrou para o sistema. Essa assimetria é a zona de colisão. É onde a conta sobra.

O que o cérebro faz quando a máquina sugere

Há um segundo mecanismo, dessa vez cognitivo, que agrava o primeiro — e eu venho observando esse mecanismo há quase duas décadas no laboratório e, mais recentemente, nas linhas de pesquisa do HumanOS Institute, antes de ele ganhar aplicação corporativa generalizada. Diante de uma sugestão oferecida por um sistema técnico considerado competente, a oxigenação no córtex pré-frontal dorsolateral — região responsável por controle deliberativo — tende a cair. O cérebro prefere a economia metabólica de aceitar a sugestão a pagar o custo cognitivo da dúvida. É um atalho evolutivo legítimo: o organismo não foi desenhado para duvidar do mapa.

Na literatura da engenharia de fatores humanos, esse padrão se chama viés de automação. Estudos clássicos com pilotos supervisionando sistemas automatizados em aviação comercial — linha de pesquisa que remonta a Raja Parasuraman no final dos anos 1990 — mostram perdas significativas na detecção de falhas do sistema em cenários não rotineiros. Em ambientes corporativos, o efeito tende a ser ainda mais pronunciado, porque falta a cultura de checklist que a aviação construiu ao longo de décadas.

A consequência é um tipo de obediência silenciosa que não aparece em ata. O executivo não decidiu mal. Ele não decidiu. E a diferença, do ponto de vista da responsabilidade legal, é zero.

Por que "humano no loop" não basta

A indústria de compliance respondeu a esse problema com o slogan human-in-the-loop — a presença formal de um humano na cadeia de decisão. Funciona no papel. Funciona quase nunca na prática. Porque a presença sem gatilho estruturado de intervenção é presença decorativa. Se ninguém define quando o humano deve intervir, sob que condições, com que tempo de resposta, o humano vira carimbo.

Carimbo é pior que ausência. Porque o carimbo cria a aparência de supervisão que legitima o sistema — e a aparência de supervisão transfere, sem atrito, a responsabilidade legal para quem carimbou sem ter lido.

A correção não é psicológica ("peça para o executivo prestar mais atenção"). Não é tecnológica ("compre um modelo melhor"). É arquitetural: desenhar, dentro do fluxo, um ponto explícito em que a decisão automatizada trava e aguarda autorização humana, com critérios pré-definidos de quando a trava precisa disparar.

É pouco óbvio até a gente pensar num paralelo que já está funcionando há setenta anos: a aviação. Um piloto comercial não cruza o Atlântico com as mãos no manche. O autopilot conduz a maior parte do voo. Mas existem checkpoints desenhados — mudança de nível, entrada em espaço aéreo de controle distinto, aproximação — em que o sistema devolve, obrigatoriamente, a autoridade para o humano. A aviação não é segura por causa do piloto ou do autopilot. É segura por causa do desenho dos pontos de transferência.

O que falta na governança de IA corporativa hoje é exatamente isso: pontos de transferência desenhados.