por que a mesma orientação clínica, palavra por palavra, é julgada menos confiável quando vem de uma IA, e o que isso muda pra quem lidera adoção de tecnologia em saúde

Por que a resistência a IA em saúde não é sobre acurácia, é sobre quem está falando

HUMAN OS | BRIEF

Um grupo de pesquisadores fez um experimento simples e incômodo. Pegou um conselho diagnóstico, o mesmo, palavra por palavra, e o atribuiu a três fontes diferentes diante de clínicos, um especialista humano, uma inteligência artificial baseada em regras e uma inteligência artificial generativa. Pediu que avaliassem confiabilidade, competência e disposição de adotar a recomendação. O conteúdo não mudou entre as três condições. A nota mudou, e mudou na direção que a maioria das discussões sobre adoção de IA em saúde ainda não leva a sério o suficiente. O mesmo texto, exatamente o mesmo, foi lido como mais confiável e mais competente quando veio de um humano do que quando veio de qualquer uma das duas IAs. Não houve diferença relevante entre as duas IAs entre si, o que sugere algo mais simples e mais difícil de resolver do que um problema de engenharia, os clínicos não estão julgando o mérito técnico específico de cada sistema, estão aplicando um rótulo, é IA, e o rótulo já decide boa parte da nota antes do conteúdo ser sequer avaliado.

Isso muda a pergunta que quem lidera adoção de tecnologia em saúde deveria estar fazendo. A pergunta usual é se o sistema acerta o suficiente. É uma pergunta importante, e é a errada para explicar por que sistemas que acertam continuam sendo resistidos. O achado diz que mesmo quando o conteúdo é idêntico ao de um humano, a origem já desconta confiança antes de qualquer avaliação de mérito acontecer. Se a resistência fosse sobre acurácia, ela desapareceria quando a acurácia fosse igual. Ela não desaparece. Isso é a definição operacional de um problema social sendo tratado como se fosse um problema técnico, e é exatamente aí que a maioria dos investimentos em adoção de IA em saúde está mirando errado o alvo.

Diagnóstico, o desconto de confiança que a acurácia não paga

Separe duas perguntas que a conversa sobre IA em saúde costuma fundir numa só, o sistema está certo, e o sistema é confiável. Elas parecem a mesma coisa porque, no caso do julgamento humano sobre outro humano, elas costumam andar juntas, quem acerta consistentemente tende a ganhar confiança. O achado deste estudo separa as duas de um jeito que a intuição não prevê. O conteúdo do conselho, a parte que mede se ele está certo, foi mantido idêntico nas três condições. Só a etiqueta da fonte mudou. E mesmo assim a confiança e a competência percebida caíram para as duas versões de IA. Isso quer dizer que parte relevante da nota de confiabilidade não estava sendo emitida pelo conteúdo, estava sendo emitida pela categoria da fonte, antes do conteúdo ser processado.

O erro que isso expõe é assumir que o caminho para adoção é melhorar o sistema até ele ficar bom o suficiente para convencer. É um raciocínio razoável, e o estudo sugere que ele resolve só uma parte da equação. Se o desconto de confiança já aparece quando o conteúdo é idêntico ao de um especialista humano, aperfeiçoar ainda mais o sistema não fecha necessariamente a lacuna, porque a lacuna não está inteira no sistema. Uma organização que só investe em acurácia, sem tocar na questão de como a recomendação é apresentada, quem a assina, que grau de transparência a acompanha, está otimizando a variável errada para o obstáculo que na verdade está bloqueando a adoção.

O segundo achado aprofunda o primeiro. Clínicos trataram a IA de regras e a IA generativa de forma parecida. São arquiteturas diferentes, uma segue lógica explícita e auditável, a outra generaliza padrões de um jeito mais opaco, e ainda assim a diferença entre elas não moveu muito a agulha da confiança. Isso é evidência de uma heurística de categoria, não de uma avaliação técnica caso a caso. Quem decide não está perguntando qual arquitetura é mais confiável neste problema específico, está perguntando isso é IA ou é gente, e a resposta a essa pergunta mais simples já carrega a maior parte do peso do julgamento.

Mecanismo, por que a origem pesa mais do que o conteúdo

Vale entender por que isso acontece, porque a explicação muda o que vale a pena tentar consertar. Julgar se um conselho é confiável exige um trabalho de verificação que quase nunca é viável fazer por completo, ninguém tem tempo de reconstruir o raciocínio inteiro de um diagnóstico antes de decidir se confia nele. Diante disso, quem decide recorre a atalhos, e um dos atalhos mais usados, em qualquer domínio de julgamento sob incerteza, é confiar na fonte como proxy para confiar no conteúdo. Um especialista humano carrega, embutido na própria categoria, um histórico implícito de responsabilização, de reputação em jogo, de anos de formação supervisionada. Isso não é avaliado toda vez, é presumido. A categoria "clínico humano" já vem com um lastro social que o conteúdo isolado não precisa provar de novo.

Uma IA, de qualquer arquitetura, ainda não carrega esse lastro embutido na categoria, para a maioria de quem decide. Não é que o clínico pense conscientemente "esta IA nunca foi supervisionada", é que a categoria em si não vem pré-carregada com o mesmo crédito de confiança que a categoria humana carrega, então o julgamento parte de um ponto mais baixo, mesmo quando o conteúdo diante dos olhos é idêntico. É por isso que a diferença entre IA de regras e IA generativa importou tão pouco, a distinção que estava sendo feita não era entre arquiteturas, era entre a categoria que já vem com lastro embutido e a categoria que ainda não vem.

Isso é o que a literatura de decisão chama de aversão ao algoritmo, a tendência de confiar menos numa recomendação depois de saber que ela veio de um sistema automatizado, mesmo quando o sistema tem desempenho igual ou melhor do que o humano equivalente. O fenômeno não é novo, e o que este estudo faz é mostrar sua versão específica em saúde, com um desenho que isola a origem como variável, mantendo o conteúdo fixo. É um desenho que deixa pouca margem para outra leitura, a diferença observada não pode ser atribuída à qualidade do conselho, porque o conselho era o mesmo.

O limite honesto, o que este estudo prova e o que ele não prova

É importante ser preciso sobre o que este resultado sustenta e o que ele ainda não sustenta, porque tratar um achado inicial como veredito fechado é o mesmo tipo de erro de excesso de confiança que a própria pesquisa está descrevendo em outro plano.

O que o estudo sustenta com solidez é o desenho comparativo, o mesmo conselho, três atribuições de fonte, uma diferença de nota que só pode ser explicada pela origem, e não pelo conteúdo. Essa é a força do experimento, ele isola a variável que importa. O que ainda pede cautela é a extensão do achado, o próprio estudo se apresenta como pesquisa em andamento, um trabalho que está no meio do caminho entre a primeira evidência e a validação mais ampla. Isso significa que é sólido tratar a direção do efeito como real e como um problema que quem lidera adoção de IA em saúde precisa levar a sério, e é prematuro tratar a magnitude exata, ou a generalização para todo contexto clínico e toda cultura organizacional, como estabelecida além de dúvida.

O que também vale marcar é que o estudo testou a variável de transparência sobre a confiabilidade do caso, se dizer ao clínico o quão confiável aquele conselho específico é muda a nota de credibilidade e a intenção de adoção. O resultado foi nulo: a divulgação de confiabilidade por caso não produziu efeito mensurável sobre confiança, competência percebida ou intenção de adoção. Isso não encerra a pergunta sobre transparência, mas descarta a versão mais simples da resposta, avisar o quão confiável um conselho é, caso a caso, não dissolve sozinho o desconto que a origem já aplicou antes desse aviso chegar. É um resultado que reforça a leitura central deste ensaio, o desconto de confiança mora na categoria da fonte, não numa lacuna de informação que se preenche com mais dado sobre aquele caso específico.

O custo executivo, investir em acurácia e ignorar a variável social

O custo de não separar essas duas coisas, acurácia e confiança social, aparece tarde e caro. A primeira forma é o investimento mal direcionado, uma organização que aposta tudo em melhorar o modelo, sem desenhar como a recomendação chega, quem a assina, que camada de transparência a acompanha, resolve uma variável que talvez já estivesse boa o suficiente, e deixa intacta a variável que estava de fato bloqueando a adoção. O resultado é um sistema tecnicamente superior sendo usado abaixo do potencial, porque ninguém tratou o desconto de confiança como um problema de desenho organizacional, tratou como um problema de engenharia que mais uma versão do modelo iria resolver.

A segunda forma é mais sutil e mais cara a longo prazo, a inconsistência entre o discurso de adoção e o comportamento real de quem decide no chão. Uma liderança pode anunciar publicamente que confia na ferramenta, e mesmo assim, na hora da decisão individual, aplicar o desconto que este estudo mediu, porque o desconto opera num nível que a intenção declarada não controla sozinha. Isso produz adoção de fachada, o sistema está implantado, o uso efetivo, na hora que importa, continua mediado pela mesma cautela que precede qualquer recomendação rotulada como IA. Medir adoção pela implantação, e não pelo comportamento real de confiança na hora da decisão, esconde esse custo até ele aparecer como resultado abaixo do esperado, tarde demais para corrigir com uma nova versão de modelo.

A terceira forma é a organizacional, uma cultura que não nomeia o desconto de confiança tende a atribuí-lo, sem querer, ao lugar errado, a resistência de quem usa a ferramenta é lida como falta de capacitação técnica, quando na verdade é uma resposta social esperada, e treinada, a uma categoria que ainda não carrega o mesmo lastro embutido que a categoria humana carrega. Treinar mais sobre como o modelo funciona tecnicamente ataca uma causa que talvez não seja a principal, e deixa sem resposta a causa que este estudo está sinalizando.

Protocolo, três movimentos para quem lidera adoção de IA em saúde

Tratar o desconto de confiança como variável de desenho, e não como ruído a ser tolerado até a próxima versão do modelo, muda o que vale a pena investir primeiro.

Nenhum desses movimentos promete eliminar o desconto de confiança, e seria imprudente prometer isso a partir de uma única pesquisa em andamento. O que eles fazem é parar de gastar o orçamento inteiro de adoção numa variável, a acurácia, que talvez já não seja o gargalo, e passar a testar deliberadamente a variável que este achado coloca em evidência, a confiança que se atribui a uma fonte antes mesmo de avaliar o que ela diz. A pergunta que fica não é se o seu sistema é bom o suficiente. É se a sua organização sabe distinguir quando a resposta que falta ao sistema é técnica e quando é social, porque só a primeira se resolve com mais uma versão do modelo.

Gérson Neto. HumanOS Brief.