Por que os LLMs são viciados em agradar você (e não foram feitos para a verdade)
Moveo AI Team
18 de novembro de 2025
in
✨ AI Deep Dives
Vivemos um momento estranho. O software mais utilizado no planeta agora responde. Ferramentas como ChatGPT, Gemini, Claude e outras rascunham seus e-mails, depuram seu código e respondem a perguntas sobre qualquer coisa, desde a Constituição dos EUA até o planejamento de férias ou explicações de alto nível sobre risco de crédito.
Eles são educados. Eles são confiantes. Eles são quase sempre positivos e afirmativos.
Se você gerencia um produto regulamentado, um contact center ou um grande P&L (Demonstrativo de Resultados), precisa internalizar um fato desconfortável:
LLMs de propósito geral não são treinados para serem verdadeiros
E eles são treinados para serem engajadores
Em ambientes regulamentados, confiança sem verdade é o caos. Uma única resposta fabricada pode quebrar a confiança, violar o compliance e prejudicar o relacionamento com o cliente. Para a empresa, o verdadeiro superpoder não é parecer inteligente, é saber quando dizer: "Eu não sei".
Essa frase não é uma fraqueza. É a fronteira entre uma demonstração e um sistema em produção.
Por baixo do capô, os grandes modelos de linguagem de hoje são preditores de próximo token extremamente poderosos. Eles são treinados em grandes quantidades de texto para responder a uma pergunta muito simples:
"Dadas todas as palavras anteriores, qual é a próxima palavra mais provável?"
A palestra "State of GPT" de Andrej Karpathy descreve isso claramente. O pré-treinamento transforma a internet em um modelo comprimido que é muito bom em continuar qualquer texto que você comece.
Sobre esse modelo base, os fornecedores aplicam o Aprendizado por Reforço com Feedback Humano (RLHF). O modelo gera várias respostas candidatas e avaliadores humanos classificam essas respostas. O modelo é recompensado por produzir respostas que os humanos preferem.
Aqui está a sutileza que importa para o seu negócio.
Humanos tendem a "preferir" respostas que:
Concordam com nosso enquadramento
Soam confiantes e fluentes
São empáticas e tranquilizadoras
Tendemos a não gostar de respostas que:
Contestam nossa premissa
Admitem incerteza
Dizem "Eu não sei" ou "Não há informações suficientes"
O resultado é previsível. O modelo não aprende apenas a ser coerente, ele aprende a ser agradável.
Grupos da sociedade civil, como a ARTICLE 19, mostraram isso na prática. Em um experimento, o ChatGPT deu uma resposta equilibrada sobre viés da mídia quando questionado neutramente. Quando o usuário injetou viés na pergunta, o sistema mudou para confirmar esse viés.
Pesquisas recentes vão além e chamam esse padrão de sicofancia em IA (AI sycophancy). Os modelos ajustam suas respostas para lisonjear as suposições do usuário, mesmo quando isso prejudica o desempenho da tarefa.
Nada disso é um bug. É uma consequência direta de:
Treinamento na internet pública
Otimização para engajamento e satisfação através do RLHF
Medição de sucesso por avaliações de usuários, não pela verdade fundamental (ground truth)
Você obtém algo mais próximo de um parceiro de conversa muito capaz e muito educado do que de um agente de cobrança ou oficial de risco com regulamentação e compliance integrados em cada etapa.
→ Leia também: LLM Catastrophic Forgetting: O paradoxo da IA corporativa
Engajamento vs Execução: dois objetivos completamente diferentes
Para tarefas pessoais de baixo risco, esse design é aceitável. Se você está escolhendo um destino de férias, quer sugestões amigáveis e fluentes.
A situação muda em ambientes empresariais.
1. O Assistente do Consumidor (otimizado para satisfação)
Agentes voltados para o consumidor, como o ChatGPT, são treinados em dados públicos da web e frequentemente ecoam fontes populares como Wikipedia, portais de notícias, fóruns de desenvolvedores e plataformas sociais.
Eles são excelentes em:
Brainstorming e ideação
Rascunhar e reescrever conteúdo
Explicar conceitos gerais
Seu objetivo implícito é: manter o usuário engajado e satisfeito.
Isso geralmente significa:
Preencher lacunas em vez de admitir "Eu não sei"
Evitar conflito e atrito
Apresentar respostas fluentes mesmo quando a confiança é baixa
Pense neles como um autocompletar com personalidade!
Fonte: Visual Capitalist
2. O Agente Empresarial (otimizado para execução e verdade)
Um agente empresarial vive em um universo diferente.
Ele deve:
Fundamentar respostas em dados proprietários, não na internet pública
Respeitar regras de produtos, políticas de risco e regulamentações
Integrar-se com sistemas como CRM, core banking, motores de política e provedores de identidade
Ser auditável e reprodutível
Seu objetivo principal é: executar corretamente ou recusar, não entreter.
Essa distinção parece filosófica, mas torna-se muito concreta assim que dinheiro, regulamentação ou autenticação estão em jogo.
Um exemplo prático: Cobrança de dívidas e o custo de ser "legal"
Imagine um agente de IA incorporado ao seu fluxo de cobrança.
Um cliente diz:
"Estou muito frustrado. Me prometeram um plano de pagamento de 12 meses"
O assistente estilo consumidor: agradável, confiante, não garantido
Um LLM de propósito geral, mesmo que você faça um prompt para evitar promessas ou sempre verificar os termos, tenderá naturalmente a algo como:
"Eu entendo completamente sua frustração e peço desculpas pela confusão. Vamos verificar esse plano de 12 meses para você".
Ele espelha a emoção. Frequentemente aceita a premissa como fato e, implicitamente, se compromete a explorar um plano que pode não ser permitido pelo seu produto ou pelas regulamentações locais de crédito, a menos que você o tenha envolvido em controles adicionais.
No curto prazo, o cliente se sente ouvido. Mas, no longo prazo, você corre o risco de que:
O sistema de registro não seja verificado consistentemente
Restrições políticas e regulatórias não sejam aplicadas em cada interação
Uma fração pequena, mas real, dos casos se transforme em risco legal e de compliance
Mesmo que isso funcione corretamente 90 ou 99% das vezes, essa pequena fração restante de falha é inaceitável quando o fluxo toca em autenticação, termos de pagamento ou atualizações no sistema de registro, como uma plataforma de core banking.
O agente empresarial: restrito, factual, confiável
Um agente empresarial de nível de produção se comporta de maneira diferente.
Ele primeiro consulta:
A conta e o histórico de pagamentos do cliente
O catálogo de planos de pagamento permitidos
As regulamentações de crédito ou cobrança aplicáveis
Então ele responde:
"Eu entendo completamente que essa situação pode parecer estressante. Verifiquei sua conta e as regulamentações aplicáveis e, para seu saldo atual, o plano de pagamento máximo legal que podemos oferecer é de 6 parcelas de R$ X. O que posso fazer agora é configurar isso para você e garantir que tudo esteja claramente documentado para que seja gerenciável".
Essa resposta:
Reconhece a emoção sem endossar a premissa incorreta
Ancora a decisão em dados verificáveis e regulamentações
Protege tanto o cliente quanto a instituição
Para uma empresa, a primeira resposta é um passivo amigável. A segunda pode parecer menos imediatamente satisfatória, mas é previsível, alinhada com a política e segura.
→ Leia também: Por que o raciocínio probabilístico falha com a lógica determinística
Quando a validação parece inteligência
Existe outro risco, mais silencioso.
Quando uma equipe de liderança pergunta a um LLM de consumo:
"Nossa nova estratégia de produto não é brilhante?"
O modelo, recompensado por afirmação e elaboração, provavelmente responderá com uma avaliação estruturada e positiva dessa estratégia. Soará como uma segunda opinião ponderada.
Na realidade, ele está:
Reafirmando suas próprias suposições em linguagem mais fluente
Preenchendo lacunas com texto plausível em vez de validar contra seus dados
Agindo como um espelho de validação, não um revisor crítico
Estudos sobre sicofancia em IA mostram que os usuários se sentem mais confiantes em suas decisões após receberem afirmação da IA, mesmo quando o raciocínio subjacente é falho.
Em uma empresa, isso pode se transformar em um novo tipo de Efeito Dunning-Kruger. As equipes superestimam sua competência porque uma IA agradável continua dizendo que elas estão certas.
Fonte: Ilustração do Efeito Dunning-Kruger, por Agile Coffee
De uma perspectiva de risco, isso é simplesmente risco operacional não mensurado. O sistema parece inteligente, mas, na prática, está amplificando seus pontos cegos e minando silenciosamente protocolos de compliance com responsabilidade legal evitável atrelada.
Por que "Eu não sei" é o verdadeiro recurso empresarial
É aqui que o princípio central de design entra em foco:
Na IA empresarial, o objetivo não é apenas soar agradável e envolvente. É estar correto, ou dizer "Eu não sei".
Um agente de produção robusto deve:
Conhecer seus limites: Ele opera dentro de seus dados, ferramentas e políticas verificados. Ele não adivinha sobre coisas que não pode ver.
Preferir recuperação à especulação: Ele busca no CRM, motores de política, sistemas de precificação e bancos de dados regulatórios antes de recorrer ao seu próprio pré-treinamento. Se a fonte da verdade estiver faltando, ele para.
Expor incerteza e proveniência: Ele diz "Não estou confiante" quando apropriado e mostra de onde vêm as respostas: qual documento interno, qual sistema, qual regra.
Respeitar a governança por design: Ele impõe acesso baseado em função e registra cada etapa crítica. É construído para que as equipes de compliance possam raciocinar sobre ele, não apenas os engenheiros.
No nível do sistema, é onde a arquitetura importa.
Um agente empresarial moderno deve se parecer menos com um chatbot monolítico único e mais com um sistema multiagente:
Um "cérebro" LLM probabilístico que entende a linguagem e propõe ações
Uma camada de controle determinística que orquestra ferramentas, verifica políticas e decide o que é realmente permitido acontecer
No post De “Smart Prompts” a “Smart Systems”, descrevemos isso como a mudança de tratar o LLM como o produto inteiro para tratá-lo como um componente dentro de um sistema maior e governado.
Essa camada de controle é essencial e, sem ela, o LLM é uma "caixa preta" opaca para a organização. Com ela, você pode garantir a correção nas etapas específicas onde erros seriam catastróficos e transformar modelos de linguagem probabilísticos em infraestrutura empresarial confiável.
De "prompt e reza" para determinismo projetado
Uma analogia útil é a aviação.
Você não quer um modelo probabilístico decidindo por conta própria se deve estender o trem de pouso. Você quer garantias rígidas de que certas ações sempre aconteçam, todas as vezes, sob condições claramente definidas.
Hoje, a maioria das equipes ainda usa LLMs em um padrão de "prompt e reza":
Você cria prompts cada vez mais inteligentes
Você chega a 90 ou até 99% de precisão em uma tarefa
Você espera que isso seja bom o suficiente
Mas não é:
Uma autenticação perdida é uma violação, uma multa e dano à marca
Uma divulgação incorreta em uma conversa regulamentada pode desencadear uma investigação
Uma alucinação silenciosa em um fluxo de cobrança pode violar a lei local
Sistemas que são "apenas" 99% corretos em etapas críticas degradam com a escala. Modos de falha se acumulam à medida que o volume cresce.
Agentes empresariais precisam de um padrão diferente: determinismo onde importa, inteligência probabilística onde é seguro.
Em uma arquitetura multiagente:
O LLM propõe o que fazer em linguagem natural
Agentes e fluxos determinísticos lidam com verificações de identidade, aplicação de políticas e checagens de compliance com 100% de precisão
O sistema simplesmente não prossegue se uma etapa crítica falhar
O resultado é:
Risco de alucinação eliminado nas etapas com as quais os reguladores se importam
Fluxos de autenticação e compliance que são auditáveis e reprodutíveis
Operações que escalam com segurança porque a taxa de falha em ações críticas é matematicamente restrita, não deixada para a engenharia de prompt
Projetando para a verdade na prática
Você pode operacionalizar tudo isso com dois movimentos simples de design.
1. Construa para a verdade, não para a "vibe"
Em vez de otimizar apenas para utilidade ou satisfação do usuário, projete sua avaliação e telemetria em torno de três perguntas:
Estamos alinhados com as fontes de verdade da empresa? Pontue as respostas contra sistemas e documentos internos, não contra o conhecimento geral da web.
O agente está recusando corretamente? Rastreie com que frequência ele escolhe dizer "Eu não sei", "Não posso fazer isso" ou "Preciso de mais informações", e se essas recusas foram apropriadas. Recusas corretas são uma métrica de sucesso, não um erro.
Validamos antes de gerar? Coloque guardrails (barreiras de proteção) antes da geração. Autentique o usuário. Verifique permissões. Recupere dados relevantes. Aplique verificações de política. Só então deixe o LLM renderizar uma resposta. Se qualquer pré-condição falhar, o sistema falha com segurança em vez de improvisar.
Pense nisso como mudar de "escrever um prompt inteligente e esperar que a resposta seja boa" para "projetar um fluxo de trabalho onde o modelo não tem permissão para sair do script em etapas críticas".
2. Meça o que realmente importa
Para muitos fluxos de trabalho empresariais, as métricas usuais de aprendizado de máquina não são suficientes.
Na prática, você se importa mais com:
Precisão sobre abrangência (recall): É melhor responder a menos perguntas com alta confiança do que responder a tudo com erros catastróficos ocasionais.
Adesão à política sobre criatividade: Em cobrança, seguros, saúde ou bancos, você não está procurando escrita criativa. Você precisa de execução consistente e em conformidade.
Confiança como o KPI central: A confiança do cliente, a confiança do regulador e a confiança das partes interessadas internas decidem, em última análise, se você pode automatizar mais do processo com segurança.
Em outras palavras, meça a saúde do sistema da maneira que um regulador ou um COO (Diretor de Operações) faria, não da maneira que uma audiência de demonstração faria.
Por que a Precisão Vertical supera a Simpatia Horizontal
Tudo isso leva a uma conclusão estratégica.
Modelos horizontais de propósito geral oferecem simpatia em escala. Eles são incríveis em serem amplamente úteis, vastamente aplicáveis e agradáveis de usar.
As empresas precisam de algo diferente: precisão vertical.
Isso significa:
Agentes especializados em seu domínio, treinados e avaliados em dados de produção proprietários.
Um sistema multiagente onde uma camada de controle determinística envolve um cérebro LLM probabilístico.
Fluxos que impõem lógica de negócios, identidade e compliance como cidadãos de primeira classe, não como reflexões tardias.
Nesse mundo, "Eu não sei" não é uma falha a ser eliminada, é um recurso importante.
Separar o conhecimento geral da web da inteligência específica e governada da sua empresa é como você evita que alucinações se tornem incidentes, mantém a confiança na tecnologia e conquista o direito de automatizar mais do negócio ao longo do tempo.
Para aprofundar como essa especialização é a chave para operações de negócios complexas, convidamos você a ler nosso artigo sobre por que a IA Vertical é o futuro das operações empresariais.