LLM Catastrophic Forgetting: O paradoxo da IA corporativa
Moveo AI Team
7 de novembro de 2025
in
✨ AI Deep Dives
Na era da inteligência artificial, fomos condicionados a acreditar em um mantra simples: "mais dados é igual a melhores resultados". Para muitas aplicações de machine learning, isso é verdade. Mas para empresas que dependem de conhecimento de domínio altamente especializado, como o setor de pagamentos e recuperação de dívidas, uma realidade diferente emerge. Às vezes, quanto mais um Grande Modelo de Linguagem (LLM) aprende, pior ele se torna na tarefa específica que sua empresa precisa que ele execute.
Este é o paradoxo da especialização.
Não é apenas uma intuição. À medida que os modelos são atualizados ou ajustados com dados mais amplos, o desempenho em tarefas restritas e de alto risco pode se degradar. Isso levanta uma questão crítica para qualquer líder de tecnologia que se preocupa com compliance, confiabilidade e resultados repetíveis:
Como podemos construir IAs que sejam verdadeiramente especialistas em nosso domínio, sem que essa especialização seja diluída ou esquecida a cada novo ciclo de treinamento?
A resposta não é adicionar mais dados cegamente. Devemos repensar como os LLMs aprendem, como o conhecimento é retido e onde a "verdade" do domínio deve residir.
Este post explica por que a generalização, a qualidade dos dados e as dinâmicas de treinamento podem minar a especialização, e por que a solução é uma camada de conhecimento específica da empresa e um estado de domínio vivo, em vez de um treinamento monolítico.
A crença de que um conjunto de dados maior leva linearmente a um modelo melhor é o primeiro pilar a cair. Na prática, a qualidade e a distribuição dos dados dominam a quantidade bruta.
Equipes rotineiramente veem algumas centenas de exemplos cuidadosamente selecionados superarem milhares de exemplos "barulhentos". Quando o volume aumenta sem curadoria, o desempenho não apenas estagna, muitas vezes regride. O modelo torna-se menos coerente, e o entendimento sutil que exibia inicialmente desaparece.
Para empresas, isso é um multiplicador de risco. Dados corporativos são inconsistentes por natureza. Eles contêm ruído, rótulos conflitantes, exceções de políticas, templates desatualizados e artefatos gerados por usuários. O fine-tuning nesses dados pode degradar tanto a precisão das tarefas quanto a segurança.
Pesquisas recentes indicam que mesmo um erro modesto de rotulagem no conjunto de fine-tuning pode prejudicar o desempenho e o alinhamento downstream. Em alguns cenários, um modelo ruidoso pós-fine-tuning tem desempenho inferior ao modelo base:
Mesmo 10-25% de dados incorretos no conjunto de fine-tuning degradam dramaticamente o desempenho e a segurança do modelo.
Existe um limiar crítico: pelo menos 50% dos dados de fine-tuning devem estar corretos para que o modelo comece a recuperar um desempenho robusto.
O modelo base é mais seguro: Em uma descoberta surpreendente, o modelo base
gpt-4o, sem qualquer fine-tuning, superou quase todas as variantes ajustadas em dados "barulhentos", exibindo segurança e alinhamento quase perfeitos.
A lição é direta: quality gates (portões de qualidade) e controle de distribuição importam mais do que o volume bruto, especialmente em domínios regulados onde erros geram exposição de compliance.
Overtraining AI e o ponto de inflexão
O pré-treinamento tornou os LLMs poderosos, mas também pode introduzir fragilidade.
Em experimentos controlados com o OLMo-1B, a variante pré-treinada com 3T tokens teve um desempenho pior após o instruction tuning (ajuste de instrução) do que a versão treinada com 2.3T, um padrão que os autores chamam de catastrophic overtraining. A intuição é a sensibilidade progressiva: o pré-treinamento pesado "afia" o loss landscape, de modo que pequenas atualizações de fine-tuning causam mudanças desproporcionais, às vezes regressivas.
Para empresas, isso é concreto. Um agente de cobrança que passou por um leve fine-tuning de tom pode se tornar instável no cálculo de planos de parcelamento em compliance após uma atualização do modelo base. Um assistente de sinistros (claims) pode aplicar mal a mesma exclusão em casos semelhantes após uma adaptação de rotina do domínio.
Ou seja, mais treinamento upstream não é automaticamente mais seguro. Uma solução corporativa confiável deve preferir um modelo base robusto, manter a "verdade" do domínio em sistemas externos versionados e tratar qualquer fine-tuning como uma mudança controlada com testes de regressão e verificações de compliance.
A armadilha técnica do Catastrophic Forgetting
Um desafio técnico significativo que impacta a especialização é o LLM Catastrophic Forgetting. Este é um efeito de treinamento específico onde um modelo "esquece" informações aprendidas anteriormente quando é treinado em uma nova tarefa.
Durante o fine-tuning contínuo, um modelo pode sobrescrever os pesos internos que codificavam habilidades anteriores enquanto aprende uma nova tarefa.
Imagine que você treinou um LLM para ser um especialista em questões médicas. Mais tarde, você faz fine-tuning nesse mesmo modelo para entender documentos jurídicos. No processo de ajuste de seus parâmetros para a nova tarefa jurídica, o modelo pode inadvertidamente sobrescrever os parâmetros críticos que o tornavam bom em medicina.
Isso não é um bug, é uma feature de como as redes neurais aprendem. O processo de backpropagation ajusta os pesos para minimizar o erro na nova tarefa, sem garantia de que não está destruindo o conhecimento da tarefa antiga.
O risco corporativo mais amplo: “Model Drift”
Um desafio empresarial relacionado, e talvez mais comum, é o Model Drift (desvio de modelo). Não se trata de esquecimento durante o seu treinamento, mas da mudança de comportamento do modelo quando o provedor o atualiza.
Um estudo observou o desempenho do GPT-4 entre março de 2023 e junho de 2023. Ele descobriu que em algumas tarefas, como identificar números primos, o desempenho do modelo caiu significativamente ao longo do tempo. O modelo que as empresas usavam em junho simplesmente não era o mesmo que o de março.
Este é o cerne do problema da reliability. A IA especialista de domínio que você calibrou perfeitamente pode sofrer degradação de desempenho a cada atualização do modelo base, seja do GPT-4 para o 4º ou uma nova versão do Claude. Você não pode confiar que o conhecimento de nicho permanecerá estável se estiver armazenado nos mesmos pesos que estão sendo constantemente atualizados para conhecimento geral.
Especialização é uma camada, não apenas treinamento
Confiar apenas no treinamento generalista ou no fine-tuning de força bruta para criar especialistas de domínio é uma estratégia falha. Mais dados gerais diluem a expertise específica.
O pré-treinamento excessivo (over-pretraining) pode aumentar a fragilidade (brittleness) a mudanças downstream. O catastrophic forgetting torna qualquer especialização memorizada frágil. O Model Drift muda o comportamento ao longo do tempo, mesmo quando você não faz nada.
Para pagamentos, recuperação de dívidas, seguros e outros setores regulados, o caminho a seguir é uma arquitetura híbrida. Use um motor de raciocínio state-of-the-art. Combine-o com um estado de domínio dinâmico, curado e versionado, entregue via retrieval. Envolva-o com avaliação, monitoramento e gerenciamento de mudanças que atendam aos requisitos de compliance e reliability.
Essa é a abordagem que defendemos na Moveo.AI, porque as empresas merecem uma IA que seja precisa, auditável e estável sob mudança. A especialização é uma camada que você controla, não um efeito colateral de um treinamento que você não pode governar.