LLM da Moveo.AI vs GPT-4 para experiência do cliente

Vamos comparar a Moveo.AI com o GPT-4, focando na diferença da forma de geração de respostas, já que o GPT-4 não possui capacidades de planejamento e entendimento de dados estruturados.

Análise do Pipeline RAG

Para entender como funciona o sistema RAG da Moveo.AI, pense no seguinte:
Quando um usuário envia uma mensagem, o sistema consulta os documentos mais relevantes de uma base de dados de sua empresa.

Isso garante que as respostas da IA sejam baseadas em informações confiáveis e precisas. 

1. Os documentos de sua empresa são consultados junto com o histórico de conversas passadas e instruções personalizadas que você pré-define.

2. Estas informações são passadas para o modelo de linguagem(LLM) da Moveo.

3. O modelo de linguagem sintetiza essas informações e cria uma resposta personalizada

4. A mensagem é disparada para o(a) cliente, respondendo exatamente a dúvida em questão

Para comparar o modelo de linguagem da Moveo.AI com o GPT-4, avaliamos a qualidade das respostas às perguntas dos usuários finais. A avaliação é baseada em uma amostra aleatória de centenas de entradas dos dados de produção da Moveo, que nem o nosso modelo de linguagem nem o GPT-4 tinham sido encontrados antes. 

Cada entrada é convertida em um prompt que consiste na pergunta do usuário, no histórico da conversa, no conhecimento base de documentos fornecidos por você, que chamamos de coleção e nas instruções que fornecemos ao agente. 

Por exemplo, um prompt teria um formato semelhante ao seguinte:

• Pergunta do usuário

• Histórico da conversa

• Conhecimento base dos documentos da coleção

• Instruções ao vivo

• Instruções personalizadas

Assim, podemos comparar como cada modelo responde a essas situações, avaliando a qualidade e a precisão das respostas fornecidas.

Dimensões de Avaliação e Metodologia

• O processo de avaliação comparou as respostas do LLM da Moveo e do GPT-4 em sete dimensões que capturam características críticas no contexto da experiência do cliente. Cada dimensão recebeu uma pontuação, determinando qual LLM forneceu a melhor resposta.

• Dimensões de Avaliação

• Alucinação: Garante que o LLM respeita o conhecimento base e os dados fornecidos sem gerar respostas incorretas.

• Repetição: Mede a capacidade do LLM de evitar repetição considerando o contexto do diálogo.

• Desambiguação: Avalia se o LLM faz perguntas de acompanhamento para esclarecer questões ambíguas do usuário.

• Transferência para agente humano: Verifica se o LLM necessita conectar com um agente de suporte humano ao cliente apenas quando apropriado.

• Legibilidade: Avalia a clareza e a formatação das respostas do LLM.

• Linguagem: Avalia a correção sintática e a clareza da linguagem do LLM.

• Markdown: Mede o uso correto da sintaxe markdown pelo LLM para formatação.

Metodologia

Para avaliar a performance de diferentes modelos, usamos uma instância separada do GPT-4 como avaliador, fazendo uma chamada API para cada um dos centenas de exemplos.

É importante dizer que o GPT-4, tende a gerar respostas criadas por ele mesmo de acordo com pesquisas na internet.

É importante dizer que quando pedimos uma comparação de resultados de um sistema com outro, a tendência é que a ferramenta original sempre favoreça a ela mesma. Em outras palavras, se eu eu perguntar para o GPT-4 se nós somos melhores do que o próprio GPT-4, a tendência é que ela diga que o GPT-4 é melhor.

Mesmo assim, decidimos fazer o teste.