O que é busca híbrida?

A busca híbrida é uma poderosa estratégia de recuperação de informações que combina duas ou mais técnicas de busca em um algoritmo de busca.

Normalmente, a busca híbrida combina busca por palavra-chave e busca semântica, utilizando técnicas avançadas de machine learning. A busca semântica recupera resultados com base no significado do texto, enquanto a busca de texto completo se concentra em correspondências exatas de palavras. A busca híbrida é vital para consultas conversacionais e aqueles momentos de 'como era o nome disso mesmo?' em que os usuários não digitam ou não conseguem inserir palavras-chave precisas.

Tanto a busca por palavra-chave quanto a busca semântica têm pontos fortes únicos. A busca por palavra-chave usa um algoritmo de classificação e termos específicos para determinar a relevância de um documento para uma busca de consulta. A busca semântica pega a consulta de busca e considera o contexto.

A busca híbrida melhora a precisão da busca ao combinar os pontos fortes da busca semântica e da busca tradicional. Ao equilibrar a compreensão semântica e respeitar os termos exatos da consulta, a busca híbrida fornece resultados que melhoram a experiência de busca do usuário.

A busca híbrida é a combinação de palavras-chave, busca lexical ou BM25 (um algoritmo de classificação que determina a relevância) e busca semântica. A busca semântica se concentra no que você obtém com a busca, enquanto a busca vetorial se concentra em como você alcança esses resultados, principalmente recuperando dados usando representações vetoriais.

Busca semântica

Busca semântica tem tudo a ver com compreender o significado e o contexto. Esse tipo de busca se concentra em entender a intenção por trás das palavras em uma consulta, em vez de apenas combinar palavras-chave, como faz a busca do BM25. A busca semântica preenche a lacuna entre a consulta humana e o significado real, considerando a variabilidade e a ambiguidade da linguagem. Ela utiliza processamento de linguagem natural (NLP), machine learning, gráficos de conhecimento e vetores para entregar resultados mais relevantes à intenção do usuário e incorporar contexto.

Para determinar o contexto, a busca semântica pode usar dados conhecidos do usuário, localização ou histórico de buscas anteriores para determinar resultados relevantes. Buscar "futebol" nos EUA resultaria em resultados diferentes do que a mesma busca em outras partes do mundo. A busca semântica distingue a intenção com base na localização geográfica do usuário.

Busca vetorial

Busca vetorial é um método de busca técnica que utiliza representação numérica ou vetores para representar itens como texto, imagens ou áudio e recupera dados com base em semelhanças. Esses vetores capturam o significado subjacente ou os recursos desses itens. Uma busca vetorial recupera dados medindo a semelhança das representações vetoriais.

Combinando abordagens

A busca semântica e a busca vetorial têm muito em comum. Na verdade, a busca semântica é alimentada pela busca vetorial.

Quando uma consulta é executada, o mecanismo de busca transforma a consulta em incorporações vetoriais. Um algoritmo, como o algoritmo kNN (algoritmo k-vizinhos mais próximos), corresponde vetores de documentos existentes ao vetor de consulta. Em seguida, o algoritmo gera resultados com base na relevância conceitual.

Quando a busca semântica e a busca vetorial trabalham juntas, as plataformas conseguem lidar com consultas complexas, incluindo buscas em vários idiomas e buscas que exigem dados não estruturados.

A busca híbrida combina a busca por palavra-chave e vetor para fornecer resultados de busca abrangentes. As incorporações vetoriais convertem dados, como frases ou fotos, em números que capturam seu significado e suas relações. Os dados são tokenizados, indexados e representados por incorporações numéricas. A busca vetorial pode capturar o significado em dados não estruturados. A busca vetorial supera as limitações da busca por palavra-chave, permitindo que os usuários busquem pelo que querem dizer, mesmo que não se lembrem de uma descrição precisa ou de uma palavra-chave exata. A busca híbrida pode analisar vetores densos e esparsos para obter os resultados mais relevantes.

Vetores densos

Vetores densos lidam com a compreensão semântica e consultas contextuais. Eles são comumente usados no machine learning moderno, especialmente para tarefas como gerar incorporações.

Vetores esparsos

Vetores esparsos lidam com a indexação tradicional baseada em palavras-chave e são escassamente preenchidos com informações. Esses vetores são frequentemente utilizados para grandes conjuntos de dados.

Processamento de consultas

O processamento de consultas na busca híbrida utiliza vetores esparsos para correspondência e priorização de palavras-chave exatas e vetores densos para compreensão semântica, capturando o significado e a intenção contextuais. Ao combinar esses dois tipos de vetores, a busca híbrida oferece resultados de busca abrangentes que equilibram especificidade e relevância. Para obter resultados, a busca híbrida usa a fusão de classificação recíproca (RRF) para combinar vários conjuntos de resultados (cada um com diferentes indicadores de relevância) em um único conjunto de resultados.

A busca híbrida oferece benefícios aos usuários em relação à busca tradicional, utilizando os pontos fortes combinados de diferentes métodos de busca. Seu principal benefício é fornecer resultados de busca mais precisos com menos esforço.

Em todos os setores, os algoritmos de busca internos e externos podem usar a busca híbrida para apresentar resultados relevantes. Por exemplo, as plataformas de comércio eletrônico podem distinguir entre buscas por "vestido vermelho com bolsos" e "vestido vermelho para o primeiro jantar em um restaurante chique e que tenha espaço para chaves e dinheiro."

Outro exemplo, ao buscar “cachorros” em um documento interno de benefícios de uma empresa, você pode encontrar um resultado para “política de animais de estimação no escritório”. A palavra específica pode não aparecer na consulta, mas provavelmente é a resposta que um usuário estava procurando.

No geral, o híbrido leva a uma experiência de busca aprimorada do usuário graças à sua flexibilidade com o idioma. A busca híbrida aprimora a precisão da busca ao equilibrar a compreensão semântica com os termos exatos da consulta. Portanto, consultas conversacionais e complexas podem ser processadas de forma eficiente, evitando becos sem saída e frustração para o usuário.

A geração aumentada de recuperação (RAG) é uma técnica de busca que utiliza dados privados ou proprietários para fornecer contexto que complementa a base de conhecimento original do seu LLM. A RAG é valiosa para consultas, pois permite que os sistemas de IA generativa usem fontes de informações externas para produzir respostas mais relevantes.

Usar a busca híbrida com RAG — e trazer fontes adicionais de dados — pode melhorar a relevância de uma experiência de busca adicionando contexto. Fontes de informações adicionais podem ser qualquer coisa que organizações ou clientes precisem para responder a uma consulta, desde novas informações na internet até documentos empresariais proprietários ou confidenciais.

O RAG oferece várias vantagens em relação aos modelos de linguagem que funcionam isoladamente. É uma opção econômica, requer menos computação e armazenamento, e garante que seu modelo possa acessar as informações mais atualizadas.

A Elastic facilita a implementação da busca híbrida oferecendo busca semântica pronta para uso. Com Elastic, a busca híbrida pode ser realizada em uma plataforma, uma API, com velocidade e redimensionamento, proporcionando melhor relevância desde o início.

Usando o playground da Elastic, os desenvolvedores podem explorar o grounding de LLMs de sua escolha com seus próprios dados privados em uma interface de baixo código.

A Elastic ajuda desenvolvedores a simplificarem a construção de consultas com os recém-introduzidos recuperadores de consultas — padrão, kNN e RRF. Usando essas consultas, o Elastic compreende os dados selecionados e gerará automaticamente uma consulta unificada.

• Arregace as mangas com o Elasticsearch AI Playground
• Como combinar resultados de texto completo e kNN combinados
• aNN vs kNN: entendendo suas diferenças e papéis na busca vetorial
• Usando busca híbrida para caça de gopher com Elasticsearch e Go
• Como realizar uma busca híbrida com texto semântico
• O que é RAG?
• O que é a busca semântica?