A pesquisa interna clássica compara cadeias de caracteres. Encontra os produtos cujo texto contém as palavras introduzidas, e mais nada. A pesquisa semântica compara sentidos: aproxima « carregador para o carro » e « adaptador de isqueiro » sem que nenhum sinónimo tenha sido declarado.
Eis como funciona realmente, quanto custa, e onde continua pior do que o clássico.
O princípio, sem jargão
Cada produto do seu catálogo é transformado numa sequência de números, chamada vetor, que representa o seu sentido. Dois produtos próximos pelo sentido produzem vetores próximos nesse espaço.
Quando um visitante procura algo, o seu pedido é transformado da mesma forma, e depois o motor procura os vetores mais próximos. Nenhuma correspondência de palavras é necessária: é a proximidade de sentido que decide.
Esta transformação é produzida por um modelo de linguagem, treinado em enormes volumes de texto, que aprendeu que certos termos aparecem nos mesmos contextos. É isso que lhe permite saber que um isqueiro de carro e um carregador para o carro relevam do mesmo uso.
O que resolve
Três situações em que o motor clássico falha sistematicamente.
O vocabulário diferente. O cliente emprega as suas palavras, o seu catálogo emprega as do fornecedor. Sem sinónimos declarados, nenhum resultado. É o caso mais frequente e mais caro.
O pedido descritivo. « Alguma coisa para arrumar ferramentas numa garagem » não contém nenhuma palavra do seu catálogo, mas descreve precisamente uma necessidade. O motor lexical devolve ruído ou nada.
A gralha e a variação. Plurais, conjugações, ortografias aproximadas são absorvidos pela representação vetorial sem ajuste particular.
Pesquisa Semântica IA: Módulo PrestaShop 8 e 9A pesquisa que compreende a intenção, e não apenas as palavras-chave149,00€
O que vetorizar
Pergunta que determina a qualidade dos resultados muito mais do que a escolha do modelo.
O mínimo útil: o nome do produto, a sua descrição curta, a sua categoria e os seus atributos principais. A descrição longa traz contexto mas também ruído, em particular quando contém condições de entrega ou menções legais idênticas em todas as fichas.
Um princípio simples: vetorize apenas o que distingue o produto. Qualquer texto presente de forma idêntica em cem fichas aproxima artificialmente essas cem fichas umas das outras e degrada a pertinência.
As características técnicas merecem um tratamento particular. Um modelo de linguagem compreende mal os números e as unidades: « 120 cm » e « 140 cm » parecem-lhe muito próximos. É um limite estrutural, não um defeito de configuração.
O ponto mais importante: não substituir, combinar
É o erro de conceção clássico. A pesquisa semântica não é melhor do que a pesquisa lexical, é diferente, e é nitidamente pior em certos casos.
Numa referência exata, um código de produto, um número de peça, um código de barras, o lexical ganha sempre. O vetorial não compreende que uma sequência de caracteres deve corresponder exatamente.
Nos valores numéricos, tamanho, peso, dimensão, potência, o lexical associado a filtros continua superior.
Num nome de marca, o lexical é mais fiável, com o vetorial a tender a trazer marcas concorrentes do mesmo universo.
A arquitetura que funciona combina os dois: uma pesquisa lexical primeiro, completada pela camada vetorial quando devolve poucos ou nenhuns resultados, ou fundida com uma ponderação. Uma loja que bascula inteiramente para o semântico vê as suas pesquisas por referência degradarem-se, e são muitas vezes as dos seus melhores clientes.
O custo, em claro
Três rubricas, de amplitudes muito diferentes.
A indexação inicial. Cada produto deve ser vetorizado uma vez. Num catálogo de dez mil referências, a operação representa um custo unitário baixo mas real, e um tempo de tratamento de algumas horas.
A atualização. Só os produtos modificados devem ser revetorizados. Uma reindexação completa a cada importação é um erro caro: detete as mudanças reais nos campos vetorizados.
Os pedidos. Cada pesquisa de visitante supõe vetorizar o pedido. É a rubrica que sobe com o tráfego, e a que é preciso olhar antes de avançar. Um cache dos pedidos frequentes reduz fortemente esse custo, com uma parte importante das pesquisas de uma loja a ser repetitiva.
Medir antes e depois
Três indicadores, registados nos trinta dias que precedem a implementação.
A taxa de pesquisas sem resultado, que deve baixar nitidamente. É o ganho mais visível e mais imediato.
A taxa de clique no primeiro resultado, que mede a pertinência percebida. Se baixa enquanto a taxa de resultados sobe, o seu motor devolve produtos próximos mas não pertinentes.
A taxa de conversão das sessões com pesquisa, o único número que justifica o investimento.
Um quarto controlo, qualitativo: constitua uma lista de trinta pedidos reais saídos dos seus registos, com o resultado esperado, e reproduza-a depois de cada modificação. É o único meio de constatar uma regressão antes dos seus clientes.
O módulo Pesquisa Semântica IA para PrestaShop implementa esta camada no PrestaShop 8 e 9: indexação vetorial do catálogo com seleção dos campos, combinação com a pesquisa lexical existente, produtos similares calculados sobre o sentido, e painel dos pedidos com a sua taxa de resultado.