Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Este artigo fornece uma visão geral do Mosaic AI Vetor Search, incluindo o que é e como funciona.
O que é Mosaic AI Vetor Search?
O Mosaic AI Vetor Search é uma solução de busca vetorial integrada à plataforma Databricks Data Intelligence e integrada com suas ferramentas de governança e produtividade. A pesquisa vetorial é um tipo de pesquisa otimizada para recuperar incorporações. Incorporações são representações matemáticas do conteúdo semântico de dados, normalmente dados de texto ou imagem. As incorporações são geradas por um modelo de linguagem grande e são um componente-chave de muitas aplicações de IA generativas que dependem da localização de documentos ou imagens semelhantes entre si. Exemplos são sistemas RAG, sistemas de recomendação e reconhecimento de imagem e vídeo.
Com o Mosaic AI Vetor Search, você cria um índice de pesquisa vetorial a partir de uma tabela Delta. O índice inclui dados incorporados com metadados. Em seguida, você pode consultar o índice usando uma API REST para identificar os vetores mais semelhantes e retornar os documentos associados. Você pode estruturar o índice para sincronizar automaticamente quando a tabela Delta subjacente for atualizada.
O Mosaic AI Vetor Search suporta o seguinte:
- Pesquisa híbrida de semelhança de palavras-chave.
- Filtragem.
- Listas de controlo de acesso (ACLs) para gerir endpoints de pesquisa vetorial.
- Sincronizar apenas colunas selecionadas.
- Salvar e sincronizar incorporações geradas.
Como funciona o Mosaic AI Vetor Search?
O Mosaic AI Vetor Search usa o algoritmo Hierarchical Navigable Small World (HNSW) para suas pesquisas aproximadas de vizinhos mais próximos e a métrica de distância L2 para medir a semelhança do vetor de incorporação. Se quiseres usar a semelhança de cosseno, precisas normalizar as tuas representações de dados antes de as introduzir na pesquisa vetorial. Quando os pontos de dados são normalizados, o ranking produzido pela distância L2 é o mesmo que o produzido pela semelhança do cosseno.
O Mosaic AI Vetor Search também suporta pesquisa híbrida de semelhança de palavras-chave, que combina pesquisa de incorporação baseada em vetor com técnicas tradicionais de pesquisa baseadas em palavras-chave. Essa abordagem corresponde a palavras exatas na consulta e, ao mesmo tempo, usa uma pesquisa de semelhança baseada em vetor para capturar as relações semânticas e o contexto da consulta.
Ao integrar estas duas técnicas, a pesquisa híbrida de semelhança de palavras-chave recupera documentos que contêm não só as palavras-chave exatas, mas também aquelas que são conceptualmente semelhantes, fornecendo resultados de pesquisa mais abrangentes e relevantes. Este método é particularmente útil em aplicações RAG onde os dados de origem têm palavras-chave exclusivas, como SKUs ou identificadores que não são adequados para pesquisa de semelhança pura.
Para obter detalhes sobre a API, consulte a referência do SDK Python e Consultar um ponto de extremidade de pesquisa vetorial.
Cálculo de pesquisa de similaridade
O cálculo da pesquisa de semelhança usa a seguinte fórmula:
onde dist é a distância euclidiana entre o q de consulta e a entrada de índice x:
Algoritmo de pesquisa de palavras-chave
Os escores de relevância são calculados usando Okapi BM25. Todas as colunas de texto ou cadeia de caracteres são pesquisadas, incluindo a incorporação do texto de origem e colunas de metadados em formato de texto ou cadeia de caracteres. A função de tokenização se divide nos limites das palavras, remove a pontuação e converte todo o texto em minúsculas.
Como a pesquisa por semelhança e a pesquisa por palavra-chave são combinadas
A pesquisa de semelhança e os resultados da pesquisa por palavra-chave são combinados usando a função Reciprocal Rank Fusion (RRF).
O RRF reavalia a pontuação de cada documento de cada método usando a nova classificação.
Na equação acima, a classificação começa em 0, soma as pontuações de cada documento e retorna os documentos com maior pontuação.
rrf_param controla a importância relativa de documentos de classificação superior e inferior. Com base na literatura, o rrf_param está definido como 60.
As pontuações são normalizadas para que a pontuação mais alta seja 1 e a pontuação mais baixa seja 0 usando a seguinte equação:
Opções para fornecer incorporações vetoriais
Para criar um índice de pesquisa vetorial no Databricks, você deve primeiro decidir como fornecer incorporações vetoriais. O Databricks suporta três opções:
Opção 1: Índice de sincronização delta com incorporações calculadas pelo Databricks Você fornece uma tabela Delta de origem que contém dados em formato de texto. O Databricks calcula as incorporações, usando um modelo que você especifica, e, opcionalmente, salva as incorporações em uma tabela no Unity Catalog. À medida que a tabela Delta é atualizada, o índice permanece sincronizado com a tabela Delta.
O diagrama a seguir ilustra o processo:
- Calcule incorporações de consultas. A consulta pode incluir filtros de metadados.
- Realize pesquisas de semelhança para identificar os documentos mais relevantes.
- Devolva os documentos mais relevantes e acrescente-os à consulta.
Opção 2: Índice de sincronização delta com incorporações autogerenciadas Você fornece uma tabela Delta de origem que contém incorporações pré-calculadas. À medida que a tabela Delta é atualizada, o índice permanece sincronizado com a tabela Delta.
O diagrama a seguir ilustra o processo:
- A consulta consiste em incorporações e pode incluir filtros de metadados.
- Realize pesquisas de semelhança para identificar os documentos mais relevantes. Devolva os documentos mais relevantes e acrescente-os à consulta.
Opção 3: Índice de acesso direto vetorial Você deve atualizar manualmente o índice usando a API REST quando a tabela de incorporações for alterada.
O diagrama a seguir ilustra o processo:
Opções de ponto final
O Mosaic AI Vetor Search fornece as seguintes opções para que você possa selecionar a configuração de ponto final que atenda às necessidades do seu aplicativo.
Observação
Os endpoints otimizados para armazenamento estão em Visualização Pública e estão disponíveis nas seguintes regiões: eastus, eastus2, westus, westus2, westeurope.
- Os pontos finais padrão têm uma capacidade de 320 milhões de vetores na dimensão 768.
- Os endpoints otimizados para armazenamento têm uma capacidade maior (mais de um bilhão de vetores na dimensão 768) e fornecem indexação 10 a 20 vezes mais rápida. As consultas em endpoints otimizados para armazenamento têm uma latência ligeiramente aumentada de cerca de 250mseg. O preço desta opção é otimizado para o maior número de vetores. Para obter detalhes de preços, consulte a página de preços de pesquisa vetorial. Para obter informações sobre como gerenciar custos de pesquisa vetorial, consulte Mosaic AI Vetor Search: Guia de gerenciamento de custos.
Você especifica o tipo de ponto de extremidade ao criar o ponto de extremidade.
Consulte também Limitações de endpoints otimizados para armazenamento.
Como configurar o Mosaic AI Vetor Search
Para usar o Mosaic AI Vetor Search, você deve criar o seguinte:
Um endpoint de pesquisa vetorial. Este endpoint serve o índice de pesquisa vetorial. Pode consultar e atualizar o endpoint utilizando a API REST ou o SDK. Consulte Criar um ponto de extremidade de pesquisa vetorial para obter instruções.
Os pontos de extremidade dimensionam-se automaticamente para acomodar o tamanho do índice ou o número de solicitações simultâneas. Os endpoints otimizados para armazenamento diminuem automaticamente quando um índice é excluído. Os pontos de extremidade padrão não são reduzidos automaticamente.
Um índice de pesquisa vetorial. O índice de pesquisa vetorial é criado a partir de uma tabela Delta e é otimizado para fornecer pesquisas aproximadas em tempo real do vizinho mais próximo. O objetivo da pesquisa é identificar documentos semelhantes à consulta. Os índices de pesquisa vetorial aparecem e são regidos pelo Unity Catalog. Consulte Criar um índice de pesquisa vetorial para obter instruções.
Além disso, se você optar por fazer com que o Databricks calcule as incorporações, poderá usar um ponto de extremidade de APIs de Modelo de Base pré-configurado ou criar um ponto de extremidade de serviço de modelo para atender ao modelo de incorporação de sua escolha. Consulte APIs do modelo de base de pagamento por token ou Criar modelo de base servindo pontos de extremidade para obter instruções.
Para consultar o ponto de extremidade de serviço do modelo, use a API REST ou o SDK do Python. Sua consulta pode definir filtros com base em qualquer coluna na tabela Delta. Para obter detalhes, consulte Usar filtros em consultas, a referência da API ou a referência do SDK do Python.
Requisitos
- Espaço de trabalho com o Catálogo Unity ativado.
- Computação sem servidor habilitada. Para obter instruções, consulte Conectar-se à computação sem servidor.
- Para pontos de extremidade padrão, a tabela de origem deve ter o Change Data Feed habilitado. Consulte o feed de alterações de dados do Delta Lake no Azure Databricks.
- Para criar um índice de pesquisa vetorial, você deve ter privilégios de CREATE TABLE no esquema de catálogo onde o índice será criado.
A permissão para criar e gerenciar pontos de extremidade de pesquisa vetorial é configurada usando listas de controle de acesso. Consulte as ACLs do ponto de extremidade de pesquisa vetorial.
Proteção de dados e autenticação
O Databricks implementa os seguintes controles de segurança para proteger seus dados:
- Todas as solicitações de clientes para o Mosaic AI Vetor Search são logicamente isoladas, autenticadas e autorizadas.
- O Mosaic AI Vetor Search encripta todos os dados em repouso (AES-256) e em trânsito (TLS 1.2+).
O Mosaic AI Vector Search suporta dois modos de autenticação: "principais de serviço" e "tokens de acesso pessoal" (PATs). Para aplicações de produção, o Databricks recomenda que utilize princípios de serviço, que podem ter um desempenho por consulta até 100 ms mais rápido em relação aos tokens de acesso pessoal.
Token principal de serviço. Um administrador pode gerar um token de entidade de serviço e passá-lo para o SDK ou API. Veja principais de serviço. Para casos de uso de produção, o Databricks recomenda o uso de um token de principal de serviço.
# Pass in a service principal vsc = VectorSearchClient(workspace_url="...", service_principal_client_id="...", service_principal_client_secret="..." )Token de acesso pessoal. Você pode usar um token de acesso pessoal para autenticar com o Mosaic AI Vetor Search. Consulte token de autenticação de acesso pessoal. Se você usar o SDK em um ambiente de bloco de anotações, o SDK gerará automaticamente um token PAT para autenticação.
# Pass in the PAT token client = VectorSearchClient(workspace_url="...", personal_access_token="...")
As chaves geridas pelo cliente (CMK) são suportadas em pontos de extremidade criados em ou após o dia 8 de maio de 2024.
Monitorizar a utilização e os custos
A tabela do sistema de utilização faturável permite supervisionar a utilização e os custos associados a índices de pesquisa vetorial e endpoints. Segue-se uma consulta de exemplo:
WITH all_vector_search_usage (
SELECT *,
CASE WHEN usage_metadata.endpoint_name IS NULL THEN 'ingest'
WHEN usage_type = "STORAGE_SPACE" THEN 'storage'
ELSE 'serving'
END as workload_type
FROM system.billing.usage
WHERE billing_origin_product = 'VECTOR_SEARCH'
),
daily_dbus AS (
SELECT workspace_id,
cloud,
usage_date,
workload_type,
usage_metadata.endpoint_name as vector_search_endpoint,
CASE WHEN workload_type = 'serving' THEN SUM(usage_quantity)
WHEN workload_type = 'ingest' THEN SUM(usage_quantity)
ELSE null
END as dbus,
CASE WHEN workload_type = 'storage' THEN SUM(usage_quantity)
ELSE null
END as dsus
FROM all_vector_search_usage
GROUP BY all
ORDER BY 1,2,3,4,5 DESC
)
SELECT * FROM daily_dbus
Você também pode consultar o uso por política orçamental. Consulte Mosaic AI Vetor Search: Políticas orçamentais.
Para obter detalhes sobre o conteúdo da tabela de utilização de faturamento, consulte a referência da tabela do sistema de utilização faturável. Consultas adicionais estão no bloco de anotações de exemplo a seguir.
Bloco de notas para consultas em tabelas do sistema de pesquisa vetorial
Limites de tamanho de recursos e dados
A tabela a seguir resume os limites de recursos e tamanhos de dados dos pontos finais e índices de pesquisa vetorial.
| Recurso | Granularidade | Limite |
|---|---|---|
| Pontos de extremidade de pesquisa vetorial | Por espaço de trabalho | 100 |
| Incorporações | Por endpoint | ~ 320.000.000 na dimensão de incorporação 768 ~ 160.000.000 na dimensão de incorporação 1536 ~ 80.000.000 na dimensão de incorporação 3072 (escalonando aproximadamente de forma linear) |
| Dimensão de integração | Por índice | 4096 |
| Índices | Por endpoint | 50 |
| Colunas | Por índice | 50 |
| Colunas | Tipos suportados: bytes, curto, inteiro, longo, flutuante, double, booleano, string, timestamp, data | |
| Campos de metadados | Por índice | 50 |
| Nome do índice | Por índice | 128 caracteres |
Os seguintes limites aplicam-se à criação e atualização de índices de pesquisa vetorial:
| Recurso | Granularidade | Limite |
|---|---|---|
| Tamanho da linha para Delta Sync Index | Por índice | 100KB |
| Incorporando o tamanho da coluna de origem para o índice Delta Sync | Por índice | 32764 bytes |
| Limite de tamanho de solicitação de upsert em massa para o índice Direct Vetor | Por índice | 10 MB |
| Limite de tamanho de solicitação de exclusão em massa para o índice Direct Vetor | Por índice | 10 MB |
Os limites a seguir se aplicam à API de consulta.
| Recurso | Granularidade | Limite |
|---|---|---|
| Comprimento do texto de consulta | Por consulta | 32764 bytes |
| Número máximo de resultados retornados (pesquisa aproximada do vizinho mais próximo) | Por consulta | 10.000 |
| Número máximo de resultados retornados (pesquisa híbrida de semelhança de palavras-chave) | Por consulta | 200 |
Limitações
- O nome da coluna
_idestá reservado. Se a tabela de origem tiver uma coluna chamada_id, renomeie-a antes de criar um índice de pesquisa vetorial. - Não há suporte para permissões de nível de linha e coluna. No entanto, você pode implementar suas próprias ACLs de nível de aplicativo usando a API de filtro.
Limitações de endpoints otimizados para armazenamento
As limitações desta seção aplicam-se apenas a endpoints otimizados para armazenamento. Os endpoints otimizados para armazenamento estão em Visualização pública.
- O modo de sincronização contínua não é suportado.
- Não há suporte para colunas para sincronização.
- A dimensão de incorporação deve ser divisível por 16.
- Não há suporte para atualização incremental. Cada sincronização reconstrói totalmente o índice de pesquisa vetorial.
- Você deve antecipar uma redução significativa no tempo total necessário para uma sincronização em comparação com os endpoints padrão. Os conjuntos de dados com 1 bilhão de incorporações devem concluir uma sincronização em menos de 8 horas. Conjuntos de dados menores levarão menos tempo para sincronizar.
- Não há suporte para espaços de trabalho compatíveis com HIPAA, PCI e FedRAMP.
- Não há suporte para chaves gerenciadas pelo cliente (CMK).
- Os endpoints otimizados para armazenamento suportam até 1 bilhão de incorporações de vetores de 768 dimensões. Se você tiver um caso de uso de maior escala, entre em contato com sua equipe de conta.