Perguntas frequentes sobre o Azure AI Search

O Azure AI Search fornece um mecanismo de pesquisa dedicado e armazenamento persistente de seu conteúdo pesquisável para cenários de pesquisa vetorial e de texto completo. Ele também inclui IA opcional e integrada para extrair mais texto e estrutura de conteúdo bruto, e para fragmentar e vetorizar conteúdo para pesquisa vetorial.

O fluxo de trabalho principal é criar, carregar e consultar um índice. Embora você possa usar o portal para a maioria das tarefas, o Azure AI Search destina-se a ser usado programaticamente, manipulando solicitações do código do cliente. O suporte programático é fornecido por meio de APIs REST e bibliotecas de cliente em SDKs .NET, Python, Java e JavaScript para Azure.

O Azure Search foi renomeado para Azure Cognitive Search em outubro de 2019 para refletir o uso expandido (mas opcional) de habilidades cognitivas e processamento de IA em operações de serviço. A Pesquisa Cognitiva do Azure foi renomeada para Azure AI Search em outubro de 2023 para se alinhar com os serviços de IA do Azure.

O analisador padrão usado para tokenização é o Lucene padrão e é agnóstico de linguagem. Caso contrário, o suporte a idiomas é expresso por meio de analisadores de linguagem que aplicam regras linguísticas ao conteúdo de entrada (indexação) e de saída (consultas). Alguns recursos, como o ortógrafo, são limitados a um subconjunto de idiomas.

O código do cliente deve chamar as bibliotecas de cliente do SDK do Azure ou APIs REST para se conectar a um índice de pesquisa, formular consultas e manipular respostas. Você também pode escrever código que cria e atualiza um índice ou executa indexadores programaticamente ou por script.

Nem sempre. A API REST é sempre a primeira a implementar novos recursos em versões de API de visualização. As bibliotecas de cliente nos SDKs do Azure receberão novos recursos ao longo do tempo, mas serão lançadas em sua própria agenda.

Embora as APIs REST sejam as primeiras a ser lançadas com os recursos mais recentes, os SDKs do Azure fornecem mais suporte à codificação e são recomendados em relação ao REST, a menos que um recurso necessário não esteja disponível.

Não é possível pausar um serviço de pesquisa. No Azure AI Search, os recursos de computação são alocados quando o serviço é criado. Não é possível liberar e recuperar esses recursos sob demanda.

A camada de serviço, o nome e a região são fixados durante o tempo de vida do serviço.

Desde que você siga a lista de verificação antes de mover recursos e certifique-se de que cada etapa seja concluída, não deve haver tempo de inatividade.

Refere-se à ingestão, análise e armazenamento de conteúdo textual e tokens que preenchem um índice de pesquisa. A indexação cria índices invertidos e outras estruturas de dados físicos que suportam a recuperação de informações.

Ele cria índices vetoriais se o esquema incluir campos vetoriais.

Não há suporte nativo para portar índices. Os índices de pesquisa são considerados estruturas de dados a jusante, aceitando conteúdo de outras fontes de dados que recolhem dados operacionais. Como tal, não há suporte interno para backup e restauração de índices, porque a expectativa é que você reconstrua um índice a partir dos dados de origem se o excluir ou quiser movê-lo.

No entanto, se quiser mover um índice entre serviços de pesquisa, você pode tentar o código de exemplo index-backup-restore neste repositório de exemplo .NET do Azure AI Search. Há também uma versão Python de backup e restauração.

Não, se você excluir um índice ou serviço do Azure AI Search, ele não poderá ser recuperado. Quando você exclui um serviço de pesquisa, todos os índices no serviço são excluídos permanentemente.

Se você estiver usando o indexador de pesquisa para o Banco de Dados SQL do Azure, não haverá restrições sobre o uso de réplicas primárias ou secundárias como fonte de dados ao criar um índice do zero. No entanto, atualizar um índice com atualizações incrementais (com base em registros alterados) requer a réplica primária. Esse requisito vem do Banco de dados SQL, que garante o controle de alterações apenas em réplicas primárias. Se você tentar usar réplicas secundárias para uma carga de trabalho de atualização de índice, não há garantia de obter todos os dados.

A pesquisa vetorial é uma técnica que encontra os documentos mais semelhantes, comparando suas representações vetoriais. Como o objetivo de uma representação vetorial é capturar as características essenciais de um item em um formato numérico, as consultas vetoriais podem identificar conteúdo semelhante, mesmo que não haja correspondências explícitas com base em palavras-chave ou tags. Quando um usuário realiza uma pesquisa, a consulta é resumida em uma representação vetorial e o mecanismo de pesquisa vetorial identifica os documentos mais semelhantes. Para melhorar a eficiência em grandes bancos de dados, a pesquisa vetorial geralmente fornece os vizinhos mais próximos aproximados para um vetor de consulta. Consulte Visão geral da pesquisa vetorial para obter as especificidades da oferta de vetores do Azure AI Search.

O Azure AI Search dá suporte à indexação e recuperação de vetores. Ele pode vetorizar cadeias de caracteres de consulta e conteúdo se você usar as bibliotecas de visualização e beta.

Com a pesquisa vetorial autônoma, você primeiro usa um modelo de incorporação para transformar o conteúdo em uma representação vetorial dentro de um espaço de incorporação. Em seguida, você pode fornecer esses vetores em uma carga útil do documento para o índice de pesquisa para indexação. Para atender a solicitações de pesquisa, use o mesmo DNN da indexação para transformar a consulta de pesquisa em uma representação vetorial, e a pesquisa vetorial localiza os vetores mais semelhantes e retorna os documentos correspondentes.

No Azure AI Search, você pode indexar dados vetoriais como campos em documentos ao lado de conteúdo textual e outros tipos de conteúdo. O tipo de dados para um campo vetorial é Collection(Edm.Single).

As consultas vetoriais podem ser emitidas de forma autônoma ou em combinação com outros tipos de consulta, incluindo consultas de termos e filtros na mesma solicitação de pesquisa.

A vetorização integrada integrada está agora em pré-visualização pública.

A maioria dos serviços existentes suporta pesquisa vetorial. Se você estiver usando um pacote ou API que ofereça suporte à pesquisa vetorial e a criação de índice falhar, o serviço de pesquisa subjacente não suportará a pesquisa vetorial e um novo serviço deverá ser criado. Isso pode ocorrer para um pequeno subconjunto de serviços criados antes de 1º de janeiro de 2019.

Se o seu serviço de pesquisa suportar pesquisa vetorial, os índices novos e existentes podem acomodar campos vetoriais.

Estamos implementando limites aprimorados de tamanho de índice vetorial em todo o mundo para novos serviços de pesquisa, mas ainda estamos construindo capacidade de infraestrutura em determinadas regiões. Os novos serviços de pesquisa criados em regiões suportadas terão limites de tamanho de índice vetorial aumentados. Infelizmente, não podemos migrar os serviços existentes para os novos limites.

Para habilitar a pesquisa vetorial em um índice, você deve:

• Adicione um ou mais campos vetoriais a uma coleção de campos.

• Adicione uma seção "vectorSearch" ao esquema de índice especificando a configuração usada pelos campos de pesquisa vetorial, incluindo os parâmetros do algoritmo Approximate Nearest Neighbor usado, como HNSW.

• Use 2023-11-01 ou um SDK do Azure para criar ou atualizar o índice, carregar documentos e emitir consultas.

As consultas são executadas em um único índice de pesquisa hospedado no seu serviço de pesquisa. Não é possível unir vários índices para pesquisar conteúdo em dois ou mais índices, mas é possível consultar índices de mesmo nome em vários serviços de pesquisa.

O caso mais comum é não saber que cada tipo de consulta suporta diferentes comportamentos de pesquisa e níveis de análises linguísticas. A pesquisa de texto completo, que é a carga de trabalho predominante, inclui uma fase de análise de linguagem que divide termos em formulários raiz. Esse aspeto da análise de consulta projeta uma rede mais ampla sobre possíveis correspondências, porque o termo tokenizado corresponde a um número maior de variantes.

As consultas curinga, difusa e regex, no entanto, não são analisadas como consultas regulares de termos ou frases e podem levar a uma má lembrança se a consulta não corresponder à forma analisada da palavra no índice de pesquisa. Para obter mais informações sobre análise e análise de consultas, consulte arquitetura de consulta.

A maioria das consultas de pesquisa curinga, como prefixo, difuso e regex, são reescritas internamente com termos correspondentes no índice de pesquisa. Esse processamento extra aumenta a latência. Além disso, consultas de pesquisa amplas, como a* , por exemplo, provavelmente serão reescritas com muitos termos, o que pode ser lento. Para pesquisas curinga com desempenho, considere definir um analisador personalizado.

Não, uma consulta tem sempre como escopo um único índice.

As pontuações de pesquisa são geradas para consultas de pesquisa de texto completo, com base nas propriedades estatísticas dos termos correspondentes, e ordenadas de alto a baixo no conjunto de resultados. Os tipos de consulta que não são pesquisa de texto completo (curinga, prefixo, regex) não são classificados por uma pontuação de relevância. Este comportamento é a predefinição. Uma pontuação constante permite que as correspondências encontradas através da expansão da consulta sejam incluídas nos resultados, sem afetar a classificação.

Por exemplo, suponha que uma entrada de "tour*" em uma pesquisa curinga produza correspondências em "tours", "tourettes" e "turmalina". Dada a natureza desses resultados, não há como inferir razoavelmente quais termos são mais valiosos do que outros. Por esse motivo, as frequências de termo são ignoradas quando a pontuação resulta em consultas dos tipos curinga, prefixo e regex. Os resultados da pesquisa com base em uma entrada parcial recebem uma pontuação constante para evitar preconceitos em relação a partidas potencialmente inesperadas.

Ele armazena seus dados onde quer que seu serviço seja implantado. O Azure AI Search não armazena dados do cliente fora da região de implantação.

Sim, se você usar as habilidades internas com base nos serviços de IA do Azure, o indexador enviará solicitações para os serviços de IA do Azure pela rede interna. Se você adicionar uma habilidade personalizada, o indexador enviará conteúdo para o URI fornecido na habilidade personalizada pela rede pública.

Não exatamente. Normalmente, os usuários autorizados a executar seu aplicativo também estão autorizados a ver todos os resultados da pesquisa. O Azure AI Search não tem suporte interno para permissões de nível de linha ou de documento, mas você pode implementar filtros de segurança como uma solução alternativa.

Sim, você pode usar a autorização baseada em função para operações de plano de dados sobre o conteúdo.

Você pode usar o portal do Azure em um serviço de pesquisa protegido pela rede se criar uma exceção de rede que permita o acesso ao cliente e ao portal. Para obter mais informações, consulte Conectar-se por meio de um firewall IP ou conectar-se por meio de um ponto de extremidade privado.

Próximos passos

Se a sua pergunta não for respondida aqui, pode consultar as seguintes fontes para obter mais perguntas e respostas.

Estouro de pilha: Azure AI Search
Como funciona a pesquisa de texto completo na Pesquisa de IA do Azure
O que é o Azure AI Search?