O que há de novo na Pesquisa de IA do Azure
A Pesquisa Cognitiva do Azure agora é a Pesquisa de IA do Azure. Saiba mais sobre as atualizações mais recentes da funcionalidade, documentos e exemplos do Azure AI Search.
Nota
Os recursos de visualização são anunciados aqui, mas também mantemos uma lista de recursos de visualização para que você possa encontrá-los em um só lugar.
Outubro de 2024
| Número | Tipo | Description |
|---|---|---|
| Reduza os requisitos de dimensão para modelos de incorporação de texto treinados em MRL no Azure OpenAI | Caraterística | Text-embedding-3-small e Text-embedding-3-large são treinados usando Matryoshka Representation Learning (MRL). Isso permite truncar os vetores de incorporação para menos dimensões e ajustar o equilíbrio entre o uso do tamanho do índice vetorial e a qualidade da recuperação. Uma novidade truncationDimension na pré-visualização 2024-09-01 permite o acesso à compressão MRL em modelos de incorporação de texto. Isso só pode ser configurado para novos campos vetoriais. |
Descompactar @search.score para exibir subpontuações em resultados de pesquisa híbridos |
Caraterística | Você pode investigar os resultados classificados do RRF (Reciprocal Rank Fusion) exibindo as subpontuações de consulta individuais do resultado final mesclado e pontuado. Uma nova debug propriedade descompacta a pontuação da pesquisa. QueryResultDocumentSubscores, QueryResultDocumentRerankerInpute QueryResultDocumentSemanticField forneça os detalhes adicionais. Estas definições estão disponíveis na pré-visualização 2024-09-01. |
| Filtros de destino em uma pesquisa híbrida apenas para as consultas vetoriais | Caraterística | Um filtro em uma consulta híbrida envolve todas as subconsultas na solicitação, independentemente do tipo. Você pode substituir o filtro global para definir o escopo do filtro para uma subconsulta específica. O novo filterOverride parâmetro está disponível em consultas híbridas usando a visualização 2024-09-01. |
| Habilidade de divisão de texto (fragmentação de token) | IA aplicada (competências) | Essa habilidade tem novos parâmetros que melhoram a fragmentação de dados para incorporar modelos. Um novo unit parâmetro permite especificar a fragmentação de token. Agora você pode dividir por comprimento de token, definindo o comprimento para um valor que faça sentido para seu modelo de incorporação. Você também pode especificar o tokenizador e quaisquer tokens que não devem ser divididos durante o agrupamento de dados. As novas unit definições de parâmetro e subpontuação de consulta encontram-se na pré-visualização 2024-09-01. |
| 2024-09-01-visualização | API | Versão prévia de APIs REST para dimensões truncadas em modelos de incorporação de texto 3, filtragem vetorial direcionada para consultas híbridas, detalhes de subpontuação RRF para depuração e fragmentação de token para habilidade de divisão de texto. |
| Suporte de portal para criptografia de chave gerenciada pelo cliente (CMK) | Caraterística | Ao criar novos objetos no portal do Azure, agora você pode especificar a criptografia CMK e selecionar um Cofre da Chave do Azure para fornecer a chave. |
Agosto de 2024
| Número | Tipo | Description |
|---|---|---|
| Melhorias na sessão de depuração | funcionalidade | Há duas melhorias importantes. Primeiro, agora você pode depurar cargas de trabalho integradas de vetorização e fragmentação de dados. Em segundo lugar, Debug Sessions é redesenhado para uma apresentação mais simplificada de habilidades e mapeamentos. Você pode selecionar um objeto no fluxo e visualizar ou editar seus detalhes em um painel lateral. O layout com guias anterior é totalmente substituído por informações mais contextuais na página. |
| 2024-07-01 | API | Versão estável de APIs REST para tipos de dados vetoriais geralmente disponíveis, compactação vetorial e vetorização integrada durante indexação e consultas. |
| Vetorização integrada | Caraterística | Anunciando disponibilidade geral. Fragmentação e incorporação de dados orientados por habilidades durante a indexação. |
| Vetorizadores | Caraterística | Anunciando disponibilidade geral. Conversão de texto em vetor durante a execução da consulta. O vetorizador OpenAI do Azure e o vetorizador de API Web personalizado estão geralmente disponíveis. |
| Habilidade AzureOpenAIEmbedding | Caraterística | Anunciando disponibilidade geral. Um tipo de habilidade que chama um modelo de incorporação do Azure OpenAI para gerar incorporações durante a indexação. |
| Projeções do índice | Caraterística | Anunciando disponibilidade geral. Um componente de uma definição de conjunto de habilidades que define a forma de um índice secundário, suportando um padrão de índice um-para-muitos, onde o conteúdo de um pipeline de enriquecimento pode direcionar vários índices. |
| Quantização binária e escalar | Caraterística | Anunciando disponibilidade geral. Comprima o tamanho do índice vetorial na memória e no disco usando quantização integrada. |
| Tipos de dados estreitos | Caraterística | Anunciando disponibilidade geral. Atribua um tipo de dados menor em campos vetoriais, supondo que os dados de entrada sejam desse tipo de dados. |
| Assistente de importação e vetorização de dados | Portal do Azure | Anunciando disponibilidade geral. Um assistente que cria um pipeline de indexação completo que inclui fragmentação e vetorização de dados. O assistente cria todos os objetos e configurações necessários. Esta versão adiciona suporte do assistente para o Azure Data Lake no Armazenamento do Azure. |
| propriedade armazenada | Caraterística | Anunciando disponibilidade geral. Booleano que reduz o armazenamento de índices vetoriais por não armazenar vetores recuperáveis. |
| propriedade vectorQueries.Weight | Caraterística | Anunciando disponibilidade geral. Especifique o peso relativo de cada consulta vetorial em uma operação de pesquisa. |
Julho de 2024
| Número | Tipo | Description |
|---|---|---|
| Converse com os seus dados | Acelerador | Um acelerador de solução para o padrão RAG em execução no Azure, usando o Azure AI Search para recuperação e modelos de linguagem grandes do Azure OpenAI para criar experiências de pesquisa conversacional. O código com dados de exemplo está disponível para cenários de casos de uso, como consultor financeiro e revisão e resumo de contratos. |
| Mineração de conhecimento conversacional | Acelerador | Um acelerador de solução criado com base nos serviços Azure AI Search, Azure Speech e Azure OpenAI que permite aos clientes extrair informações acionáveis de conversas pós-contact center. |
| Construa o seu próprio copiloto | Acelerador | Crie sua própria solução de copiloto personalizada que capacita o Client Advisor a aproveitar o poder da IA generativa em dados estruturados e não estruturados. Ajudar os nossos clientes a otimizar as tarefas diárias e promover melhores interações com mais clientes. |
junho de 2024
| Número | Tipo | Description |
|---|---|---|
| Pesquisa de imagens no portal do Azure | Caraterística | O explorador de pesquisa suporta agora a pesquisa de imagens. Em um índice vetorial com conteúdo de imagem vetorizado, você pode soltar imagens no Search Explorer para consultar uma correspondência. |
maio de 2024
| Número | Tipo | Description |
|---|---|---|
| Maior capacidade e mais cota vetorial em todos os níveis (mesma taxa de faturamento) | Infraestrutura | Para a maioria das regiões, os tamanhos de partição agora são ainda maiores para Standard 2 (S2), Standard 3 (S3) e Standard 3 High Density (S3 HD) para serviços criados após 3 de abril de 2024. Para obter as partições maiores, crie um novo serviço em uma região que forneça uma infraestrutura mais recente. Os níveis otimizados para armazenamento (L1 e L2) também têm mais capacidade. Os clientes L1 e L2 devem criar um novo serviço para beneficiar da maior capacidade. Não há nenhuma atualização in-loco no momento. A capacidade extra está agora disponível em mais regiões: Alemanha Norte, Alemanha Centro-Oeste, África do Sul Norte, Suíça Oeste e Azure Government (Texas, Arizona e Virgínia). |
| Integração OneLake (visualização) | Caraterística | Novo indexador para arquivos OneLake e atalhos OneLake. Se você usa o Microsoft Fabric e o OneLake para acesso a dados da Amazon Web Services (AWS) e fontes de dados do Google, use esse indexador para importar dados externos para um índice de pesquisa. Este indexador está disponível através do portal do Azure, da API REST 2024-05-01-preview e dos pacotes beta do SDK do Azure. |
| Relevância do vetor Relevância da consulta híbrida |
Caraterística | Quatro aprimoramentos melhoram a relevância da pesquisa vetorial e híbrida. Primeiro, agora você pode definir limites nos resultados da pesquisa vetorial para excluir resultados de baixa pontuação. Em segundo lugar, as alterações na arquitetura de consulta aplicam perfis de pontuação no final do pipeline de consulta para cada tipo de consulta. O impulsionamento de documentos é um perfil de pontuação comum e agora funciona como esperado em consultas vetoriais e híbridas. Em terceiro lugar, você pode definir MaxTextRecallSize e countAndFacetMode em consultas híbridas para controlar a quantidade de resultados de pesquisa classificados como BM25 que fluem para o modelo de classificação híbrido. Em quarto lugar, para pesquisa vetorial e híbrida, você pode ponderar uma consulta vetorial para aumentar ou diminuir sua importância em uma solicitação de várias consultas. |
| Suporte a vetores binários | Caraterística | Collection(Edm.Byte) é um novo tipo de dados suportado. Este tipo de dados abre a integração com os modelos de incorporação binária Cohere v3 e quantização binária personalizada. Tipos de dados estreitos reduzem o custo de grandes conjuntos de dados vetoriais. Consulte Indexar dados binários para pesquisa vetorial para obter mais informações. |
| Habilidade de incorporações multimodais do Azure AI Vision (visualização) | Competência | Nova habilidade que está ligada à API de incorporação multimodal do Azure AI Vision. Você pode gerar incorporações de texto ou imagens durante a indexação. Essa habilidade está disponível por meio do portal do Azure e da API REST 2024-05-01-preview. |
| Vectorizador Azure AI Vision (pré-visualização) | Vetorizador | O novo vetorizador se conecta a um recurso do Azure AI Vision usando a API de incorporações multimodais para gerar incorporações no momento da consulta. Este vetorizador está disponível através do portal do Azure e da API REST 2024-05-01-preview. |
| Vetorizador do catálogo de modelos do Azure AI Studio (visualização) | Vetorizador | O novo vetorizador se conecta a um modelo de incorporação implantado a partir do catálogo de modelos do Azure AI Studio. Este vetorizador está disponível através do portal do Azure e da API REST 2024-05-01-preview. Como implementar vetorização integrada usando modelos do Azure AI Studio. |
| A habilidade AzureOpenAIEmbedding (visualização) suporta mais modelos no Azure OpenAI | Competência | Agora suporta text-embedding-3-large e text-embedding-3-small, juntamente com text-embedding-ada-002 da atualização anterior. Novas dimensions e modelName propriedades tornam possível especificar os vários modelos de incorporação no Azure OpenAI. Anteriormente, os limites de dimensões eram fixados em 1.536 dimensões, aplicáveis apenas à incorporação de texto-ada-002. A habilidade atualizada está disponível por meio do portal do Azure e da API REST 2024-05-01-preview. |
| Atualizações do portal do Azure | Portal | O assistente de importação e vetorização de dados agora oferece suporte a indexadores OneLake como fonte de dados. Para incorporações, também suporta ligações ao Azure AI Vision multimodal, ao catálogo de modelos do Azure AI Studio e a mais modelos de incorporação no Azure OpenAI. Ao adicionar um campo a um índice, você pode escolher um tipo de dados binários. O explorador de pesquisa agora usa como padrão 2024-05-01-preview e suporta os novos recursos de visualização para consultas vetoriais e híbridas. |
| 2024-05-01-pré-visualização | API | A nova versão de visualização das APIs REST de pesquisa fornece novas habilidades e vetorizadores, novo tipo de dados binários, indexador de arquivos OneLake e novos parâmetros de consulta para resultados mais relevantes. Consulte Atualizar APIs REST se você tiver um código existente escrito em relação ao 2023-07-01-preview e precisar migrar para esta versão. |
| Pacotes beta do SDK do Azure | API | Analise os logs de alterações dos seguintes pacotes beta do SDK do Azure para obter suporte a novos recursos: SDK do Azure para Python, SDK do Azure para .NET, SDK do Azure para Java |
| Exemplos de código Python | Exemplos | Novos exemplos de ponta a ponta demonstram a integração com o Cohere Embed v3, a integração com o OneLake e plataformas de dados em nuvem no Google e na AWS e a integração com APIs multimodais do Azure AI Vision. |
Abril de 2024
| Número | Tipo | Description |
|---|---|---|
| Atualização de segurança que aborda a divulgação de informações | API | As respostas GET não retornam mais cadeias de conexão ou chaves. Aplica-se ao GET Skillset, GET Index e GET Indexer. Essa alteração ajuda a proteger seus ativos do Azure integrados à AI Search contra acesso não autorizado. |
| Mais armazenamento nos níveis Basic e Standard | Infraestrutura | Basic agora suporta até três partições e três réplicas. Os níveis Basic e Standard (S1, S2, S3) têm significativamente mais armazenamento por partição, com a mesma taxa de faturamento por partição. A capacidade extra está sujeita à disponibilidade regional e aplica-se a novos serviços de pesquisa criados após 3 de abril de 2024. Atualmente, não há nenhuma atualização in-loco, então você deve criar um novo serviço de pesquisa para obter o armazenamento extra. |
| Mais cota para vetores | Infraestrutura | As cotas vetoriais também são maiores em novos serviços criados após 3 de abril de 2024 em regiões selecionadas. |
Quantização vetorial, tipos de dados vetoriais estreitos e uma nova stored propriedade (visualização) |
Caraterística | Coletivamente, esses três recursos adicionam compactação vetorial e opções de armazenamento mais inteligentes. Primeiro, a quantização escalar reduz o tamanho do índice vetorial na memória e no disco. Em segundo lugar, tipos de dados estreitos reduzem o armazenamento por campo armazenando valores menores. Em terceiro lugar, você pode optar stored por não armazenar a cópia extra de um vetor usado apenas para resultados de pesquisa. Se você não precisar de vetores em uma resposta de consulta, poderá definir stored como false para economizar espaço. |
| 2024-03-01-preview Pesquisar API REST | API | Nova versão de visualização das APIs REST de pesquisa para os novos tipos de dados, propriedades de compactação vetorial e opções de armazenamento vetorial. |
| 2024-03-01-preview API REST de gerenciamento | API | Nova versão de visualização das APIs REST de gerenciamento para operações do plano de controle. |
| 2023-07-01-Preview anúncio de descontinuação | API | Preterição anunciada em 8 de abril de 2024. Fica sem suporte em 8 de julho de 2024. Esta foi a primeira API REST que ofereceu suporte à pesquisa vetorial. As versões mais recentes da API têm uma configuração vetorial diferente. Você deve migrar para uma versão mais recente o mais rápido possível. |
Fevereiro de 2024
| Número | Tipo | Description |
|---|---|---|
| Novos limites de dimensão | Caraterística | Para campos vetoriais, os limites máximos de dimensão são agora 3072, acima de 2048. |
Anúncios de 2023
| Month | Type | Anúncio |
|---|---|---|
| Novembro | Caraterística | Pesquisa vetorial, geralmente disponível. A restrição anterior às chaves geridas pelo cliente (CMK) foi agora levantada. A pré-filtragem e o algoritmo exaustivo de vizinho mais próximo do K também estão agora geralmente disponíveis. |
| Novembro | Caraterística | Classificador semântico, geralmente disponível |
| Novembro | Caraterística | A vetorização integrada (visualização) adiciona fragmentação de dados e conversões de texto para vetor durante a indexação e também adiciona conversões de texto para vetor no momento da consulta. |
| Novembro | Caraterística | O assistente de importação e vetorização de dados (visualização) automatiza a fragmentação e vetorização de dados. Ele tem como alvo a API REST 2023-10-01-Preview . |
| Novembro | Caraterística | As projeções de índice (visualização) definem a forma de um índice secundário, usado para um padrão de índice um-para-muitos, onde o conteúdo de um pipeline de enriquecimento pode direcionar vários índices. |
| Novembro | API | 2023-11-01 Search REST API é uma versão estável das APIs REST de pesquisa para pesquisa vetorial e classificação semântica. Consulte Atualizar APIs REST para obter as etapas de migração para os recursos geralmente disponíveis. |
| Novembro | API | 2023-11-01 Management REST API adiciona APIs que habilitam ou desabilitam o ranker semântico. |
| Novembro | Competência | A habilidade de incorporação do Azure OpenAI (visualização) se conecta a um modelo de incorporação implantado em seu recurso do Azure OpenAI para gerar incorporações durante a execução do conjunto de habilidades. |
| Novembro | Competência | Habilidade de divisão de texto (visualização) atualizada em 2023-10-01-Preview para suportar fragmentação de dados nativa. |
| Novembro | Vídeo | Como a pesquisa vetorial e a classificação semântica melhoram seus prompts GPT explica como a recuperação híbrida oferece dados de aterramento ideais para gerar respostas úteis de IA e permite a pesquisa sobre conceitos e palavras-chave. |
| Novembro | Exemplo | O controle de acesso baseado em função em aplicativos de IA generativa explica como usar o Microsoft Entra ID e a API do Microsoft Graph para implantar permissões granulares de usuário em conteúdo fragmentado em seu índice. |
| Outubro | Exemplo | Acelerador de solução "Converse com seus dados". Padrão RAG de ponta a ponta que usa o Azure AI Search como um retriever. Ele fornece indexação, fragmentação de dados e orquestração. |
| Outubro | Caraterística | Algoritmo exaustivo de pontuação K-Nearest Neighbors (KNN) para pesquisa de similaridade no espaço vetorial. Disponível apenas na API REST 2023-10-01-Preview. |
| Outubro | Caraterística | Os pré-filtros na pesquisa vetorial avaliam os critérios de filtro antes da execução da consulta, reduzindo a quantidade de conteúdo que precisa ser pesquisado. Disponível apenas na API REST 2023-10-01-Preview, através de uma nova vectorFilterMode propriedade na consulta que pode ser definida como preFilter (padrão) ou postFilter, dependendo dos seus requisitos. |
| Outubro | API | 2023-10-01-Preview Search REST API, quebrando altera a definição para campos vetoriais e consultas vetoriais. |
| Agosto | Caraterística | Classificação semântica melhorada. Modelos atualizados estão sendo implementados para reclassificação semântica e a disponibilidade é estendida a mais regiões. As contagens máximas de tokens únicos dobraram de 128 para 256. |
| Julho | Exemplo | Demonstração vetorial (SDK do Azure para JavaScript). Usa o Node.js e a biblioteca @azure/search-documents 12.0.0-beta.2 para gerar incorporações, criar e carregar um índice e executar várias consultas vetoriais. |
| Julho | Exemplo | Demonstração vetorial (SDK do Azure para .NET). Usa a biblioteca Azure.Search.Documents 11.5.0-beta.3 para gerar incorporações, criar e carregar um índice e executar várias consultas vetoriais. Você também pode tentar este exemplo da equipe do SDK do Azure. |
| Julho | Exemplo | Demonstração vetorial (SDK do Azure para Python) Usa a versão beta mais recente do azure.search.documents para gerar incorporações, criar e carregar um índice e executar várias consultas vetoriais. Visite o repositório azure-search-vector-samples/demo-python para obter mais demonstrações de pesquisa vetorial. |
| Junho | Caraterística | Pré-visualização pública da pesquisa vetorial. |
| Junho | Caraterística | Disponibilidade de pesquisa semântica, disponível na camada Básica. |
| Junho | API | 2023-07-01-Pré-visualização da API REST de pesquisa. Suporte para pesquisa vetorial. |
| Maio | Caraterística | Azure RBAC (controle de acesso baseado em função, disponível em geral). |
| Maio | API | 2022-09-01 Management REST API, com suporte para configurar a pesquisa para usar funções do Azure. O módulo Az.Search do Azure PowerShell e o módulo de pesquisa Az da CLI do Azure são atualizados para dar suporte às opções de autenticação do serviço de pesquisa. Você também pode usar o provedor Terraform para configurar opções de autenticação (consulte este guia de início rápido do Terraform para obter detalhes). |
| Abril | Exemplo | Implantação em várias regiões da Pesquisa de IA do Azure para continuidade de negócios e recuperação de desastres. Scripts de implantação que configuram totalmente uma solução multirregional para o Azure AI Search, com opções para sincronizar conteúdo e solicitar redirecionamento se um ponto de extremidade falhar. |
| Março | Exemplo | Dados do ChatGPT + Enterprise com o Azure OpenAI e o Azure AI Search (GitHub). Código Python e um modelo para combinar o Azure AI Search com os modelos de linguagem grandes no OpenAI. Para obter informações detalhadas, consulte esta postagem do blog da Comunidade Técnica: Revolucione seus dados corporativos com o ChatGPT. Pontos principais: Use o Azure AI Search para consolidar e indexar conteúdo pesquisável. Consulte o índice para obter os resultados iniciais da pesquisa. Monte prompts a partir desses resultados e envie para o modelo gpt-35-turbo (visualização) no Azure OpenAI. Devolva uma resposta cruzada e forneça citações e transparência em seu aplicativo voltado para o cliente para que os usuários possam avaliar a resposta. |
Anúncios do ano anterior
Rebranding do serviço
Este serviço teve vários nomes ao longo dos anos. Aqui estão em ordem cronológica inversa:
- Azure AI Search (novembro de 2023) Renomeado para se alinhar com os serviços de IA do Azure e as expectativas dos clientes.
- Azure Cognitive Search (outubro de 2019) Renomeado para refletir o uso expandido (mas opcional) de habilidades cognitivas e processamento de IA em operações de serviço.
- Azure Search (março de 2015) O nome original.
Atualizações de serviço
Os anúncios de atualização de serviço para o Azure AI Search podem ser encontrados no site do Azure.
Renomeação de recursos
A pesquisa semântica foi renomeada para classificador semântico em novembro de 2023 para descrever melhor o recurso, que fornece classificação L2 de um conjunto de resultados existente.