Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Neste início rápido, você usará o assistente de Importação e vetorização de dados no portal do Azure para começar a pesquisa multimodal. O assistente simplifica o processo de extração, agrupamento, vetorização e carregamento de texto e imagens em um índice pesquisável.
Ao contrário do Início Rápido: pesquisa de vetor no portal do Azure, que processa imagens simples que contêm texto, este início rápido dá suporte ao processamento de imagem avançado para cenários de RAG multimodal.
Este guia de início rápido usa um PDF multimodal do repositório azure-search-sample-data. No entanto, você pode usar arquivos diferentes e ainda concluir este início rápido.
Pré-requisitos
Uma conta do Azure com uma assinatura ativa. Crie uma conta gratuitamente.
Um serviço do Azure AI Search. Recomendamos camada Básica ou superior.
Uma conta do Armazenamento do Azure. Use o Armazenamento de Blobs do Azure ou o Azure Data Lake Storage Gen2 (conta de armazenamento com um namespace hierárquico) em uma conta de desempenho padrão (uso geral v2). As camadas de acesso podem ser quentes, frias ou geladas.
Familiaridade com o assistente. Veja Importar assistentes de dados no portal do Azure.
Métodos de extração com suporte
Para extração de conteúdo, você pode escolher a extração padrão por meio do Azure AI Search ou extração aprimorada por meio do Azure AI Document Intelligence. A tabela a seguir descreve ambos os métodos de extração.
Método | Descrição |
---|---|
Extração padrão | Extrai metadados de localização somente de imagens PDF. Não requer outro recurso de IA do Azure. |
Extração aprimorada | Extrai metadados de localização de texto e imagens para vários tipos de documento. Requer um recurso de vários serviços de IA do Azure1 em uma região com suporte. |
1 Para fins de cobrança, você deve anexar seu recurso de vários serviços de IA do Azure ao conjunto de habilidades em seu serviço do Azure AI Search. A menos que você use uma conexão sem chave para criar o conjunto de habilidades, ambos os recursos devem estar na mesma região.
Métodos de incorporação suportados
Para a incorporação de conteúdo, você pode escolher a verbalização de imagem (seguida de vetorização de texto) ou incorporações multimodais. As instruções de implantação para os modelos são fornecidas em uma seção posterior. A tabela a seguir descreve ambos os métodos de inserção.
Método | Descrição | Modelos com suporte |
---|---|---|
Verbalização de imagem | Usa um LLM para gerar descrições de linguagem natural de imagens e, em seguida, usa um modelo de inserção para vetorizar texto sem formatação e imagens verbalizadas. Requer um recurso do Azure OpenAI1, 2 ou um projeto do Azure AI Foundry. Para a vetorização de texto, você também pode usar um recurso de vários serviços de IA do Azure3 em uma região com suporte. |
LLMs: GPT-4o GPT-4o-mini phi-4 4 Inserindo modelos: text-embedding-ada-002 text-embedding-3-small text-embedding-3-large |
Inserções multimodal | Usa um modelo de inserção para vetorizar diretamente texto e imagens. Requer um projeto do Azure AI Foundry ou um recurso de vários serviços de IA do Azure3 em uma região com suporte. |
Cohere-embed-v3-english Cohere-embed-v3-multilingual |
1 O endpoint do recurso do Azure OpenAI deve ter um subdomínio personalizado, como https://my-unique-name.openai.azure.com
. Se você criou seu recurso no portal do Azure, esse subdomínio foi gerado automaticamente durante a instalação do recurso.
Não há suporte para 2 recursos do Azure OpenAI (com acesso a modelos de inserção) criados no portal do Azure AI Foundry . Você deve criar um recurso do Azure OpenAI no portal do Azure.
3 Para fins de cobrança, você deve anexar seu recurso de vários serviços de IA do Azure ao conjunto de habilidades em seu serviço do Azure AI Search. A menos que você use uma conexão sem chave (versão prévia) para criar o conjunto de habilidades, ambos os recursos devem estar na mesma região.
4phi-4
só está disponível para projetos do Azure AI Foundry.
Requisitos de ponto de extremidade público
Todos os recursos anteriores devem ter acesso público habilitado para que os nós do portal do Azure possam acessá-los. Caso contrário, o assistente falhará. Após a execução do assistente, é possível habilitar os firewalls e os pontos de extremidade privados nos componentes de integração para segurança. Para obter mais informações, consulte Conexões seguras nos assistentes de importação.
Se os pontos de extremidade privados já estiverem presentes e não puderem ser desabilitados, a alternativa será executar o respectivo fluxo de ponta a ponta por meio de um script ou um programa em uma máquina virtual. A máquina virtual deve estar na mesma rede virtual que o ponto de extremidade privado. Este é um exemplo de código Python para vetorização integrada. O mesmo repositório GitHub contém amostras em outras linguagens de programação.
Verificar o espaço
Se você estiver começando com o serviço gratuito, estará limitado a três índices, três fontes de dados, três conjuntos de habilidades e três indexadores. Verifique se há espaço para itens extras antes de começar. Este guia de início rápido cria uma unidade de cada objeto.
Configurar o acesso
Antes de começar, verifique se você tem permissões para acessar o conteúdo e as operações. Recomendamos a autenticação Microsoft Entra ID e o acesso baseado em funções para autorização. Você deve ser um Proprietário ou Administrador de Acesso do Usuário para atribuir funções. Se as funções não forem viáveis, você poderá usar autenticação baseada em chave.
Configure as funções necessárias e as funções condicionais identificadas nesta seção.
Funções necessárias
O Azure AI Search e o Armazenamento do Azure são necessários para todos os cenários de pesquisa multimodal.
A Pesquisa de IA do Azure fornece o pipeline multimodal. Configure o acesso para você e seu serviço de pesquisa para ler dados, executar o pipeline e interagir com outros recursos do Azure.
Em seu serviço do Azure AI Search:
Atribua as seguintes funções a si mesmo:
Colaborador do Serviço de Pesquisa
Contribuinte de dados do índice de pesquisa
Leitor de dados de índice de pesquisa
Funções condicionais
As guias a seguir abrangem todos os recursos compatíveis com o assistente para pesquisa multimodal. Selecione apenas as guias que se aplicam ao método de extração escolhido e ao método de inserção.
O Azure OpenAI fornece LLMs para verbalização de imagem e inserção de modelos para vetorização de texto e imagem. Seu serviço de pesquisa requer acesso para chamar aHabilidade de Prompt da GenAI e a Habilidade de Inserção do OpenAI do Azure.
No seu recurso do Azure OpenAI:
- Atribua o Usuário dos Serviços Cognitivos do OpenAI à identidade do serviço de pesquisa.
Preparar os dados de exemplo
Este início rápido usa um PDF multimodal de exemplo, mas você também pode usar seus próprios arquivos. Se você estiver usando em um serviço de pesquisa gratuito, use menos de 20 arquivos para permanecer dentro da cota gratuita para processamento de enriquecimento.
Para preparar os dados de exemplo para este início rápido:
Entre no portal do Azure e selecione sua conta de Armazenamento do Azure.
No painel esquerdo, selecione Armazenamento de Dados>Contêineres.
Crie um contêiner e carregue o PDF de exemplo no contêiner.
Crie outro contêiner para armazenar imagens extraídas do PDF.
Implantar modelos
O assistente oferece várias opções de inserção de conteúdo. A verbalização de imagem requer um LLM para descrever imagens e um modelo de inserção para vetorizar o conteúdo de texto e imagem, enquanto as inserções multimodal diretas requerem apenas um modelo de inserção. Esses modelos estão disponíveis por meio do Azure OpenAI e do Azure AI Foundry.
Observação
Se você estiver usando a Visão de IA do Azure, ignore esta etapa. As incorporações multimodais são integradas ao recurso de IA multisserviço do Azure e não exigem implantação de modelo.
Para implantar os modelos para este início rápido:
Entre no portal da Fábrica de IA do Azure.
Selecione o recurso do Azure OpenAI ou o projeto do Azure AI Foundry.
No painel esquerdo, selecione Catálogo de modelos.
Implante os modelos necessários para o método de inserção escolhido.
Iniciar o assistente
Para iniciar o assistente de pesquisa multimodal:
Entre no portal do Azure e selecione seu serviço do Azure AI Search.
Na página Visão geral, selecione Importar e vetorizar dados.
Selecione sua fonte de dados: Armazenamento de Blobs do Azure ou Azure Data Lake Storage Gen2.
Selecione RAG Multimodal.
Conectar-se aos seus dados
O Azure AI Search requer uma conexão com uma fonte de dados para ingestão e indexação de conteúdo. Nesse caso, a fonte de dados é sua conta de Armazenamento do Azure.
Para se conectar aos seus dados:
Na página Conectar à sua página de dados, especifique sua assinatura do Azure.
Selecione a conta de armazenamento e o contêiner para o qual você carregou os dados de exemplo.
Selecione a caixa de seleção Autenticar usando identidade gerenciada . Deixe o tipo de identidade como atribuído pelo sistema.
Selecione Avançar.
Extraia seu conteúdo
Dependendo do método de extração escolhido, o assistente fornece opções de configuração para quebra de documento e agrupamento.
O método padrão chama a habilidade de Extração de Documentos para extrair conteúdo de texto e gerar imagens normalizadas de seus documentos. A habilidade de Divisão de Texto é então chamada para dividir o conteúdo de texto extraído em páginas.
Para usar a habilidade de Extração de Documentos:
Inserir seu conteúdo
Durante essa etapa, o assistente usa o método de inserção escolhido para gerar representações de vetor de texto e imagens.
O assistente chama uma habilidade para criar texto descritivo para imagens (verbalização de imagem) e outra habilidade para criar inserções de vetor para texto e imagens.
Para verbalização de imagem, a habilidade de Solicitação de GenAI usa o LLM implantado para analisar cada imagem extraída e produzir uma descrição de linguagem natural.
Para inserções, a habilidade do Azure OpenAI Embedding, a habilidade de AML ou a habilidade de inserções multimodal da Visão de IA do Azure usa seu modelo de inserção implantado para converter partes de texto e descrições verbalizadas em vetores de alta dimensão. Esses vetores permitem similaridade e recuperação híbrida.
Para usar as habilidades para verbalização de imagem:
Na página Inserção de conteúdo , selecione Verbalização de Imagem.
Na aba Verbalização de Imagem:
Para o tipo, selecione seu provedor LLM: OpenAI do Azureou Modelos de catálogo do Hub da Fábrica de IA .
Especifique sua assinatura do Azure, o recurso e a implantação de LLM.
Para o tipo de autenticação, selecione a identidade atribuída pelo sistema.
Marque a caixa de seleção que reconhece os efeitos de cobrança do uso desses recursos.
Na guia Vetorização de Texto:
Para o tipo, selecione seu provedor de modelos: Azure OpenAI, modelos de catálogo do AI Foundry Hub ou vetorização da Visão de IA.
Especifique sua assinatura, recurso e implantação de modelo de inserção do Azure.
Para o tipo de autenticação, selecione a identidade atribuída pelo sistema.
Marque a caixa de seleção que reconhece os efeitos de cobrança do uso desses recursos.
Selecione Avançar.
Armazenar as imagens extraídas
A próxima etapa é enviar imagens extraídas de seus documentos para o Armazenamento do Azure. No Azure AI Search, esse armazenamento secundário é conhecido como um repositório de conhecimento.
Para armazenar as imagens extraídas:
Na página de saída de imagem, especifique sua assinatura do Azure.
Selecione a conta de armazenamento e o contêiner de blob que você criou para armazenar as imagens.
Selecione a caixa de seleção Autenticar usando identidade gerenciada . Deixe o tipo de identidade como atribuído pelo sistema.
Selecione Avançar.
Mapear novos campos
Na página Configurações avançadas , opcionalmente, você pode adicionar campos ao esquema de índice. Por padrão, o assistente gera os campos descritos na tabela a seguir.
Campo | Aplicável ao | Descrição | Atributos |
---|---|---|---|
content_id | Vetores de texto e imagem | Campo de cadeia de caracteres. Chave do documento para o índice. | Recuperável, classificável e pesquisável. |
título_do_documento | Vetores de texto e imagem | Campo de cadeia de caracteres. Título do documento legível por humanos. | Recuperável e pesquisável. |
text_document_id | Vetores de texto | Campo de cadeia de caracteres. Identifica o documento pai do qual a parte de texto se origina. | Recuperável e filtrável. |
image_document_id | Vetores de imagem | Campo de cadeia de caracteres. Identifica o documento pai do qual a imagem se origina. | Recuperável e filtrável. |
Texto de conteúdo | Vetores de texto | Campo de cadeia de caracteres. Versão legível por humanos da parte de texto. | Recuperável e pesquisável. |
incorporação_de_conteúdo | Vetores de texto e imagem | Collection(Edm.Single). Representação vetorial de texto e imagens. | Recuperável e pesquisável. |
content_path | Vetores de texto e imagem | Campo de cadeia de caracteres. Caminho para o conteúdo no contêiner de armazenamento. | Recuperável e pesquisável. |
locationMetadata | Vetores de imagem | Edm.ComplexType. Contém metadados sobre a localização da imagem nos documentos. | Varia de acordo com o campo. |
Você não pode modificar os campos gerados ou seus atributos, mas pode adicionar campos se a fonte de dados os fornecer. Por exemplo, o Armazenamento de Blobs do Azure fornece uma coleção de campos de metadados.
Para adicionar campos ao esquema de índice:
Nos campos Índice, selecione Visualizar e editar.
Selecione Adicionar campo.
Selecione um campo de origem nos campos disponíveis, insira um nome de campo para o índice e aceite (ou substitua) o tipo de dados padrão.
Se você quiser restaurar o esquema para sua versão original, selecione Redefinir.
Agendar indexação
Para fontes de dados em que os dados subjacentes são voláteis, você pode agendar a indexação para capturar alterações em intervalos específicos ou datas e horas específicas.
Para agendar a indexação:
Na página Configurações avançadas , em Agendar indexação, especifique um agendamento de execução para o indexador. Recomendamos a opção Uma vez para este início rápido.
Selecione Avançar.
Concluir o assistente
A etapa final é examinar sua configuração e criar os objetos necessários para pesquisa multimodal. Se necessário, retorne às páginas anteriores no assistente de configuração para ajustar suas configurações.
Para concluir o assistente:
Na página Revisar e criar , especifique um prefixo para os objetos que o assistente criará. Um prefixo comum ajuda você a se manter organizado.
Selecione Criar.
Quando o assistente conclui a configuração, ele cria os seguintes objetos:
Um indexador que conduz o pipeline de indexação.
Uma conexão da fonte de dados com o Armazenamento de Blobs do Azure.
Um índice com campos de texto, campos de vetor, vetorizadores, perfis de vetor e algoritmos de vetor. Durante o fluxo de trabalho do assistente, você não pode modificar o índice padrão. Os índices estão em conformidade com a API REST versão prévia-01/05/2024 para que você possa usar as versões prévias dos recursos.
Um conjunto de habilidades com as seguintes competências:
A habilidade de Extração de Documento ou habilidade de Layout de Documento extrai texto e imagens de documentos de origem. A Habilidade de Divisão de Texto acompanha a Habilidade de Extração de Documentos para divisão de dados, enquanto a Habilidade de Layout de Documento possui divisão interna.
A habilidade de Solicitação de GenAI verbaliza imagens em linguagem natural. Se você estiver usando inserções multimodais diretas, essa habilidade estará ausente.
A Habilidade de inserção do OpenAI do Azure, a habilidade de AML ou a habilidade de inserções multimodal da Visão de IA do Azure é chamada uma vez para vetorização de texto e uma vez para vetorização de imagem.
A habilidade do Shaper enriquece a saída com metadados e cria novas imagens com informações contextuais.
Dica
Os objetos criados pelo assistente têm definições JSON configuráveis. Para exibir ou modificar essas definições, selecione Gerenciamento de pesquisa no painel esquerdo, onde você pode exibir seus índices, indexadores, fontes de dados e conjuntos de habilidades.
Verificar os resultados
Este início rápido cria um índice multimodal que dá suporte à pesquisa híbrida em texto e imagens. A menos que você use inserções multimodais diretas, o índice não aceita imagens como entradas de consulta, o que requer a habilidade de AML ou a habilidade de inserções multimodal da Visão de IA do Azure com um vetorizador equivalente. Para obter mais informações, consulte Configurar um vetorizador em um índice de pesquisa.
A pesquisa híbrida combina consultas de texto completo e consultas de vetor. Quando você emite uma consulta híbrida, o mecanismo de pesquisa calcula a semelhança semântica entre sua consulta e os vetores indexados e classifica os resultados adequadamente. Para o índice criado neste início rápido, os resultados exibem o conteúdo do campo content_text
que se alinha de perto com sua consulta.
Para consultar seu índice multimodal:
Entre no portal do Azure e selecione seu serviço do Azure AI Search.
No painel esquerdo, selecione gerenciamento de pesquisa>Índices.
Selecione seu índice.
Selecione opções de consulta e, em seguida, selecione Ocultar valores de vetor nos resultados da pesquisa. Esta etapa torna os resultados mais legíveis.
Insira o texto para o qual você deseja pesquisar. Nosso exemplo usa
energy
.Para executar a consulta, selecione Pesquisar.
Os resultados JSON devem incluir conteúdo de texto e imagem relacionado a
energy
no seu índice. Se você habilitou o classificador semântico, a@search.answers
matriz fornecerá respostas semânticas concisas e de alta confiança para ajudá-lo a identificar rapidamente correspondências relevantes."@search.answers": [ { "key": "a71518188062_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_normalized_images_7", "text": "A vertical infographic consisting of three sections describing the roles of AI in sustainability: 1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like energy distribution, resource allocation, and environmental monitoring. **Accelerate the development of sustainability solution...", "highlights": "A vertical infographic consisting of three sections describing the roles of AI in sustainability: 1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like<em> energy distribution, </em>resource<em> allocation, </em>and environmental monitoring. **Accelerate the development of sustainability solution...", "score": 0.9950000047683716 }, { "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_5", "text": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim 10.5 gigawatts (GW) of renewable energy to the grid.910.5 GWof new renewable energy capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization", "highlights": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim <em> 10.5 gigawatts (GW) of renewable energy </em>to the<em> grid.910.5 </em>GWof new<em> renewable energy </em>capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization", "score": 0.9890000224113464 }, { "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_50", "text": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community Solar MicrogridsDeveloping energy transition programsWe are co-innovating with communities to develop energy transition programs that align their goals with broader s.", "highlights": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community<em> Solar MicrogridsDeveloping energy transition programsWe </em>are co-innovating with communities to develop<em> energy transition programs </em>that align their goals with broader s.", "score": 0.9869999885559082 } ]
Limpar os recursos
Este início rápido usa recursos faturáveis do Azure. Caso não precise mais dos recursos, exclua-os de sua assinatura para evitar encargos.
Próximas etapas
Este início rápido introduziu você ao assistente de importação e vetorização de dados , que cria todos os objetos necessários para pesquisa multimodal. Para explorar cada etapa em detalhes, confira os seguintes tutoriais: