Partilhar via

IA generativa com o Banco de Dados do Azure para PostgreSQL

APLICA-SE A: Banco de Dados do Azure para PostgreSQL - Servidor Flexível

A IA generativa refere-se a uma classe de algoritmos de IA que podem aprender com o conteúdo multimédia existente e produzir novos conteúdos. O conteúdo produzido pode ser personalizado através de técnicas como prompts e ajustamento fino. Os algoritmos de IA generativa aplicam modelos específicos de aprendizagem automática:

  • Transformadores e redes neurais recorrentes (RNNs) para geração de texto
  • Redes adversárias generativas (GANs) e autocodificadores variacionais (VAEs) para geração de imagens

A IA generativa é usada na síntese de imagem e música e na área da saúde, juntamente com tarefas comuns, como preenchimento automático de texto, resumo de texto e tradução. As técnicas de IA generativa permitem recursos em dados como agrupamento e segmentação, pesquisa semântica e recomendações, modelagem de tópicos, resposta a perguntas e deteção de anomalias.

O vídeo a seguir demonstra o uso da IA generativa com o Banco de Dados do Azure para PostgreSQL e a pgvector extensão, que pode ajudá-lo a entender os conceitos neste artigo.

OpenAI

A OpenAI é uma organização de pesquisa e empresa de tecnologia conhecida por seu trabalho pioneiro no campo da IA e aprendizado de máquina. Sua missão é garantir que a inteligência geral artificial (AGI), que se refere a sistemas de IA altamente autônomos que podem superar os humanos no trabalho economicamente mais valioso, beneficie toda a humanidade. A OpenAI trouxe ao mercado modelos generativos de última geração, como GPT-3, GPT-3.5 e GPT-4.

O Azure OpenAI é uma oferta de serviço da Microsoft para ajudar a criar aplicativos de IA generativa usando o Azure. O Azure OpenAI oferece aos clientes IA de linguagem avançada com modelos OpenAI GPT-4, GPT-3, Codex, DALL-E e Whisper, com os recursos corporativos e de segurança do Azure. O Azure OpenAI codesenvolve as APIs com o OpenAI para garantir compatibilidade e uma transição suave de um para o outro.

Com o Azure OpenAI, os clientes obtêm os recursos de segurança do Microsoft Azure enquanto executam os mesmos modelos do OpenAI. O Azure OpenAI oferece rede privada, disponibilidade regional e filtragem responsável de conteúdo de IA.

Saiba mais sobre o Azure OpenAI.

Modelo de linguagem grande

Um modelo de linguagem grande (LLM) é um tipo de modelo de IA que é treinado em grandes quantidades de dados de texto para entender e gerar linguagem semelhante à humana. Os LLMs são normalmente baseados em arquiteturas de aprendizagem profunda, como transformadores. Eles são conhecidos por sua capacidade de executar uma ampla gama de compreensão de linguagem natural e tarefas de geração. O serviço Azure OpenAI e o ChatGPT da OpenAI são exemplos de ofertas LLM.

As principais características e capacidades dos LLMs incluem:

  • Escala: A escala dos LLMs é imensa, em termos do número de parâmetros que suas arquiteturas usam. Modelos como o GPT-3 contêm de centenas de milhões a trilhões de parâmetros, que lhes permitem capturar padrões complexos na linguagem.
  • Pré-treinamento: LLMs passam por pré-treinamento em um grande corpus de dados de texto da internet. Esta pré-formação permite-lhes aprender gramática, sintaxe, semântica e uma ampla gama de conhecimentos sobre a língua e o mundo.
  • Ajuste fino: após o pré-treinamento, os LLMs podem ser ajustados para tarefas ou domínios específicos com conjuntos de dados menores e específicos de tarefas. Esse processo de ajuste fino permite que eles se adaptem a tarefas mais especializadas, como classificação de texto, tradução, sumarização e resposta a perguntas.

GPT

GPT significa Generative Pretrained Transformer, e refere-se a uma série de grandes modelos de linguagem que a OpenAI desenvolveu. Os modelos GPT são redes neurais que são pré-treinadas em grandes quantidades de dados da internet, por isso são capazes de entender e gerar texto semelhante ao humano.

Aqui está uma visão geral dos principais modelos GPT e suas principais características:

  • GPT-3: Lançado em junho de 2020 e um modelo bem conhecido na série GPT. Ele tem 175 bilhões de parâmetros, o que o torna um dos maiores e mais poderosos modelos de linguagem existentes.

    O GPT-3 alcançou um desempenho notável em uma ampla gama de tarefas de compreensão e geração de linguagem natural. Ele pode executar tarefas como preenchimento de texto, tradução e resposta a perguntas com fluência em nível humano.

    O GPT-3 é dividido em vários tamanhos de modelo, desde o menor (125 milhões de parâmetros) até o maior (175 bilhões de parâmetros).

  • GPT-4: O mais recente modelo GPT da OpenAI. Tem 1,76 trilhão de parâmetros.

Vetores

Um vetor é um conceito matemático que é usado em álgebra linear e geometria para representar grandezas que têm magnitude e direção. No contexto do aprendizado de máquina, os vetores são frequentemente usados para representar pontos de dados ou recursos.

Os principais atributos e operações dos vetores incluem:

  • Magnitude: O comprimento ou tamanho de um vetor, muitas vezes denotado como sua norma, representa a magnitude dos dados. É um número real não negativo.
  • Direção: A direção indica a orientação ou o ângulo da quantidade que representa, em relação a um ponto de referência ou sistema de coordenadas.
  • Componentes: Um vetor pode ser decomposto em seus componentes ao longo de diferentes eixos ou dimensões. Em um sistema de coordenadas cartesianas 2D, um vetor pode ser representado como (x, y), onde x e y são seus componentes ao longo dos eixos x e y, respectivamente. Um vetor em n dimensões é uma n-tupla ({x1, x2… xn}).
  • Adição e multiplicação escalar: Os vetores podem ser adicionados para formar novos vetores, e eles podem ser multiplicados por escalares (números reais).
  • Produtos de pontos e produtos cruzados: Os vetores podem ser combinados através de produtos de pontos (produtos escalares) e produtos cruzados (produtos vetoriais).

Bancos de dados vetoriais

Um banco de dados vetorial, também conhecido como sistema de gerenciamento de banco de dados vetorial (DBMS), é um tipo de sistema de banco de dados projetado para armazenar, gerenciar e consultar dados vetoriais de forma eficiente. Os bancos de dados relacionais tradicionais lidam principalmente com dados estruturados em tabelas, enquanto os bancos de dados vetoriais são otimizados para o armazenamento e a recuperação de pontos de dados multidimensionais representados como vetores. Esses bancos de dados são úteis para aplicações onde operações como pesquisas de similaridade, dados geoespaciais, sistemas de recomendação e clustering estão envolvidos.

As principais características dos bancos de dados vetoriais incluem:

  • Armazenamento vetorial: Os bancos de dados vetoriais armazenam pontos de dados como vetores com várias dimensões. Cada dimensão representa um recurso ou atributo do ponto de dados. Esses vetores podem representar uma ampla gama de tipos de dados, incluindo dados numéricos, categóricos e textuais.
  • Operações vetoriais eficientes: Os bancos de dados vetoriais são otimizados para executar operações vetoriais, como adição de vetores, subtração, produtos de pontos e cálculos de semelhança (por exemplo, semelhança de cosseno ou distância euclidiana).
  • Pesquisa eficiente: mecanismos de indexação eficientes são cruciais para a recuperação rápida de vetores semelhantes. Os bancos de dados vetoriais usam vários mecanismos de indexação para permitir a recuperação rápida.
  • Linguagens de consulta: os bancos de dados vetoriais fornecem linguagens de consulta e APIs adaptadas para operações vetoriais e pesquisas de similaridade. Estas linguagens de consulta permitem aos utilizadores expressar os seus critérios de pesquisa de forma eficiente.
  • Pesquisa de similaridade: os bancos de dados vetoriais se destacam em pesquisas de similaridade, que permitem aos usuários encontrar pontos de dados semelhantes a um ponto de consulta fornecido. Esta característica é valiosa nos sistemas de busca e recomendação.
  • Tratamento de dados geoespaciais: Alguns bancos de dados vetoriais são projetados para dados geoespaciais, portanto, são adequados para aplicações como serviços baseados em localização, sistemas de informação geográfica (SIG) e tarefas relacionadas a mapas.
  • Suporte para diversos tipos de dados: os bancos de dados vetoriais podem armazenar e gerenciar vários tipos de dados, como vetores, imagens e texto.

PostgreSQL pode ganhar as capacidades de um banco de dados vetorial com a ajuda da pgvector extensão.

Incorporações

Incorporações são um conceito em aprendizado de máquina e processamento de linguagem natural que envolve a representação de objetos (como palavras, documentos ou entidades) como vetores em um espaço multidimensional.

Estes vetores são muitas vezes densos. Ou seja, têm um elevado número de dimensões. Eles são aprendidos através de várias técnicas, incluindo redes neurais. As incorporações visam capturar relações semânticas e semelhanças entre objetos em um espaço vetorial contínuo.

Os tipos comuns de incorporações incluem:

  • Word: No processamento de linguagem natural, as incorporações de palavras representam palavras como vetores. Cada palavra é mapeada para um vetor em um espaço de alta dimensão, onde palavras com significados ou contextos semelhantes estão localizadas mais próximas umas das outras. Word2Vec e GloVe são técnicas populares de incorporação de palavras.
  • Documento: As incorporações de documentos representam documentos como vetores. Doc2Vec é popular para criar incorporações de documentos.
  • Imagem: As imagens podem ser representadas como incorporações para capturar recursos visuais para tarefas como reconhecimento de objetos.

As incorporações são fundamentais para representar dados complexos e de alta dimensão de uma forma que os modelos de aprendizado de máquina podem processar facilmente. Eles podem ser treinados em grandes conjuntos de dados e, em seguida, usados como recursos para várias tarefas. LLMs usá-los.

O PostgreSQL pode obter os recursos de gerar incorporações vetoriais com a integração OpenAI da extensão de IA do Azure.

Cenários

A IA generativa tem uma ampla gama de aplicações em vários domínios e indústrias, incluindo tecnologia, saúde, entretenimento, finanças, manufatura e muito mais. Aqui estão algumas tarefas comuns que as pessoas podem realizar usando IA generativa:

  • Pesquisa semântica:
    • A IA generativa permite a pesquisa semântica em dados em vez da pesquisa lexicográfica. Este último procura correspondências exatas para consultas, enquanto a pesquisa semântica encontra conteúdo que satisfaz a intenção da consulta de pesquisa.
  • Chatbots e assistentes virtuais:
    • Desenvolver chatbots que possam envolver-se em conversas naturais conscientes do contexto; por exemplo, para implementar autoajuda para os clientes.
  • Sistemas de recomendação:
    • Melhore os algoritmos de recomendação gerando incorporações ou representações de itens ou usuários.
  • Agrupamento e segmentação:
    • As incorporações generativas geradas por IA permitem que algoritmos de agrupamento agrupem dados para que dados semelhantes sejam agrupados. Esse agrupamento permite cenários como a segmentação de clientes, que permite que os anunciantes segmentem seus clientes de forma diferente com base em seus atributos.
  • Geração de conteúdo:
    • Gere texto semelhante ao humano para aplicações como chatbots, criação de romance/poesia e compreensão de linguagem natural.
    • Crie imagens, ilustrações ou designs realistas para gráficos, entretenimento e publicidade.
    • Gere vídeos, animações ou efeitos de vídeo para filmes, jogos e marketing.
    • Gere música.
  • Tradução:
    • Traduzem texto de um idioma para outro.
  • Resumo:
    • Resuma artigos ou documentos longos para extrair informações importantes.
  • Aumento de dados:
    • Gere amostras de dados extras para expandir e melhorar conjuntos de dados de treinamento para modelos de aprendizado de máquina.
    • Crie dados sintéticos para cenários difíceis ou caros de coletar no mundo real, como imagens médicas.
  • Descoberta de fármacos:
    • Gerar estruturas moleculares e prever potenciais candidatos a fármacos para investigação farmacêutica.
  • Desenvolvimento de jogos:
    • Crie conteúdo de jogo, incluindo níveis, personagens e texturas.
    • Gere ambientes e paisagens realistas no jogo.
  • Remoção de ruído e preenchimento de dados
    • Limpe dados barulhentos gerando amostras de dados limpos.
    • Preencha os dados em falta ou incompletos nos conjuntos de dados.

Conteúdos relacionados