Partilhar via

Usar LangChain com o Banco de Dados do Azure para PostgreSQL

O Banco de Dados do Azure para PostgreSQL integra-se perfeitamente aos principais pacotes de orquestração de modelo de linguagem grande (LLM), como LangChain. Essa integração permite que os desenvolvedores usem recursos avançados de IA em seus aplicativos. LangChain pode simplificar o gerenciamento e o uso de LLMs, modelos de incorporação e bancos de dados para que os aplicativos de IA generativa sejam mais fáceis de desenvolver.

Este artigo mostra como usar o banco de dados vetorial integrado no Banco de Dados do Azure para PostgreSQL para armazenar e gerenciar documentos em coleções com LangChain. O texto também mostra como criar índices e executar consultas de pesquisa vetorial usando algoritmos de vizinhança mais próxima, como a distância do cosseno, a distância L2 (distância euclidiana) e o produto interno para localizar documentos que estão próximos aos vetores de consulta.

Suporte vetorial

Você pode usar o Banco de Dados do Azure para PostgreSQL para armazenar e consultar com eficiência milhões de incorporações vetoriais no PostgreSQL. O serviço pode ajudá-lo a escalar seus casos de uso de IA desde a prova de conceito até a produção. Oferece os seguintes benefícios:

  • Fornece uma interface SQL familiar para consultar incorporações vetoriais e dados relacionais.
  • Aumenta pgvector com uma pesquisa de semelhança mais rápida e precisa em mais de 100 milhões de vetores usando o algoritmo de indexação DiskANN.
  • Simplifica as operações integrando metadados relacionais, incorporações vetoriais e dados de séries cronológicas em um único banco de dados.
  • Usa o poder do ecossistema robusto do PostgreSQL e da plataforma de nuvem do Azure para recursos de nível empresarial, incluindo replicação e alta disponibilidade.

Autenticação

O Banco de Dados do Azure para PostgreSQL dá suporte à autenticação baseada em senha e ao Microsoft Entra (anteriormente Azure Ative Directory).

A autenticação do Microsoft Entra permite que você use o Microsoft Entra ID para autenticar no seu servidor PostgreSQL. O Microsoft Entra ID elimina a necessidade de gerenciar nomes de usuário e senhas separados para os usuários do banco de dados. Ele permite que você use os mesmos mecanismos de segurança que você usa para outros serviços do Azure.

Neste artigo, você pode usar qualquer um dos métodos de autenticação.

Configuração

O Banco de Dados do Azure para PostgreSQL usa o suporte LangChain Postgres de código aberto para se conectar ao Banco de Dados do Azure para PostgreSQL. Primeiro, faça o download do pacote de parceiros:

%pip install -qU langchain-azure-postgresql
%pip install -qU langchain-openai
%pip install -qU azure-identity

Habilitar pgvector no Banco de Dados do Azure para PostgreSQL

Consulte Habilitar e usar pgvector no Banco de Dados do Azure para PostgreSQL.

Configurar credenciais

Você precisa obter seus detalhes de conexão do Banco de Dados do Azure para PostgreSQL e adicioná-los como variáveis de ambiente.

Defina o sinalizador USE_ENTRA_AUTH para True se quiser usar a autenticação do Microsoft Entra. Se você estiver usando a autenticação do Microsoft Entra, precisará fornecer apenas os nomes de host e banco de dados. Se você estiver usando a autenticação de senha, também precisará definir o nome de usuário e a senha.

import getpass
import os

USE_ENTRA_AUTH = True

# Supply the connection details for the database
os.environ["DBHOST"] = "<server-name>"
os.environ["DBNAME"] = "<database-name>"
os.environ["SSLMODE"] = "require"

if not USE_ENTRA_AUTH:
    # If you're using a username and password, supply them here
    os.environ["DBUSER"] = "<username>"
    os.environ["DBPASSWORD"] = getpass.getpass("Database Password:")

Configurar incorporações do Azure OpenAI

os.environ["AZURE_OPENAI_ENDPOINT"] = "<azure-openai-endpoint>"
os.environ["AZURE_OPENAI_API_KEY"] = getpass.getpass("Azure OpenAI API Key:")

AZURE_OPENAI_ENDPOINT = os.environ["AZURE_OPENAI_ENDPOINT"]
AZURE_OPENAI_API_KEY = os.environ["AZURE_OPENAI_API_KEY"]

from langchain_openai import AzureOpenAIEmbeddings

embeddings = AzureOpenAIEmbeddings(
    model="text-embedding-3-small",
    api_key=AZURE_OPENAI_API_KEY,
    azure_endpoint=AZURE_OPENAI_ENDPOINT,
    azure_deployment="text-embedding-3-small",
)

Inicialização

Utilize a autenticação do Microsoft Entra

As seções a seguir demonstram como configurar o LangChain para usar a autenticação do Microsoft Entra. A classe AzurePGConnectionPool no pacote LangChain Azure Postgres recupera tokens para o serviço Banco de Dados do Azure para PostgreSQL usando DefaultAzureCredential da azure.identity biblioteca.

A conexão pode ser passada para o connection parâmetro do armazenamento vetorial LangChain AzurePGVectorStore .

Iniciar sessão no Azure

Para entrar no Azure, verifique se você tem a CLI do Azure instalada. Execute o seguinte comando no seu terminal:

az login

Depois de entrar, o código a seguir busca o token:

from langchain_azure_postgresql.common import (
    BasicAuth,
    AzurePGConnectionPool,
    ConnectionInfo,
)
from langchain_azure_postgresql.langchain import AzurePGVectorStore
entra_connection_pool = AzurePGConnectionPool(
        azure_conn_info=ConnectionInfo(
            host=os.environ["DBHOST"],
            dbname=os.environ["DBNAME"]
        )
    )

Usar autenticação de senha

Se você não estiver usando a autenticação do Microsoft Entra, a BasicAuth classe permitirá o uso de nome de usuário e senha:

basic_auth_connection_pool = AzurePGConnectionPool(
    azure_conn_info=ConnectionInfo(
        host=os.environ["DBHOST"],
        dbname=os.environ["DBNAME"],
        credentials=BasicAuth(
            username=os.environ["DBUSER"],
            password=os.environ["DBPASSWORD"],
        )
    )
)

Criar o repositório de vetores

from langchain_core.documents import Document
from langchain_azure_postgresql.langchain import AzurePGVectorStore

collection_name = "my_docs"

# The connection is either using Entra ID or Basic Auth
connection = entra_connection_pool if USE_ENTRA_AUTH else basic_auth_connection_pool

vector_store = AzurePGVectorStore(
    embeddings=embeddings,
    table_name=table_name,
    connection=connection,
)

Gestão da loja de vetores

Adicionar itens ao repositório de vetores

Adicionar documentos por ID substitui quaisquer documentos existentes que correspondam a esse ID.

docs = [
    Document(
        page_content="there are cats in the pond",
        metadata={"doc_id": 1, "location": "pond", "topic": "animals"},
    ),
    Document(
        page_content="ducks are also found in the pond",
        metadata={"doc_id": 2, "location": "pond", "topic": "animals"},
    ),
    Document(
        page_content="fresh apples are available at the market",
        metadata={"doc_id": 3, "location": "market", "topic": "food"},
    ),
    Document(
        page_content="the market also sells fresh oranges",
        metadata={"doc_id": 4, "location": "market", "topic": "food"},
    ),
    Document(
        page_content="the new art exhibit is fascinating",
        metadata={"doc_id": 5, "location": "museum", "topic": "art"},
    ),
    Document(
        page_content="a sculpture exhibit is also at the museum",
        metadata={"doc_id": 6, "location": "museum", "topic": "art"},
    ),
    Document(
        page_content="a new coffee shop opened on Main Street",
        metadata={"doc_id": 7, "location": "Main Street", "topic": "food"},
    ),
    Document(
        page_content="the book club meets at the library",
        metadata={"doc_id": 8, "location": "library", "topic": "reading"},
    ),
    Document(
        page_content="the library hosts a weekly story time for kids",
        metadata={"doc_id": 9, "location": "library", "topic": "reading"},
    ),
    Document(
        page_content="a cooking class for beginners is offered at the community center",
        metadata={"doc_id": 10, "location": "community center", "topic": "classes"},
    ),
]

uuids = vector_store.add_documents(docs)
uuids

Atualizar itens no repositório de vetores

updated_docs = [
    Document(
        page_content="Updated - cooking class for beginners is offered at the community center",
        metadata={"doc_id": 10, "location": "community center", "topic": "classes"},
        id=uuids[-1],
    )
]
vector_store.add_documents(docs, ids=[uuids[-1]], on_conflict_update=True)

Ver itens do repositório de vetores

vector_store.get_by_ids([str(uuids[-1])])

Excluir itens do repositório de vetores

vector_store.delete(ids=[uuids[-1]])

Consultas ao repositório de vetores

Depois de criar seu repositório de vetores e adicionar os documentos relevantes, você pode consultar o repositório de vetores em sua cadeia ou agente.

Suporte de filtragem

O repositório de vetores dá suporte a um conjunto de filtros que podem ser aplicados nos campos de metadados dos documentos por meio do FilterCondition, OrFiltere AndFilter no pacote LangChain Azure PostgreSQL :

Operador Significado/Categoria
= Igualdade (==)
!= Desigualdade (!=)
< Menor que (<)
<= Menor ou igual (<=)
> Maior que (>)
>= Maior ou igual (>=)
in Tratado especialmente (no âmbito de)
not in Exceção especial (não incluído)
is null Caixa especial (é nulo)
is not null Caixa especial (não é nulo)
between Caso especial (entre)
not between Invólucro especial (não entre)
like Texto (gosto)
ilike Texto (não diferencia maiúsculas de minúsculas)
AND Lógica (e)
OR Lógico (ou)

Consulta direta

Você pode realizar uma pesquisa de semelhança simples da seguinte maneira:

from langchain_azure_postgresql import FilterCondition, AndFilter

results = vector_store.similarity_search(
    "kitty",
    k=10,
    filter=FilterCondition(
        column="(metadata->>'doc_id')::int",
        operator="in",
        value=[1, 5, 2, 9],
    ),
)

for doc in results:
    print(f"* {doc.page_content} [{doc.metadata}]")

    * there are cats in the pond [{'doc_id': 1, 'topic': 'animals', 'location': 'pond'}]
    * ducks are also found in the pond [{'doc_id': 2, 'topic': 'animals', 'location': 'pond'}]
    * the new art exhibit is fascinating [{'doc_id': 5, 'topic': 'art', 'location': 'museum'}]
    * the library hosts a weekly story time for kids [{'doc_id': 9, 'topic': 'reading', 'location': 'library'}]

Se você fornecer um dicionário com vários campos, mas sem operadores, o nível superior será interpretado como um filtro lógico AND :

results = vector_store.similarity_search(
    "ducks",
    k=10,
    filter=AndFilter(
        AND=[
            FilterCondition(
                column="(metadata->>'doc_id')::int",
                operator="in",
                value=[1, 5, 2, 9],
            ),
            FilterCondition(
                column="metadata->>'location'",
                operator="in",
                value=["pond", "market"],
            ),
        ]
    ),
)

for doc in results:
    print(f"* {doc.page_content} [{doc.metadata}]")

    * ducks are also found in the pond [{'topic': 'animals', 'doc_id': 2, 'location': 'pond'}]
    * there are cats in the pond [{'topic': 'animals', 'doc_id': 1, 'location': 'pond'}]

Se você quiser executar uma pesquisa de similaridade e receber as pontuações correspondentes, você pode executar:

results = vector_store.similarity_search_with_score(query="cats", k=1)
for doc, score in results:
    print(f"* [SIM={score:3f}] {doc.page_content} [{doc.metadata}]")

* [SIM=0.528338] there are cats in the pond [{'doc_id': 1, 'topic': 'animals', 'location': 'pond'}]

Se você quiser usar a pesquisa de relevância marginal máxima em seu repositório de vetores:

results = vector_store.max_marginal_relevance_search(
    "query about cats",
    k=10,
    lambda_mult=0.5,
    filter=FilterCondition(
        column="(metadata->>'doc_id')::int",
        operator="in",
        value=[1, 2, 5, 9],
    ),
)

for doc in results:
    print(f"* {doc.page_content} [{doc.metadata}]")

    * there are cats in the pond [{'doc_id': 1, 'topic': 'animals', 'location': 'pond'}]
    * ducks are also found in the pond [{'doc_id': 2, 'topic': 'animals', 'location': 'pond'}]
    * the new art exhibit is fascinating [{'doc_id': 5, 'topic': 'art', 'location': 'museum'}]
    * the library hosts a weekly story time for kids [{'doc_id': 9, 'topic': 'reading', 'location': 'library'}]

Para obter uma lista completa das pesquisas que você pode executar em um PGVector repositório de vetores, consulte a referência da API.

Transformação em retriever

Você também pode transformar o armazenamento vetorial em um retriever para facilitar o uso em suas cadeias:

retriever = vector_store.as_retriever(search_type="mmr", search_kwargs={"k": 1})
retriever.invoke("kitty")

[Document(id='9fe8bc1c-9a8e-4f83-b546-9b64527aa79d', metadata={'doc_id': 1, 'topic': 'animals', 'location': 'pond'}, page_content='there are cats in the pond')]

Conteúdo relacionado

  • Last updated on