NVIDIA NIM-Einbettungen

Das Alpha-Paket agent-framework-nvidia bietet Text-Embeddings über NVIDIA NIM. Verwenden Sie den gehosteten Endpunkt, oder legen Sie eine Basis-URL für einen selbst gehosteten NIM-Container fest.

Warning

Behandeln Sie Modell- oder Embedding-Ausgaben und modellgenerierte Toolaufrufe, wenn diese unterstützt werden, als nicht vertrauenswürdige Anwendungseingaben. Überprüfen Sie sie, bevor Code Nebeneffekte ausführt oder Inhalte rendert. Wenn Sie einen benutzerdefinierten Endpunkt konfigurieren, stellen Sie sicher, dass Sie der URL und dem Operator vertrauen.

Die agent-framework-nvidia auf dieser Seite dokumentierte Integration ist für Python verfügbar. Verwenden Sie einen anderen .NET Einbettungsgenerator für C#-Anwendungen.

Installiere das Paket

pip install agent-framework-nvidia --pre

Konfigurieren des Clients

Legen Sie den API-Schlüssel und das Einbettungsmodell fest:

NVIDIA_API_KEY="<api-key>"
NVIDIA_EMBEDDING_MODEL="nvidia/nemotron-3-embed-1b"

NVIDIA_BASE_URL ersetzt optional den gehosteten Endpunkt durch einen selbst gehosteten NIM-Endpunkt.

Erstellen Sie NvidiaEmbeddingClient, generieren Sie Einbettungen und schließen Sie den HTTP-Client, den die Instanz erstellt hat:

from agent_framework_nvidia import NvidiaEmbeddingClient

client = NvidiaEmbeddingClient()
try:
    embeddings = await client.get_embeddings(
        ["Agent Framework", "NVIDIA NIM"],
    )
    print(embeddings[0].dimensions)
finally:
    await client.close()

Ein vorkonfiguriertes async_client-Element bleibt im Besitz des Aufrufers und bleibt geöffnet, wenn NvidiaEmbeddingClient.close() ausgeführt wird.

Retrieval-Embeddings konfigurieren

Asymmetrische Abrufmodelle betten gespeicherte Dokumente und Suchabfragen unterschiedlich ein. Legen Sie input_type="query" für indizierte Inhalte und input_type="passage" für Suchtext fest. Verwenden Sie truncate, um überlange Eingaben zu steuern:

await collection.upsert(
    notes,
    embeddings_options={
        "input_type": "passage",
        "truncate": "END",
    },
)

results = await collection.search(
    "How do I call a model hosted on NIM?",
    embeddings_options={"input_type": "query"},
)

input_type akzeptiert "passage" oder "query". truncate akzeptiert "NONE", , "START"oder "END". Übergeben Sie dieselben Abfrageoptionen an create_vector_search_tool(..., embeddings_options=...), wenn ein Agent die Suche ausführt.

Der gehostete Endpunkt akzeptiert höchstens 256 Eingaben und einen 2-MiB-Anfrage-Body. Der Client teilt größere Batches in aufeinander folgende Anfragen auf und gibt Vektoren in der ursprünglichen Reihenfolge zurück. Die Modellverfügbarkeit hängt vom Konto ab, das dem API-Schlüssel zugeordnet ist.

Ein vollständiges Abrufbeispiel finden Sie im NVIDIA-Embedding-Beispiel.

Die agent-framework-nvidia auf dieser Seite dokumentierte Integration ist für Python verfügbar. Verwenden Sie einen anderen Go-Einbettungsgenerator für Go-Anwendungen.

Nächste Schritte

Vektorspeicher