Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Il pacchetto alfa agent-framework-nvidia fornisce incorporamenti di testo tramite NVIDIA NIM. Usare l'endpoint ospitato o impostare un URL di base per un contenitore NIM self-hosted.
Warning
Considera l'output del modello o l'output dell'embedding, e le chiamate agli strumenti generate dal modello quando supportate, come input dell'applicazione non attendibile. Convalidarli prima che il codice esegua effetti collaterali o il rendering del contenuto. Se si configura un endpoint personalizzato, verificare di considerare attendibile l'URL e l'operatore.
L'integrazione agent-framework-nvidia documentata in questa pagina è disponibile per Python. Usare un altro generatore di embedding .NET per le applicazioni C#.
Installare il pacchetto
pip install agent-framework-nvidia --pre
Configurare il client
Imposta la chiave API e il modello di embedding:
NVIDIA_API_KEY="<api-key>"
NVIDIA_EMBEDDING_MODEL="nvidia/nemotron-3-embed-1b"
NVIDIA_BASE_URL facoltativamente, sostituisce l'endpoint ospitato con un endpoint NIM self-hosted.
Crea NvidiaEmbeddingClient, genera embedding e chiudi il client HTTP creato dall'istanza:
from agent_framework_nvidia import NvidiaEmbeddingClient
client = NvidiaEmbeddingClient()
try:
embeddings = await client.get_embeddings(
["Agent Framework", "NVIDIA NIM"],
)
print(embeddings[0].dimensions)
finally:
await client.close()
Un async_client preconfigurato rimane di proprietà del chiamante e rimane aperto quando NvidiaEmbeddingClient.close() viene eseguito.
Configurare incorporamenti di recupero
I modelli di recupero asimmetrico incorporano documenti archiviati e query di ricerca in modo diverso. Impostare input_type="passage" per il contenuto indicizzato e input_type="query" per il testo di ricerca. Usare truncate per controllare gli input over-long:
await collection.upsert(
notes,
embeddings_options={
"input_type": "passage",
"truncate": "END",
},
)
results = await collection.search(
"How do I call a model hosted on NIM?",
embeddings_options={"input_type": "query"},
)
input_type accetta "passage" o "query".
truncate accetta "NONE", "START"o "END". Passare le stesse opzioni di query a create_vector_search_tool(..., embeddings_options=...) quando un agente esegue la ricerca.
L'endpoint ospitato accetta al massimo 256 input e un corpo della richiesta di 2 MiB. Il client suddivide batch di dimensioni maggiori in richieste consecutive e restituisce vettori nell'ordine originale. La disponibilità del modello dipende dall'account associato alla chiave API.
Per un esempio di recupero completo, vedere l'esempio di embedding NVIDIA.
L'integrazione agent-framework-nvidia documentata in questa pagina è disponibile per Python. Usare un altro generatore di embedding Go per le applicazioni Go.