NVIDIA NIM 嵌入

alpha agent-framework-nvidia 包通过 NVIDIA NIM 提供文本嵌入。 使用托管终结点或为自承载 NIM 容器设置基 URL。

Warning

在受支持时,将模型或嵌入输出以及模型生成的工具调用视为不受信任的应用程序输入。 在代码执行副作用或呈现内容之前对其进行验证。 如果配置自定义终结点,请验证是否信任其 URL 和运营方。

agent-framework-nvidia此页上记录的集成可用于Python。 对 C# 应用程序使用另一个.NET嵌入生成器。

安装软件包

pip install agent-framework-nvidia --pre

配置客户端

设置 API 密钥和嵌入模型:

NVIDIA_API_KEY="<api-key>"
NVIDIA_EMBEDDING_MODEL="nvidia/nemotron-3-embed-1b"

NVIDIA_BASE_URL (可选)将托管终结点替换为自承载 NIM 终结点。

创建 NvidiaEmbeddingClient、生成嵌入,并关闭实例创建的 HTTP 客户端:

from agent_framework_nvidia import NvidiaEmbeddingClient

client = NvidiaEmbeddingClient()
try:
    embeddings = await client.get_embeddings(
        ["Agent Framework", "NVIDIA NIM"],
    )
    print(embeddings[0].dimensions)
finally:
    await client.close()

预配置的 async_client 仍由调用方拥有,并在 NvidiaEmbeddingClient.close() 运行时保持打开状态。

配置检索嵌入

非对称检索模型以不同的方式嵌入存储的文档和搜索查询。 为索引内容设置 input_type="passage",为搜索文本设置 input_type="query"。 使用 truncate 控制过长输入:

await collection.upsert(
    notes,
    embeddings_options={
        "input_type": "passage",
        "truncate": "END",
    },
)

results = await collection.search(
    "How do I call a model hosted on NIM?",
    embeddings_options={"input_type": "query"},
)

input_type 接受 "passage" 或 "query"。 truncate 接受 "NONE"、 "START"或 "END"。 当代理执行搜索时,将相同的查询选项传递给 create_vector_search_tool(..., embeddings_options=...)。

托管终结点最多接受 256 个输入,请求正文最大为 2 MiB。 客户端将较大的批处理拆分为连续请求,并按原始顺序返回向量。 模型可用性取决于与 API 密钥关联的帐户。

有关完整检索示例,请参阅 NVIDIA 嵌入示例。

agent-framework-nvidia此页上记录的集成可用于Python。 对 Go 应用程序使用另一个 Go 嵌入生成器。

后续步骤