Rejestrowanie i rejestrowanie agentów sztucznej inteligencji

Ważne

Ta funkcja jest dostępna w publicznej wersji zapoznawczej.

Rejestrowanie agentów sztucznej inteligencji przy użyciu struktury agenta Mozaika AI. Rejestrowanie agenta jest podstawą procesu programowania. Rejestrowanie przechwytuje "punkt w czasie" kodu i konfiguracji agenta, dzięki czemu można ocenić jakość konfiguracji.

Wymagania

Przed zalogowaniem utwórz agenta sztucznej inteligencji.

Rejestrowanie oparte na kodzie

Usługa Databricks zaleca używanie modeli MLflow z funkcjonalności Code podczas rejestrowania agentów.

W tym podejściu kod agenta jest przechwytywany jako plik w języku Python, a środowisko języka Python jest przechwytywane jako lista pakietów. Po wdrożeniu agenta środowisko języka Python zostanie przywrócone, a kod agenta zostanie wykonany w celu załadowania agenta do pamięci, aby można go było wywołać po wywołaniu punktu końcowego.

Takie podejście można zastosować wraz z użyciem interfejsów API weryfikacji przed wdrożeniem, takich jak mlflow.models.predict(), aby upewnić się, że agent działa niezawodnie podczas wdrażania na potrzeby obsługi.

Kod, który rejestruje agenta, musi znajdować się w oddzielnym notesie od kodu agenta. Ten notes jest nazywany notesem sterownika. Przykładowy notes można znaleźć w temacie Przykładowe notesy.

Wnioskowanie podpisu modelu podczas rejestrowania

Podczas rejestrowania należy zdefiniować podpis modelu MLflow, który określa schemat wejściowy i wyjściowy agenta. Podpis weryfikuje dane wejściowe i wyjściowe, aby upewnić się, że agent prawidłowo współdziała z narzędziami końcowymi, takimi jak AI Playground i aplikacja do przeglądu. Wskazuje również innym aplikacjom, jak efektywnie korzystać z agenta.

Databricks zaleca używanie funkcji wnioskowania sygnatury modelu MLflow w celu automatycznego generowania podpisu agenta na podstawie przykładu danych wejściowych, który podasz. Takie podejście jest wygodniejsze niż ręczne definiowanie podpisu.

Poniższe przykłady LangChain i PyFunc wykorzystują inferencję sygnatury modelu.

Jeśli wolisz jawnie zdefiniować podpis modelu w czasie rejestrowania, zobacz dokumentacji platformy MLflow — jak rejestrować modele z podpisami.

Rejestrowanie oparte na kodzie za pomocą usługi LangChain

Poniższe instrukcje i przykładowy kod pokazują, jak zarejestrować agenta za pomocą pakietu LangChain.

1. Utwórz notes lub plik w języku Python przy użyciu kodu. W tym przykładzie notes lub plik ma nazwę agent.py. Notatnik lub plik musi zawierać agenta LangChain, określanego tutaj jako lc_agent.

2. Uwzględnij mlflow.models.set_model (lc_agent) w notesie lub pliku.

3. Utwórz nowy notes, który będzie służył jako notes sterownika (nazywany driver.py w tym przykładzie).

4. W notesie sterownika użyj następującego kodu, aby uruchomić agent.py i zarejestrować wyniki w modelu MLflow:

   mlflow.langchain.log_model(lc_model="/path/to/agent.py", resources=list_of_databricks_resources)
   

   Parametr resources deklaruje zasoby zarządzane przez usługę Databricks potrzebne do obsługi agenta, takie jak indeks wyszukiwania wektorowego lub obsługujący punkt końcowy obsługujący model podstawowy. Aby uzyskać więcej informacji, zobacz Określanie zasobów na potrzeby przekazywania automatycznego uwierzytelniania.

5. Wdróż model. Zobacz Wdrażanie agenta na potrzeby generowania aplikacji sztucznej inteligencji.

6. Po załadowaniu agent.py środowiska obsługującego jest wykonywane.

7. Gdy pojawia się żądanie obsługi, lc_agent.invoke(...) jest wywoływane.

import mlflow

code_path = "/Workspace/Users/first.last/agent.py"
config_path = "/Workspace/Users/first.last/config.yml"

# Input example used by MLflow to infer Model Signature
input_example = {
    "messages": [
        {
            "role": "user",
            "content": "What is Retrieval-augmented Generation?",
        }
    ]
}

# example using langchain
with mlflow.start_run():
  logged_agent_info = mlflow.langchain.log_model(
    lc_model=code_path,
    model_config=config_path, # If you specify this parameter, this configuration is used by agent code. The development_config is overwritten.
    artifact_path="agent", # This string is used as the path inside the MLflow model where artifacts are stored
    input_example=input_example, # Must be a valid input to the agent
    example_no_conversion=True, # Required
  )

print(f"MLflow Run: {logged_agent_info.run_id}")
print(f"Model URI: {logged_agent_info.model_uri}")

# To verify that the model has been logged correctly, load the agent and call `invoke`:
model = mlflow.langchain.load_model(logged_agent_info.model_uri)
model.invoke(example)

rejestrowanie oparte na kodzie za pomocą funkcji PyFunc

Poniższe instrukcje i przykładowy kod pokazują, jak zarejestrować agenta za pomocą narzędzia PyFunc.

1. Utwórz notes lub plik w języku Python przy użyciu kodu. W tym przykładzie notes lub plik ma nazwę agent.py. Notatnik lub plik musi zawierać klasę PyFunc o nazwie PyFuncClass.

2. Dołącz mlflow.models.set_model(PyFuncClass) do notesu lub pliku.

3. Utwórz nowy notes, który będzie służył jako notes sterownika (nazywany driver.py w tym przykładzie).

4. W notesie sterownika użyj następującego kodu, aby uruchomić agent.py i zarejestrować wyniki w modelu MLflow:

   mlflow.pyfunc.log_model(python_model="/path/to/agent.py", resources=list_of_databricks_resources)
   

   Parametr resources deklaruje zasoby zarządzane przez usługę Databricks potrzebne do obsługi agenta, takie jak indeks wyszukiwania wektorowego lub obsługujący punkt końcowy obsługujący model podstawowy. Aby uzyskać więcej informacji, zobacz Określanie zasobów na potrzeby przekazywania automatycznego uwierzytelniania.

5. Wdróż model. Zobacz Wdrażanie agenta na potrzeby generowania aplikacji sztucznej inteligencji.

6. Po załadowaniu agent.py środowiska obsługującego jest wykonywane.

7. Gdy pojawia się żądanie obsługi, PyFuncClass.predict(...) jest wywoływane.

import mlflow
from mlflow.models.resources import (
    DatabricksServingEndpoint,
    DatabricksVectorSearchIndex,
)

code_path = "/Workspace/Users/first.last/agent.py"
config_path = "/Workspace/Users/first.last/config.yml"

# Input example used by MLflow to infer Model Signature
input_example = {
    "messages": [
        {
            "role": "user",
            "content": "What is Retrieval-augmented Generation?",
        }
    ]
}

with mlflow.start_run():
  logged_agent_info = mlflow.pyfunc.log_model(
    python_model=agent_notebook_path,
    artifact_path="agent",
    input_example=input_example,
    resources=resources_path,
    example_no_conversion=True,
    resources=[
      DatabricksServingEndpoint(endpoint_name="databricks-mixtral-8x7b-instruct"),
      DatabricksVectorSearchIndex(index_name="prod.agents.databricks_docs_index"),
    ]
  )

print(f"MLflow Run: {logged_agent_info.run_id}")
print(f"Model URI: {logged_agent_info.model_uri}")

# To verify that the model has been logged correctly, load the agent and call `invoke`:
model = mlflow.pyfunc.load_model(logged_agent_info.model_uri)
model.invoke(example)

Specyfikuj zasoby do automatycznego przekazywania uwierzytelniania

Agenci sztucznej inteligencji często muszą uwierzytelniać się w innych zasobach, aby wykonywać zadania. Na przykład agent może potrzebować dostępu do indeksu wyszukiwania wektorowego w celu wykonywania zapytań dotyczących danych bez struktury.

Zgodnie z opisem w Authentication for dependent resources, funkcja Model Serving obsługuje uwierzytelnianie zarówno w zasobach zarządzanych przez Databricks, jak i w zewnętrznych zasobach podczas wdrażania agenta.

W przypadku najbardziej typowych typów zasobów usługi Databricks usługa Databricks obsługuje i zaleca deklarowanie zależności zasobów dla agenta z góry podczas rejestrowania. Dzięki temu automatyczne przekazywanie uwierzytelniania podczas wdrażania agenta — usługa Databricks automatycznie aprowizuje, obraca i zarządza poświadczeniami krótkotrwałymi, aby bezpiecznie uzyskać dostęp do tych zależności zasobów z poziomu punktu końcowego agenta.

Aby włączyć automatyczne przekazywanie uwierzytelniania, określ zasoby zależne przy użyciu parametru resources API log_model(), jak pokazano w poniższym kodzie.

import mlflow
from mlflow.models.resources import (
    DatabricksVectorSearchIndex,
    DatabricksServingEndpoint,
    DatabricksSQLWarehouse,
    DatabricksFunction,
    DatabricksGenieSpace,
    DatabricksTable,
)

with mlflow.start_run():
  logged_agent_info = mlflow.pyfunc.log_model(
    python_model=agent_notebook_path,
    artifact_path="agent",
    input_example=input_example,
    example_no_conversion=True,
    # Specify resources for automatic authentication passthrough
    resources=[
      DatabricksVectorSearchIndex(index_name="prod.agents.databricks_docs_index"),
      DatabricksServingEndpoint(endpoint_name="databricks-mixtral-8x7b-instruct"),
      DatabricksServingEndpoint(endpoint_name="databricks-bge-large-en"),
      DatabricksSQLWarehouse(warehouse_id="your_warehouse_id"),
      DatabricksFunction(function_name="ml.tools.python_exec"),
      DatabricksGenieSpace(genie_space_id="your_genie_space_id"),
      DatabricksTable(table_name="your_table_name"),
    ]
  )

Usługa Databricks zaleca ręczne określenie resources dla wszystkich wersji agentów.

Uwaga

Jeśli nie określisz zasobów podczas rejestrowania agentów LangChain przy użyciu mlflow.langchain.log_model(...), narzędzie MLflow wykonuje najlepsze wysiłki podczas automatycznego wnioskowania zasobów. Może to jednak nie przechwytywać wszystkich zależności, co powoduje błędy autoryzacji podczas obsługi lub wykonywania zapytań dotyczących agenta.

W poniższej tabeli wymieniono zasoby usługi Databricks, które obsługują automatyczne przekazywanie uwierzytelniania, oraz minimalną wersję mlflow wymaganą do logowania zasobu.

Typ zasobu	Minimalna wersja mlflow wymagana do zarejestrowania zasobu
Indeks wyszukiwania wektorowego	Wymaga mlflow 2.13.1 lub wyższej
Punkt końcowy obsługujący model	Wymaga mlflow 2.13.1 lub wyższej
SQL Warehouse	Wymaga mlflow 2.16.1 lub nowszego
Unity Catalog, funkcja	Wymaga mlflow 2.16.1 lub nowszego
Przestrzeń Genie	Wymaga mlflow 2.17.1 lub nowszej
Tabela katalogu Unity	Wymaga mlflow 2.18.0 lub nowszego

Zarejestrować agenta w Unity Catalog

Przed wdrożeniem agenta należy go zarejestrować w Unity Catalog. Rejestrowanie agenta pakuje go jako model w Unity Catalog. Dzięki temu można użyć uprawnień katalogu Unity do autoryzacji zasobów w agencie.

import mlflow

mlflow.set_registry_uri("databricks-uc")

catalog_name = "test_catalog"
schema_name = "schema"
model_name = "agent_name"

model_name = catalog_name + "." + schema_name + "." + model_name
uc_model_info = mlflow.register_model(model_uri=logged_agent_info.model_uri, name=model_name)

Następne kroki

• Dodawanie śladów do agenta sztucznej inteligencji.
• Wdrażanie agenta sztucznej inteligencji.