Udostępnij za pośrednictwem

Wnioskowanie wsadowe przy użyciu interfejsów API modelu foundation

  • Artykuł

Ten artykuł zawiera przykładowe notesy, które wykonują wnioskowanie wsadowe w punkcie końcowym aprowizowanej przepływności przy użyciu interfejsów API modelu foundation. Oba notesy są potrzebne do wykonania wnioskowania wsadowego przy użyciu interfejsów API modelu foundation.

W przykładach pokazano wnioskowanie wsadowe przy użyciu modelu DBRX Poinstruuj dla zadań czatu.

Wymagania

  • Obszar roboczy w obsługiwanym regionie interfejsów API modelu foundation
  • Databricks Runtime 14.0 ML lub nowszy
  • Notes provisioned-throughput-batch-inference i chat-batch-inference-api notes muszą istnieć w tym samym katalogu w obszarze roboczym

Konfigurowanie tabeli wejściowej, wnioskowania wsadowego

Poniższy notes wykonuje następujące zadania przy użyciu języka Python:

  • Odczytuje dane z tabeli wejściowej i kolumny wejściowej
  • Konstruuje żądania i wysyła je do punktu końcowego interfejsów API modelu foundation
  • Utrwala wiersze wejściowe wraz z danymi odpowiedzi do tabeli wyjściowej

Zadania wnioskowania wsadowego modelu czatu przy użyciu notesu języka Python

Pobierz notes

Poniższy notes wykonuje te same zadania co powyższy notes, ale przy użyciu platformy Spark:

  • Odczytuje dane z tabeli wejściowej i kolumny wejściowej
  • Konstruuje żądania i wysyła je do punktu końcowego interfejsów API modelu foundation
  • Utrwala wiersz wejściowy wraz z danymi odpowiedzi do tabeli wyjściowej

Zadania wnioskowania wsadowego modelu czatu przy użyciu notesu UDF PySpark Pandas

Pobierz notes

Tworzenie punktu końcowego aprowizowanej przepływności

Jeśli chcesz użyć notesu spark zamiast notesu języka Python, zaktualizuj polecenie, które wywołuje notes języka Python.

  • Tworzy aprowizowany punkt końcowy obsługujący przepływność
  • Monitorowanie punktu końcowego do momentu osiągnięcia stanu gotowości
  • Wywołuje notes do uruchamiania chat-batch-inference-api zadań wnioskowania wsadowego współbieżnie względem przygotowanego punktu końcowego. Jeśli wolisz używać platformy Spark, zmień to odwołanie, aby wywołać chat-batch-inference-udf notes.
  • Usuwa aprowizowany punkt końcowy obsługujący przepływność po zakończeniu wnioskowania wsadowego

Wykonywanie wnioskowania wsadowego w notesie punktu końcowego aprowizowanej przepływności

Pobierz notes

Dodatkowe zasoby