Udostępnij za pośrednictwem

Wnioskowanie wsadowe przy użyciu interfejsów API modelu foundation aprowizowanej przepływności

  • Artykuł

Ten artykuł zawiera przykładowy notes, który wykonuje wnioskowanie wsadowe w punkcie końcowym aprowizowanej przepływności przy użyciu interfejsów API modelu foundation i ai_query.

Wymagania

  • Obszar roboczy w obsługiwanym regionie interfejsów API modelu foundation.
  • Jedną z następujących czynności:
    • Obliczenia ogólnego przeznaczenia z rozmiarem i3.2xlarge obliczeniowym lub większym z uruchomionym środowiskiem Databricks Runtime 15.4 ML LTS lub nowszym z co najmniej 2 procesami roboczymi.
    • Magazyn SQL — średni i większy.

Uruchamianie wnioskowania wsadowego

Ogólnie rzecz biorąc, skonfigurowanie wnioskowania wsadowego obejmuje 2 kroki:

  1. Tworzenie punktu końcowego do użycia na potrzeby wnioskowania wsadowego.
  2. Konstruowanie żądań wsadowych i wysyłanie tych żądań do punktu końcowego wnioskowania wsadowego przy użyciu polecenia ai_query.

Przykładowy notes obejmuje te kroki i demonstruje wnioskowanie wsadowe przy użyciu modelu Meta Llama 3.1 70B.

Wnioskowanie wsadowe z notesem punktu końcowego aprowizowanej przepływności

Pobierz notes

Dodatkowe zasoby