Foundation Model API を使用したバッチ推論
この記事では、Foundation Model API を使用して、プロビジョニングされたスループット エンドポイントでバッチ推論を実行するノートブックの例を示します。 Foundation Model API を使用してバッチ推論を実行するには、両方のノートブックが必要です。
例では、チャット タスク用の DBRX Instruct モデルを使用したバッチ推論を示しています。
要件
- Foundation Model API のサポートされているリージョン内のワークスペース
- Databricks Runtime 14.0 ML 以降
provisioned-throughput-batch-inferenceノートブックとchat-batch-inference-apiノートブックは、ワークスペース内の同じディレクトリに存在している必要があります
入力テーブル、バッチ推論を設定する
次のノートブックでは、Python を使用して次のタスクを実行します。
- 入力テーブルと入力列からデータを読み取る
- 要求を作成して Foundation Model API エンドポイントに送信する
- 入力行を応答データと共に出力テーブルに保持する
Python ノートブックを使用したチャット モデルのバッチ推論タスク
次のノートブックは、上記のノートブックと同じタスクを実行しますが、Spark を使用します。
- 入力テーブルと入力列からデータを読み取る
- 要求を作成して Foundation Model API エンドポイントに送信する
- 入力行を応答データと共に出力テーブルに保持する
PySpark Pandas UDF ノートブックを使用したチャット モデルのバッチ推論タスク
プロビジョニングされたスループット エンドポイントを作成する
Python ノートブックではなく Spark ノートブックを使用する場合は、Python ノートブックを呼び出すコマンドを更新する必要があります。
- プロビジョニングされたスループット提供エンドポイントを作成します
- 準備完了状態になるまでエンドポイントを監視します
chat-batch-inference-apiノートブックを呼び出して、準備されたエンドポイントに対してバッチ推論タスクを同時に実行します。 Spark を使用する場合は、chat-batch-inference-udfノートブックを呼び出すようにこの参照を変更します。- バッチ推論が完了したら、プロビジョニングされたスループット提供エンドポイントを削除します