次の方法で共有


モデルの品質とエンドポイントの正常性を監視する

Mosaic AI Model Serving には、モデルとそのデプロイの品質と正常性を監視するための高度なツールが用意されています。 次の表に、使用できる各監視ツールの概要を示します。

ツール 説明 目的 Access (アクセス)
サービス ログ モデル サービング エンドポイントから stdoutstderr のストリームを取り込みます。 モデル デプロイ中のデバッグに役立ちます。 ログに即時に表示するには、print(..., flush=true) を使います。 サービス UI の [ログ] タブを使ってアクセスできます。 ログはリアルタイムでストリーミングされ、API を介してエクスポートできます。
ビルド ログ モデル サービング エンドポイント用に運用環境対応の Python 環境を自動的に作成するプロセスの出力を表示します。 モデル デプロイと依存関係の問題を診断するのに役立ちます。 モデル提供ビルドが完了すると、[ログ] タブの [ビルド ログ] で使用できます。ログは API 経由でエクスポートできます。
エンドポイントの正常性メトリック 待機時間、要求率、エラー率、CPU 使用率、メモリ使用率などのインフラストラクチャ メトリックに関する分析情報を提供します。 サービス インフラストラクチャのパフォーマンスと正常性を理解するために重要です。 サービス UI の既定で過去 14 日間について使用できます。 データは、リアルタイムで監視ツールにストリーミングすることもできます。
推論テーブル オンライン予測の要求と応答を、Unity Catalog によって管理される Delta テーブルに自動的にログします。 このツールは、モデルの品質または応答の監視とデバッグ、トレーニング データ セットの生成、またはコンプライアンス監査の実施に使います。 UI または API を 1 回クリックするだけで、既存および新しいモデル サービング エンドポイントに対して有効にすることができます。

その他のリソース