Azure Databricksには、生データ インジェストから特徴エンジニアリング、モデル トレーニング、デプロイ、運用監視まで、完全なデータ サイエンス (DS) と機械学習 (ML) ライフサイクルのための統合プラットフォームがあります。 Azure Databricksは、一般的なオープンソース ML フレームワークと統合され、エンタープライズ レベルのガバナンス、可観測性、運用ツール (総称して MLOps と呼ばれます) が追加されます。
このページでは、ワークフロー ステージ別に整理された主要な DS と ML の機能の一覧を示します。
探索的データ分析
Azure Databricksは、データ サイエンティスト向けに対話型の共同作業ツールと AI 支援ツールを提供することで、探索的データ分析 (EDA) を簡素化します。 データ サイエンティストは、自然言語チャット、UI、またはコードを使用してデータを探索でき、リアルタイムの共同編集と Git ベースのコード共有の両方を使用して共同作業を行うことができます。 Genie Code は、完全に自動化された EDA を実行することも、対話型アシスタントとして機能することもできます。
| Category | 特徴 |
|---|---|
| ユーザーインターフェース |
|
| Collaboration |
|
| AI アシスタント |
|
機能の準備と提供
Azure Databricksは、データと ML ワークロードのガバナンスを統合することで、ML のデータを簡略化します。 Unity カタログで管理されているすべてのデータをきめ細かなアクセス制御で管理することで、組織に合わせてデータ エンジニアリングと ML の境界を調整できます。 データは、Lakeflow パイプラインなどの任意のデータ エンジニアリング ツールを使用して ML 用に準備できます。 機能は、バッチサービスとリアルタイムサービスの両方に対して Feature Store で管理され、機能に関する単一の管理された信頼のソースが提供されます。
Genie Code では、Unity カタログを参照して関連するテーブルを検出し、特徴変換を提案し、インジェストと機能パイプライン用のコードを生成することで、データの検出と準備を高速化します。
| 機能の種類 | 特徴 |
|---|---|
| バッチ機能 |
|
| リアルタイム機能 |
|
| 非構造化データ | AI Search を使用すると、非構造化データを提供し、セマンティック検索を実行できます。 |
ML モデルをトレーニングする
Azure Databricksには、ML モデルとディープ ラーニング モデルをトレーニングするための柔軟なツールがあります。 事前に構成されたカスタマイズ可能な環境を使用すると、カスタム ML ライブラリを使用でき、サーバーレスの CPU と GPU で高速化されたコンピューティング リソースを使用すると、必要に応じてスケールアップとスケールアウトを行うことができます。 Genie Code はインテリジェントな AutoML を提供し、自然言語要求を受け取り、特徴付け、トレーニング、チューニング、評価、デプロイのための完全なマルチノートブック ワークフローを構築します。
| Category | 特徴 |
|---|---|
| ML の種類 | Azure Databricksでは、次のようなあらゆる種類の ML がサポートされます。
ジェネレーティブ AI については、Azure Databricks生成 AI 機能に関する説明を参照してください。 |
| Compute |
|
| 環境とライブラリ |
|
| AI コーディング アシスタント |
|
実験の追跡と管理
Azure Databricksマネージド MLflow は、再現可能で監査可能な ML 開発の基盤を提供します。 Unity Catalog および Git との統合により、データとコード資産の追跡と系列が提供されます。 レジストリ内の各モデル バージョンは、それを生成したトレーニング実行、データセット、環境、Git コミットに戻り、デプロイされたモデルの完全な監査証跡を提供します。
| Category | 特徴 |
|---|---|
| 実験の追跡 | MLflow 追跡 では、すべてのトレーニング実行のパラメーター、メトリック、および成果物が記録されます。 MLflow UI で実行を比較し、最もパフォーマンスの高い構成を特定します。 |
| モデル レジストリ |
Unity カタログのモデルは、Unity カタログ と統合された MLflow モデル レジストリを提供します。 バージョン管理されたモデル成果物は、ライフサイクル エイリアス (Staging、 Production)、アクセス制御、系列、およびワークスペース間の共有によって管理されます。 |
| 再現性 | ノートブックとコードは 、Databricks Git フォルダー を使用してバージョン管理し、任意の Git プロバイダーと統合できます。 |
モデルのデプロイと運用
Azure Databricksでは、バッチ推論とリアルタイム サービスの両方がサポートされます。 バッチ推論は大規模なデータセットにモデルを効率的に適用しますが、リアルタイム サービスではモデルを低待機時間の API エンドポイントとして提供します。 Genie Code では、モデルデプロイ用のコードを生成し、 モデルサービスエンドポイントの問題とパフォーマンスを診断できます。
| 提供パターン | 特徴 |
|---|---|
| バッチ推論 |
|
| リアルタイム配信 | Model Serving では、サーバーレス自動スケーリングを使用して、待機時間が短く、アップタイムの高いマネージド REST エンドポイントが提供されます。 これにより、任意の ML フレームワークの CPU と GPU サービスがサポートされ、 Genie を使用してサービス エンドポイントの評価とトラブルシューティングを行うことができます。 |
| SQL ネイティブ推論 |
|
評価と監視
Azure Databricksは、トレーニングと生産の継続的な監視に柔軟な評価を提供します。 Unity カタログで管理される推論テーブルにログをリアルタイムで提供し、データ品質の監視により、カスタム メトリック、ダッシュボード、アラートを監視できます。
| Category | 特徴 |
|---|---|
| Evaluation |
|
| 予測ログの記録 | 推論テーブルでは 、要求と応答を処理するログが記録され、監視、分析、トレーニング セットの構築が可能になります。 |
| 監視とアラート |
|
MLOps とガバナンス
Azure Databricksには、ML 運用 (MLOps) とガバナンスのためのツールの完全なスイートが用意されています。 MLOps Stacks には、コードとしてのインフラストラクチャを使用して、開発から運用への自動化された反復可能な昇格を可能にするテンプレートが用意されています。 データ、機能、モデル、エンドポイントは、 Unity カタログ と AI ゲートウェイによって完全に管理されます。
| Category | 特徴 |
|---|---|
| ML 用 CI/CD | 宣言型オートメーション バンドル上に構築された MLOps スタックは、ML インフラストラクチャとワークフローのコードベースの管理とデプロイを提供します。 これには、トレーニング、評価、デプロイを自動化するための CI/CD テンプレートが含まれます。 |
| ワークフロー オーケストレーション | Lakeflow ジョブは 、スケジュールされたパイプラインまたはトリガーされたパイプラインとしてマルチステップ ML ワークフローを調整します。 |
| データとモデルの資産ガバナンス | Unity Catalog は、データ、機能、および登録済みモデルの統合ガバナンスを提供します。 きめ細かいアクセス制御、系列の追跡、監査ログはすべての資産に適用されます。 |
| エンドポイント ガバナンスのモデル化 | AI Gateway は、レート制限、使用状況の追跡、ペイロード のログ記録など、モデル エンドポイントの一元的なガバナンスと監視を提供します。 |
オープン ソースのサポート
Azure Databricksは、オープンソース ML エコシステムを完全にサポートします。
scikit-learn、XGBoost、LightGBM、PyTorch、TensorFlow、Hugging Face Transformers、Ray など、Azure Databricksで任意のオープンソース ML フレームワークを使用できます。 MLflow またはカスタム ツールは、Azure Databricksの外部でエクスポートおよび実行できるオープン形式でモデル成果物を格納できます。
MLflow はオープンソースであり、Azure Databricksによって作成され、10,000 以上の組織で使用されています。 実験追跡データ、モデル成果物、およびパイプライン定義は、オープン形式で格納されます。
データと AI ガバナンスは、オープンソースの Unity カタログ API に基づいて構築され、データ ストレージはオープン Delta Lake 形式に基づいています。 特徴データとトレーニング データセットは、開いている移植可能なファイルに残ります。