Fabricデータエンジニアリングエージェント(Project Osmos)は、Microsoft Fabric向けの自律型データエンジニアリング機能です。 アクセス許可されたFabricリソースに対してデータエンジニアリング作業を計画、実行、検証する永続的なタスクを実行します。
サポートされているコマンドラインクライアントから、Projectの結果(エンドツーエンドのデータエンジニアリングタスクの説明)を入力し、そのタスクをホストするFabric lakehouseを選択します。 Project Osmosはデータの検査、Sparkノートの作成・テスト、データの変換、Deltaテーブルの作成、結果の検証が可能です。 ローカルクライアントが切断された後も、タスクはFabric上で引き続き実行されます。
Important
データエンジニアリングエージェント(Project Osmos)はプレビュー中です。 プレビュー機能は限定的な機能でリリースされ、別途 補助プレビュー条件の対象となります。 これらは本番環境向けには設計されておらず、サービスレベル契約の対象外で、特定の地域でのみ利用可能かもしれません。 詳細については、 Microsoft Fabric のプレビュー情報を参照してください。
主な機能
データエンジニアリングエージェント(Project Osmos)は、管理されたFabricタスクでデータエンジニアリングタスクを実装・実行します。 SparkCore、永続状態、アクセス制御、進捗追跡、ターゲットデータに対する検証を活用しています。 複数の連携したエージェントが複数の実装オプションを作成・評価し、生産品質の成果を提供します。
Project OsmosはFabric固有の機能を追加します:
- Fabricホスト型実行:コードおよびデータ操作はローカル開発環境だけでなく、Fabric SparkやOneLakeで実行されます。
- 永続タスク状態: ローカルクライアントが切断された後もタスクは実行を続け、最初からやり直さずに再開可能です。
- Lakehouseコンテキスト:Project Osmosは、あなたが提供したLakehouse URLからFabricワークスペースとデフォルトのSpark-session lakehouseを解決します。
- 運用上のガードレール: 実行前に、権限の設定を確認し、安全性を書き、動作の再実行、スキーマの進化、アーティファクト、推論作業を行います。
- 統合検証: タスクは生成コードを実行し、行数、ヌル、スキーマ、その他の成功基準をターゲット環境でチェックできます。
- 共有可視性: タスクを開始した湖畔の家にアクセスできる人は、進捗を確認し、必要に応じて意見を提供できます。
これらの機能により、Projectの成果を一時的なチャット応答ではなく、管理されたデータエンジニアリング作業単位へと変えます。
データエンジニアリングエージェント(Project Osmos)の仕組み
Project Osmosは、各データエンジニアリングタスクに対してマネージドライフサイクルを使用しています:
- 定義:Projectの成果はエンドツーエンドのデータエンジニアリングタスク全体を特定し、lakehouse URLはそれをホストするFabric lakehouseを示します。
- 計画:Project Osmosは利用可能な文脈を分析し、運用設定を推奨してレビューを行います。
- 実行:このタスクはFabric上で動作し、データエンジニアリングの成果物を作成、テスト、改良することができます。
- 検証: タスクは出力を指定された成功基準と照らし合わせ、結果を報告します。
- モニター: タスクはコマンドラインクライアントおよびレイクハウスタスクエクスペリエンスから引き続き利用可能です。
選択したレイクハウスはSparkセッションのデフォルトのレイクハウスです。 それが自動的に唯一の情報源や目的地というわけではありません。 Projectの成果、Fabricの権限、そして確認された運用設定がタスクの範囲を決定します。
最初のタスクを作成する手順については、「Project Osmosで始めましょう」をご覧ください。
適切なユースケースを選びましょう
Project Osmosは、自律的な計画、実行、検証を活用した成果志向のデータエンジニアリング作業のために設計されています。
| 利用シーン | 例となる結果 |
|---|---|
| データの準備 | 販売ファイルをクリーンアップし、型を標準化し、無効な行を削除し、検証済みのデルタテーブルを書きます。 |
| テーブル統合 | 注文、顧客、商品データを統合し、下流分析用のキュレーションされたテーブルを作成します。 |
| レイクハウスの近代化 | 既存の変換をSparkに変換し、テストノートを作成し、新しい出力を検証します。 |
| メダリオン アーキテクチャ | ソースファイルからブロンズ、シルバー、ゴールドの変換を一つのタスクとして構築します。 |
| データ品質修復 | テーブルのプロファイリングを行い、品質問題を特定し、承認された修正を適用し、ビフォー・アフターの指標を報告します。 |
| パフォーマンスの向上 | デルタテーブルのレビュー、パーティションやレイアウトの変更の推奨、承認された変更の実施、そして結果の測定を行います。 |
| 移行支援 | レガシー抽出をFabric対応モデルに変換しつつ、ビジネスルールを保持し、合計を検証します。 |
Project Osmosはデータエンジニアリングの課題を解決するために構築されています。 クイッククエリやPower BIレポートの変更、その他のデータエンジニアリング以外の作業には適していません。
CLIとFabric全体での作業
Project Osmosは2つの接続された体験を利用しています。 コマンドラインからタスクを作成・誘導し、Fabricアプリケーションでタスクの進行状況を確認できます:
- コマンドライン体験:GitHub Copilot CLI、Codex、またはClaude Codeを使ってタスクを作成し、Projectの成果を入力し、操作設定を確認し、フォローアップガイダンスを送信してください。
- Fabric Lakehouse エクスペリエンス: レイクハウスのタスクを参照し、状態を確認し、タスクを開き、アクティビティとエラーを確認し、生成された出力を調査できます。
両方の経験は同じFabricホストタスクとタスクIDを指しています。