これらのベスト プラクティスを活用して、期待される成果を明確に定義し、レイクハウス データを保護し、再実行時の動作を予測可能にし、Fabric データ エンジニアリング エージェント (Project Osmos) のタスクに対して成功を測定可能な形で示す証拠を求めてください。
Important
データエンジニアリングエージェント(Project Osmos)はプレビュー中です。 プレビュー機能は限定的な機能でリリースされ、別途 補助プレビュー条件の対象となります。 これらは本番環境向けには設計されておらず、サービスレベル契約の対象外で、特定の地域でのみ利用可能かもしれません。 詳細については、 Microsoft Fabric のプレビュー情報を参照してください。
完全なProject成果を定義してください
このスキルはProjectの成果を次のように定義します:
エンドツーエンドのデータエンジニアリング全体のタスクを説明してください。 データエンジニアリングエージェントはそれを1つのプロジェクトとして受け取ります。
最初の実装ステップだけでなく、完全な成果を定義してください。 以下の5つの要素を含めてください:
| 要素 | 回答する質問 | 例 |
|---|---|---|
| ゴール | 課題が完了したとき、どのような結果が現れるべきでしょうか? | 月次サプライヤー支出表を作成しましょう。 |
| Sources | タスクはどのデータを使うべきでしょうか? | 請求書のCSVファイルとサプライヤーのDelta表を読みましょう。 |
| Transformations | どんなルールを適用すべきでしょうか? | サプライヤーIDの標準化、無効な日付の拒否、サプライヤーの参加、月間支出の集計。 |
| Outputs | タスクは何を作成または更新すべきか? |
monthly_supplier_spend書いて、変換ノートを保存してください。 |
| Validation | データエンジニアリングエージェントはどのように成功を証明すべきでしょうか? | 請求書の合計を照合し、重複キーを確認し、却下された行を報告します。 |
このテンプレートを使用します。
<goal>. Read <sources>. Apply <transformations>.
Create or update <outputs>. Validate <success criteria>. Preserve
<important constraints>.
明確な境界線の設定
データエンジニアリングエージェントが読み取れるソース、書き込み可能なアドレス、保存すべき既存アーティファクトを明示します。 タスクに影響を与えるスキーマ、保持、地域処理、またはビジネスルールの制約を特定しましょう。
FabricおよびOneLakeの権限は引き続き認可の境界線です。 認証情報、アクセストークン、認可ヘッダー、機密データをProjectの成果に含めないでください。
具体的なProject成果を書きましょう
以下のProject成果例は、目標、ソース、変換、出力、制約、検証基準を組み合わせたものです。
データ探索
Profile the customer_events table without modifying it.
Summarize schema, row count, date range, null rates, duplicate event IDs,
category distributions, and outliers. Save the analysis in a notebook.
ファイル インジェスト
Ingest JSON files from Files/device-events. Flatten the
event payload, standardize timestamps to UTC, quarantine malformed records,
write valid rows to device_events_bronze, and report processed, accepted,
and rejected counts.
データの変換
Join Orders, OrderLines, Customers, and Products. Create
a Delta table named sales_order_detail with calculated line revenue and margin.
Validate referential integrity, duplicate order-line keys, and source-to-output
revenue totals.
データ品質修復
Assess customer_master for missing identifiers, invalid
email addresses, duplicate customers, and inconsistent country codes. Propose
a safe remediation plan, apply the approved changes to a staged table, and
produce before-and-after quality metrics.
スキーマの近代化
Migrate the legacy_sales table to a documented schema
with typed dates, decimal monetary values, and standardized region codes.
Preserve the source table, create a tested notebook, and reconcile record
counts and revenue totals.
増分読み込み
Build an incremental load from Files/orders-daily into
the Orders Delta table. Deduplicate by order_id and modified_at, update changed
orders, preserve unchanged rows, save the notebook, and validate inserted,
updated, unchanged, and rejected counts.
メダリオン アーキテクチャ
Build bronze, silver, and gold layers for product,
inventory, and supplier files. Preserve raw inputs in bronze, standardize and
deduplicate entities in silver, create a gold inventory-risk table, save all
notebooks, and validate each layer.
安全な書き方を選びましょう
タスクを作成する際は、そのタスクの影響と可逆性に合った書き込みパターンを選択してください。
- クローン・プロモート: 検証済み出力を配置する前に、コピーに対して変更をテストします。
- ステージングテーブル: 結果は別途書いてレビューや管理された昇格ステップに適用してください。
- その場で反復する: ターゲットを直接修正する。 リスクと回復計画を理解した場合にのみ使用してください。
- 重複除去: 安定したビジネスキーを使って重複レコードを防ぎましょう。
- ロックされたスキーマ: 予期しないスキーマ変更を拒否する。
- 型広げスキーマ: 互換性のある広げを許可しつつ、任意の変更を防ぎます。
Fabric 権限は、依然として厳格な認可の境界です。 重要なデータの保護にProjectの結果だけに頼ってはいけません。
再放送を予測可能にする
データエンジニアリングエージェントに、以前処理したデータの扱い方を伝えましょう。 安定したビジネスキーを使い、再実行が失敗するか、新しいデータを追加するか、レコードの重複を消すか、変更をマージするか、ターゲットを置き換えるべきかを指定します。
増分タスクについては、挿入済み、更新済み、変更なし、却下されたレコードの数を尋ねてください。 交換が明示的に要求された結果の一部でない限り、ソースデータと検証済みの出力は保持してください。