次の方法で共有


Microsoft Fabric のエンド ツー エンドのデータ ライフサイクル

組織は通常、データの取り込み、格納、変換、分析、視覚化を行うために、複数の切断されたサービスに依存しています。 この断片化により、データ サイロが作成され、統合オーバーヘッドが増加し、分析情報への時間が遅くなります。 Microsoft Fabric は、データ ライフサイクルのすべての段階を共有基盤上に構築された単一のプラットフォームに統合することで、これらの課題に対処します。

このアーキテクチャの中心にあるのは OneLake です。OneLake は、開いている Delta Parquet 形式ですべてのデータを格納する単一の組織データ レイクです。 OneLake は、すべての Fabric テナントで自動的にプロビジョニングされます。 すべての Fabric ワークロードは OneLake との間で読み取りと書き込みを行うため、データはエンジン間で移動しません。 パイプラインを介して取り込まれたデータセットは、ノートブックで調整され、Power BI レポートで視覚化されたデータセットは、その過程を通じて 1 か所にとどまります。

データ ライフサイクルは 6 つのステージで構成され、Fabric には次のそれぞれに専用のツールが用意されています。

  • データを取得する: 数百のソースから、スケジュールに従って、継続的なデータベース レプリケーションを通じて、または所定の場所にある外部ストレージを参照して、OneLake にデータを取り込みます。

  • データの格納: 柔軟なビッグ データ分析、構造化された SQL クエリ、リアルタイム イベント分析、トランザクション処理、管理されたビジネス レポートなど、ワークロードに合わせて最適化されたストレージ形式でデータを保持します。

  • 準備と変換: OneLake からデータを移動することなく、低コードのビジュアル変換またはコード優先のノートブックと再利用可能な関数を使用して、データのクリーンアップ、整形、強化を行います。

  • 分析とトレーニング: 機械学習モデルの構築と運用化、高度な分析の実行、プログラムによるデータのクエリ、自然言語 AI エージェントによる分析情報の探索を行います。

  • 追跡と視覚化: 対話型レポートによる Surface 分析情報、リアルタイム ダッシュボードでのライブ データ ストリームの監視、条件が満たされたときに自動アクションをトリガーする。

  • 外部統合: 自動化、コラボレーション、ガバナンス、開発者ツール、CI/CD のために外部サービスに安全に接続します。

次の図は、これらのステージがどのように接続され、どの Fabric 項目が各ステージに参加するかを示しています。 各ステージについては、専用の記事で詳しい説明を行います。 各セクションのリンクを使用して、その段階で使用可能な機能とツールを確認します。

データ インジェストからストレージ、準備、分析、視覚化まで、Microsoft Fabric のエンド ツー エンドのデータ ライフサイクルを示す図。

データを取得する

さまざまな種類のデータセットは、データ レプリケーション、外部ストレージ参照、バッチ データセット、リアルタイム データ ストリームなど、さまざまなデータ シナリオにわたるさまざまなデータ ソースから取得されます。 これらのデータセットは、Fabric の統合ツールを使用して取り込んで変換します。 データは OneLake に格納されます。 OneLake は、すべての Fabric の一元化されたデータ ストレージです。 主なインジェスト方法は次のとおりです。

  • リアルタイムのイベント インジェストとルーティングのための Eventstream
  • 200 を超えるコネクタを使用したバッチおよびスケジュールされたデータ移動用のデータ パイプライン
  • ETL パイプラインを構築せずに運用データベースから継続的レプリケーションを行うミラーリング
  • Azure Data Lake、Amazon S3、Google Cloud Storage などの外部ストレージからデータをコピーしない仮想化のショートカット

詳細については、「 Microsoft Fabric にデータを取り込む」を参照してください。

データの保存

取り込まれたすべてのデータは、Delta Parquet 形式で OneLake に格納されます。 OneLake は、個別のプロビジョニングを必要とせず、組織全体に 1 つのデータ レイクを提供します。 Fabric には、さまざまなワークロード用に最適化された複数のストレージ項目が用意されています。

  • ファイルとマネージド Delta テーブルと自動 SQL エンドポイントを組み合わせた柔軟なビッグ データ ストレージ用の Lakehouse
  • 完全な T-SQL サポート、ストアド プロシージャ、ACID トランザクションを備えた構造化されたリレーショナル分析用のウェアハウス
  • Kusto クエリ言語 (KQL) を使用してストリーミングデータとテレメトリ データをリアルタイムで分析するための Eventhouse
  • トランザクション ワークロードと運用分析用の SQL Database
  • レポートと AI を活用する、キュレーションされたビジネス ロジック、メジャー、階層のセマンティック モデル

詳細については、「 Microsoft Fabric にデータを格納する」を参照してください。

データの準備と変換を行う

OneLake に入ったら、コード優先エンジンまたはローコード ツールを使用して、さらにデータを変換できます。すべて Fabric 内で、エンジン間のデータ移動はありません。

  • Dataflow Gen2 には、データ クレンジング、変換、エンリッチメントのための低コードの Power Query インターフェイスが用意されています。
  • ノートブックは 、Python、T-SQL、Scala ベースのデータ エンジニアリング用の Jupyter のような環境を提供します。
  • ユーザー データ関数 を使用すると、パイプライン、ノートブック、アクティベータールールから呼び出すことができる再利用可能なカスタム Python ロジックを埋め込むことができます。

詳細については、「 データの準備と変換」を参照してください。

データの分析とモデルのトレーニング

準備されたデータを使用して ML モデルをトレーニングし、高度な分析を実行します。 Fabric のデータ サイエンス ワークロードは、ML モデルを構築、トレーニング、運用化するための環境を提供します。

  • MLflow 実験では、 ハイパーパラメーター、メトリック、項目の自動ログ記録を使用して、モデルトレーニングの実行を追跡します。
  • ML モデル は、バージョン管理、メタデータ追跡、および再現性のために MLflow を利用したレジストリに登録されます。
  • データ エージェント操作エージェント を使用すると、自然言語を使用してデータを操作し、見つかった条件とパターンに基づいて操作できます。
  • GraphQL API は 、開発者が 1 つのエンドポイントを介して複数の Fabric データ ソースに対してクエリを実行するための柔軟なデータ アクセス層を提供します。
  • Power BI 用の Copilot では、アドホック分析、DAX 生成、自然言語データ探索に生成 AI を使用します。

詳細については、「 Microsoft Fabric でのデータの分析とトレーニング」を参照してください。

データの追跡と視覚化

準備されたデータとモデル化されたデータを使用して、レポート、ダッシュボード、およびリアルタイム アラートを作成します。

  • Power BI レポート では、セマンティック モデルに基づいて構築された対話型のデータ視覚化が提供され、Teams、SharePoint、PowerPoint、Excel などの Microsoft 365 アプリ間で配布されます。
  • Translytical タスクフローを 使用すると、ユーザーはユーザー データ関数を呼び出すことによって、Power BI レポートから直接アクションを実行できます。
  • Real-Time インテリジェンス ダッシュボードでは、 KQL クエリとビジュアル作成を使用して、1 秒未満の待機時間でストリーミング データを監視します。
  • アクティベーター は、ストリーミング データの条件を検出し、Teams のアラート、電子メール、Power Automate フローなどの自動化されたアクションをトリガーします。
  • Fabric IQ は、エンタープライズ データを共有ビジネス オントロジにマップし、AI エージェントが完全なビジネス コンテキストでデータを推論できるようにします。

詳細については、「データの 追跡と視覚化」を参照してください。

外部統合

Fabric は、データ インジェストと分析情報の配信の両方のために外部システムと統合されます。

  • Power Automateデータ アクティベーター により、データ条件に基づいてリアルタイムのワークフロー自動化が可能になります。
  • Microsoft 365 統合では、Teams、SharePoint、PowerPoint、Excel の分析情報が表示されます。
  • REST API とクライアント ライブラリは、Fabric リソースへのプログラムによるアクセスを提供します。
  • Microsoft Entra ID は、認証、条件付きアクセス、およびサービス プリンシパルのサポートを処理します。
  • Azure DevOps および GitHub との Git 統合により、Fabric 項目のバージョン管理と CI/CD が可能になります。
  • Microsoft Purview は、Fabric データ資産全体で統合されたデータ ガバナンス、カタログ化、コンプライアンスを提供します。

詳細については、「 外部統合とプラットフォーム接続」を参照してください。

自然言語と AI のサポート

自然言語のサポートは、Power BI Copilot、データ エージェント、および Operations エージェントの形式で提供されます。これは、OneLake のエンタープライズ データを推論し、ユーザーがアクセスできるデータ項目に基づいて回答を生成できます。 データ エージェントを Microsoft 365 Copilot、Microsoft Foundry、Copilot Studio に統合して、ユーザーがさまざまなアプリケーション間の既存のワークフロー内で OneLake から分析情報を取得できるようにします。