Fabric レイクハウスにデータ取り込むためのオプション
データ取得エクスペリエンスは、次のようなデータをレイクハウスに取り込むためのすべてのユーザー シナリオをカバーしています。
- 既存の SQL Server に接続し、レイクハウス上のデルタ テーブルにデータをコピーする。
- 自分のコンピューターからファイルをアップロードする。
- 他のレイクハウスから複数のテーブルをコピーして新しいデルタ テーブルにマージする。
- ストリーミング ソースに接続して、レイクハウスにデータを配置する。
- 他の内部レイクハウスや外部ソースからデータをコピーせずに参照する。
レイクハウスにデータを読み込むさまざまな方法
Microsoft Fabric では、次のようにレイクハウスにデータを取り込む方法がいくつかあります。
- ローカル コンピューターからファイルをアップロードする
- パイプラインでコピー ツールを実行する
- データフローを設定する
- ノートブック コード内の Apache Spark ライブラリ
- Eventstream を使用してリアルタイム イベントをストリーミングする
- Eventhouse からデータを取得する
ローカル ファイルのアップロード
ローカル コンピューターに格納されているデータをアップロードすることもできます。 これはレイクハウス エクスプローラーで直接行うことができます。
パイプラインのコピー ツール
コピー ツールは、さまざまなデータ ソースに接続し、元の形式でデータを読み込んだり、デルタ テーブルに変換したりできる、拡張性の高い Data Integration ソリューションです。 コピー ツールはパイプライン アクティビティの一部で、イベントに基づいたスケジュールやトリガーなど、複数の方法で変更できます。 詳細については、「コピー クティビティを使用してデータをコピーする方法」を参照してください。
データフロー
Power BI データフローに精通しているユーザーの場合は、レイクハウスにデータを読み込むのに同じツールを使用できます。 レイクハウス エクスプローラーの [データの取得] オプションからすばやくアクセスでき、200 を超えるコネクタからデータを読み込むことができます。 詳細については、「クイックスタート: 初めてのデータフローを作成してデータの取得と変換を行う」を参照してください。
ノートブック コード
使用可能な Spark ライブラリを使用してデータ ソースに直接接続し、データ フレームにデータを読み込み、レイクハウスに保存できます。 この方法は、ユーザー コードで完全に管理されているレイクハウスにデータを読み込む最もオープンな方法です。
Note
Spark コードで作成された外部 Delta テーブルは、SQL 分析エンドポイントに対して表示されません。 外部 Delta テーブルを SQL 分析エンドポイントに対して表示するには、テーブル領域のショートカットを使用します。
Eventstream を使用してリアルタイム イベントをストリーミングする
Eventstream を使用すると、さまざまなソースからの大量のリアルタイム イベントの取得、処理、ルーティングを行うことができます。
Eventstream の宛先としてレイクハウスを追加する方法については、「レイクハウスでの Eventstream からのデータの取得」を参照してください。
最適なストリーミング パフォーマンスを実現するには、Eventstream から Eventhouse にデータをストリーミングした後に OneLake の可用性を有効にします。
Eventhouse からデータを取得する
Eventhouse 内のデータで OneLake の可用性を有効にすると、OneLake 内に Delta テーブルが作成されます。 この Delta テーブルには、ショートカットを使用してレイクハウスからアクセスできます。 詳しくは、「OneLake のショートカット」をご覧ください。 詳細については、「Eventhouse での OneLake の可用性」を参照してください。
データを読み込む方法を選択する際の考慮事項
| ユース ケース | 推奨事項 |
|---|---|
| ローカル コンピューターからの小さなファイルのアップロード | ローカル ファイルのアップロードを使用する |
| 小さいデータまたは特定のコネクタ | データフローを使用する |
| 大きなデータ ソース | パイプラインのコピー ツールを使用する |
| 複雑なデータ変換 | ノートブック コードを使用する |
| データのストリーミング | Eventstream を使用して Eventhouse にデータをストリーミングする。OneLake の可用性を有効にし、レイクハウスからのショートカットを作成する |
| 時系列データ | Eventhouse からデータを取得する |