Azure Databricks には、さまざまなデータ管理ニーズを満たす複数のテーブルの種類とストレージ形式が用意されています。 このセクションでは、マネージド テーブル、外部テーブル、外部テーブル、および Delta Lake および Apache Iceberg ストレージ形式について説明します。この形式は、アトミック性、一貫性、分離性、持続性 (ACID) トランザクションや時間移動などの高度な機能を強化します。
主要な概念
テーブルの種類、ストレージ形式、Unity カタログ統合の基礎について説明します。
| トピック | Description |
|---|---|
| テーブルの概念 | テーブルの種類、ストレージ形式、Unity カタログの統合に関する主要な概念と基本情報。 |
テーブルの種類
さまざまなデータ管理シナリオのさまざまなテーブルの種類とその機能について説明します。
| テーブルの種類 | Description |
|---|---|
| Azure Databricks for Delta Lake と Apache Iceberg の Unity カタログ マネージド テーブル | Azure Databricks は、メタデータファイルとデータ ファイルを管理します。 最適化されたパフォーマンスを必要とする新しいテーブルに使用されます。 |
| 一時テーブル | 中間データ用のセッション スコープの Unity カタログ マネージド テーブル。 SQL ウェアハウスのみ。 |
| 外部テーブルの扱い | 外部システムに格納されているデータ。 Unity カタログはメタデータのみを管理します。 |
| 外部テーブルの操作 | Lakehouse フェデレーションを介して接続された外部システムのデータへの読み取り専用アクセス。 |
ストレージ形式
高度なデータ管理機能を提供するオープン テーブル形式を操作します。
| Format | Description |
|---|---|
| Delta Lake | マネージド テーブルと外部テーブルの ACID トランザクション、タイム トラベル、スキーマの適用を提供する既定のストレージ形式。 |
| Apache Iceberg | 高度なメタデータ管理をサポートする Iceberg エコシステムと統合するためのオープン テーブル形式。 |
テーブル管理
テーブルの動作、構造、およびパフォーマンスを構成して最適化します。
| 特徴 | Description |
|---|---|
| テーブル制約 | null 制約ではなく CHECK 制約を使用して、データ品質規則を定義して適用します。 |
| スキーマの適用 | 書き込み中に Azure Databricks がスキーマの変更とデータ型の適用を処理する方法を制御します。 |
| テーブルのパーティション分割 | パーティション キーでデータを整理して、クエリのパフォーマンスとデータ管理を向上させます。 |
| テーブル サイズの監視 | テーブル ストレージの使用状況と増加パターンを監視および分析します。 |
| 外部からマネージドへの変換 | パフォーマンスと管理を向上させるために、外部テーブルをマネージド テーブルに移行します。 |
| 外部パーティションの検出 | クラウド ストレージに格納されている外部テーブルのパーティションを自動的に検出して登録します。 |