Azure Databricks ワークスペースで使用できるさまざまなデータセットが、Azure Databricks およびサード パーティによって提供されています。
Unity カタログのデータセット
Unity Catalog では、samples カタログ内の多数のサンプル データセットにアクセスできます。 これらのデータセットは、Catalog Explorer の UI で確認し、ノートブック または SQL エディター で、<catalog-name>.<schema-name>.<table-name> パターンを使用して直接参照できます。
次の表に、 samples カタログで使用可能なスキーマを示します。
| Dataset | 説明 |
|---|---|
databricks |
datasets ボリューム内のデータ パイプラインを構築するためのファイル ベースのサンプル データセット。 |
nyctaxi |
ニューヨーク市のタクシー乗車記録。 |
tpcds_sf1 |
TPC-DS ベンチマークからの小規模なデータセット (約 1 GB)。 |
tpch |
TPC-H ベンチマークからの大規模なデータセット (約 1 TB)。 |
wanderbricks |
ユーザー、プロパティ、予約、レビューなどを含むシミュレートされた旅行予約プラットフォーム。 |
ダタブリックス
databricks スキーマには、datasets ボリュームが含まれています。このボリュームは、データ パイプラインの構築とテストに使用できるAzure Databricks指定されたファイル データセットのコレクションをホストします。 使用可能なデータセットを一覧表示するには、次を実行します。
SQL
LIST '/Volumes/samples/databricks/datasets/'
Python
display(dbutils.fs.ls("/Volumes/samples/databricks/datasets/"))
nyctaxi
nyctaxi スキーマには、ニューヨーク市でのタクシー乗り物に関する詳細を含むテーブル tripsが含まれています。 次の例では、このテーブルの最初の 10 個のレコードを返します。
SQL
SELECT * FROM samples.nyctaxi.trips LIMIT 10
Python
display(spark.read.table("samples.nyctaxi.trips").limit(10))
tpcds_sf1
tpcds_sf1 スキーマには、TPC-DS ベンチマークのデータが含まれています。 このスキーマのテーブルを一覧表示するには、次を実行します。
SQL
SHOW TABLES IN samples.tpcds_sf1;
Python
display(spark.sql("SHOW TABLES IN samples.tpcds_sf1"))
このデータセットを使用してシステム パフォーマンスを評価する方法の詳細については、「 TPC-DS サンプル データセットを使用してシステム パフォーマンスを評価する」を参照してください。
tpch
tpch スキーマには、TPC-H ベンチマークのデータが含まれています。 このスキーマのテーブルを一覧表示するには、次を実行します。
SQL
SHOW TABLES IN samples.tpch
Python
display(spark.sql("SHOW TABLES IN samples.tpch"))
ワンダーブリックス
wanderbricks スキーマには、シミュレートされた旅行予約プラットフォーム データセットが含まれています。
wanderbricks データセット テーブルの詳細については、「Wanderbricks データセット」を参照してください。
CSV 形式のサード パーティのサンプル データセット
Azure Databricks には、サードパーティのサンプル データセットをコンマ区切り値 (CSV) ファイルとして Azure Databricks ワークスペースにすばやくアップロードするためのツールが組み込まれています。 CSV 形式で利用できる一般的なサード パーティ製サンプル データセットの一部:
| サンプル データセット | サンプル データセットを CSV ファイルとしてダウンロードするには… |
|---|---|
| リスの国勢調査 |
[データ] Web ページで、[パークデータ] をクリックします。 リスデータ、または ストーリー。 |
| OWID データセット コレクション | GitHub リポジトリで、データセット フォルダーをクリックします。 ターゲット データセットを含むサブフォルダーをクリックし、データセットの CSV ファイルをクリックします。 |
| Data.gov の CSV データセット | 検索結果 Web ページで、対象の検索結果をクリックし、CSV アイコンの横にある [ダウンロード] をクリックします。 |
| ダイヤモンド (Kaggle アカウントが必要) | データセットの Web ページの [ データ ] タブの [ データ ] タブの [ diamonds.csv] の横にある [ダウンロード ] アイコンをクリックします。 |
| NYC タクシー乗車時間 (Kaggle アカウントが必要) | データセットの Web ページの [ データ ] タブで、sample_submission.zip の横にある部分をクリックします。 ダウンロード アイコンをクリックします。 データセットの CSV ファイルを検索するには、ダウンロードした ZIP ファイルの内容を抽出します。 |
Azure Databricks ワークスペースでサードパーティのサンプル データセットを使用するには、次の操作を行います。
- サード パーティの指示に従って、データセットを CSV ファイルとしてローカル コンピューターにダウンロードします。
- ローカル コンピューターから Azure Databricks ワークスペースに CSV ファイルをアップロードします。
- インポートされたデータを操作するには、Databricks SQL を使用してデータを照会します。 または、ノートブックを使用してデータを DataFrame として読み込むことができます。
ライブラリ内のサードパーティのサンプル データセット
一部のサード パーティには、Python パッケージ インデックス (PyPI) パッケージや包括的な R アーカイブ ネットワーク (CRAN) パッケージなど、ライブラリ内のサンプル データセットが含まれています。 詳細については、ライブラリ プロバイダーのドキュメントを参照してください。
- クラスター ユーザー インターフェイスを使用して Azure Databricks クラスター にライブラリをインストールするには、 コンピューティング スコープライブラリを参照してください。
- Azure Databricks ノートブックを使用して Python ライブラリをインストールするには、「ノートブック スコープの Python ライブラリ」を参照してください。
- Azure Databricks ノートブックを使用して R ライブラリをインストールするには、「ノートブック スコープの R ライブラリ」を参照してください。
DBFS にマウントされた Databricks データセット (databricks-datasets)
Azure Databricks では、Unity カタログ対応 Databricks ワークスペースのほとんどのユース ケースにおいて、DBFS とマウントされたクラウド オブジェクト ストレージを使用しないことをお勧めします。 DBFS にマウントされたサンプル データセットの一部は、Azure Databricks で使用できます
注
Databricks データセットの可用性と場所は、予告なく変更される場合があります。
DBFS にマウントされた Databricks データセットを参照する
Python、Scala、または R ノートブックからこれらのファイルを参照するには、 Databricks Utilities (dbutils) リファレンスを使用できます。 次のコードを使用すると、使用可能なすべての Databricks データセットが一覧表示されます。
Python
display(dbutils.fs.ls('/databricks-datasets'))
スカラ (プログラミング言語)
display(dbutils.fs.ls("/databricks-datasets"))
R
%fs ls "/databricks-datasets"