Beispieldatasets

Artikel
03/01/2024

Es gibt eine Vielzahl von Beispieldatasets, die von Azure Databricks bereitgestellt und von Drittanbietern zur Verfügung gestellt werden, die Sie in Ihrem Azure Databricks-Arbeitsbereich verwenden können.

Unity Catalog-Datasets

Unity Catalog bietet Zugriff auf eine Reihe von Beispieldatasets im samples-Katalog. Sie können diese Datasets auf der Benutzeroberfläche des Katalog-Explorers überprüfen und direkt in einem Notebook oder im SQL-Editor auf sie verweisen, indem Sie das <catalog-name>.<schema-name>.<table-name>-Muster verwenden.

Das nyctaxi-Schema (auch als Datenbank bekannt) enthält die Tabelle trips, in der Einzelheiten über Taxifahrten in New York City gespeichert sind. Die folgende Anweisung gibt die ersten 10 Datensätze in dieser Tabelle zurück:

SELECT * FROM samples.nyctaxi.trips LIMIT 10

Das tpch-Schema enthält Daten aus der TPC-H-Benchmark. Führen Sie zum Auflisten der Tabellen in diesem Schema Folgendes aus:

SHOW TABLES IN samples.tpch

Databricks-Datasets (databricks-datasets)

Azure Databricks enthält eine Vielzahl von Beispielsdatasets, die in DBFS eingebunden sind.

Hinweis

Die Verfügbarkeit und der Speicherort von Databricks-Datasets können ohne Ankündigung geändert werden.

Durchsuchen von Databricks-Datasets

Zum Durchsuchen dieser Dateien aus einem Python-, Scala- oder R-Notebook können Sie die Referenz zu Databricks-Hilfsprogrammen (dbutils) verwenden. Der folgende Code listet alle verfügbaren Databricks-Datasets auf.

Python

display(dbutils.fs.ls('/databricks-datasets'))

Scala

display(dbutils.fs.ls("/databricks-datasets"))

R

%fs ls "/databricks-datasets"

Abrufen von Informationen zu Databricks-Datasets

Im folgenden Codebeispiel wird gezeigt, wie Sie mithilfe einer API für lokale Dateien das Databricks-Dataset README (sofern verfügbar) mit einem Python-, R- oder Scala-Notebook ausdrucken, um weitere Informationen zu einem Dataset abzurufen.

Python

f = open('/discover/databricks-datasets/README.md', 'r')
print(f.read())

Scala

scala.io.Source.fromFile("/discover/databricks-datasets/README.md").foreach {
  print
}

R

library(readr)

f = read_lines("/discover/databricks-datasets/README.md", skip = 0, n_max = -1L)
print(f)

Erstellen einer Tabelle basierend auf einem Databricks-Dataset

In diesem Codebeispiel wird veranschaulicht, wie Sie SQL im SQL-Editor verwenden oder SQL-, Python-, Scala- oder R-Notebooks verwenden, um eine Tabelle basierend auf einem Databricks-Dataset zu erstellen:

SQL

CREATE TABLE default.people10m OPTIONS (PATH 'dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta')

Python

spark.sql("CREATE TABLE default.people10m OPTIONS (PATH 'dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta')")

Scala

spark.sql("CREATE TABLE default.people10m OPTIONS (PATH 'dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta')")

R

library(SparkR)
sparkR.session()

sql("CREATE TABLE default.people10m OPTIONS (PATH 'dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta')")