Przykładowe zestawy danych

Artykuł
03/01/2024

Istnieją różne przykładowe zestawy danych udostępniane przez usługę Azure Databricks i udostępniane przez inne firmy, których można używać w obszarze roboczym usługi Azure Databricks.

Zestawy danych wykazu aparatu Unity

Wykaz aparatu Unity zapewnia dostęp do wielu przykładowych zestawów danych w samples katalogu. Możesz przejrzeć te zestawy danych w interfejsie użytkownika Eksploratora wykazu i odwołać się do nich bezpośrednio w notesie lub w edytorze SQL przy użyciu <catalog-name>.<schema-name>.<table-name> wzorca.

nyctaxi Schemat (znany również jako baza danych) zawiera tabelę trips, która zawiera szczegółowe informacje o przejazdach taksówkami w Nowym Jorku. Poniższa instrukcja zwraca pierwsze 10 rekordów w tej tabeli:

SELECT * FROM samples.nyctaxi.trips LIMIT 10

Schemat tpch zawiera dane z testu porównawczego TPC-H. Aby wyświetlić listę tabel w tym schemacie, uruchom polecenie:

SHOW TABLES IN samples.tpch

Zestawy danych usługi Databricks (databricks-datasets)

Usługa Azure Databricks zawiera różne przykładowe zestawy danych zainstalowane w systemie plików DBFS.

Uwaga

Dostępność i lokalizacja zestawów danych usługi Databricks mogą ulec zmianie bez powiadomienia.

Przeglądanie zestawów danych usługi Databricks

Aby przeglądać te pliki z notesu Python, Scala lub R, możesz użyć odwołania do narzędzi usługi Databricks (dbutils). Poniższy kod zawiera listę wszystkich dostępnych zestawów danych usługi Databricks.

Python

display(dbutils.fs.ls('/databricks-datasets'))

Scala

display(dbutils.fs.ls("/databricks-datasets"))

R

%fs ls "/databricks-datasets"

Uzyskiwanie informacji o zestawach danych usługi Databricks

Aby uzyskać więcej informacji na temat zestawu danych usługi Databricks, możesz użyć lokalnego interfejsu API plików do wydrukowania zestawu danych README (jeśli jest dostępny) przy użyciu notesu Python, R lub Scala, jak pokazano w tym przykładzie kodu.

Python

f = open('/discover/databricks-datasets/README.md', 'r')
print(f.read())

Scala

scala.io.Source.fromFile("/discover/databricks-datasets/README.md").foreach {
  print
}

R

library(readr)

f = read_lines("/discover/databricks-datasets/README.md", skip = 0, n_max = -1L)
print(f)

Tworzenie tabeli na podstawie zestawu danych usługi Databricks

W tym przykładzie kodu pokazano, jak używać języka SQL w edytorze SQL lub jak używać notesów SQL, Python, Scala lub R w celu utworzenia tabeli opartej na zestawie danych usługi Databricks:

SQL

CREATE TABLE default.people10m OPTIONS (PATH 'dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta')

Python

spark.sql("CREATE TABLE default.people10m OPTIONS (PATH 'dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta')")

Scala

spark.sql("CREATE TABLE default.people10m OPTIONS (PATH 'dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta')")

R

library(SparkR)
sparkR.session()

sql("CREATE TABLE default.people10m OPTIONS (PATH 'dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta')")