Ukázkové datové sady

Azure Databricks poskytuje celou řadu ukázkových datových sad a zpřístupnil je třetí strany, které můžete použít ve svém pracovním prostoru Azure Databricks.

Datové sady katalogu Unity

katalog Unity poskytuje přístup k řadě ukázkových datových sad v katalogu samples. Tyto datové sady si můžete prohlédnout v uživatelském rozhraní Průzkumníka katalogu a odkazovat na ně přímo v poznámkovém bloku nebo v editoru SQL pomocí vzoru .

Následující tabulka uvádí dostupná schémata v samples katalogu:

Datová sada Description
nyctaxi Záznamy jízd taxíkem v New Yorku.
tpch Rozsáhlá datová sada (přibližně 1 TB) z srovnávacího testuTPC-H.
tpcds_sf1 Malá datová sada (přibližně 1 GB) z srovnávacího testuTPC-DS.
wanderbricks Simulovaná platforma pro rezervaci cestovních cest s uživateli, vlastnostmi, rezervacemi, recenzemi a dalšími funkcemi.

nyctaxi

Schéma nyctaxi obsahuje tabulku trips, která obsahuje podrobnosti o jízdách taxíkem v New Yorku. Následující příklad vrátí prvních 10 záznamů v této tabulce:

SQL

SELECT * FROM samples.nyctaxi.trips LIMIT 10

Python

display(spark.read.table("samples.nyctaxi.trips").limit(10))

tpch

Schéma tpch obsahuje data z benchmarku TPC-H. Pokud chcete zobrazit seznam tabulek v tomto schématu, spusťte:

SQL

SHOW TABLES IN samples.tpch

Python

display(spark.sql("SHOW TABLES IN samples.tpch"))

tpcds_sf1

Schéma tpcds_sf1 obsahuje data z srovnávacího testuTPC-DS. Pokud chcete zobrazit seznam tabulek v tomto schématu, spusťte:

SQL

SHOW TABLES IN samples.tpcds_sf1;

Python

display(spark.sql("SHOW TABLES IN samples.tpcds_sf1"))

Další pokyny k vyhodnocení výkonu systému pomocí této datové sady najdete v tématu Použití ukázkové datové sady TPC-DS k vyhodnocení výkonu systému.

wanderbricks

Schéma wanderbricks obsahuje simulovanou datovou sadu platformy cestovních rezervací. Pro podrobnosti o tabulkách datových sad wanderbricks viz datová sada Wanderbricks.

Ukázkové datové sady třetích stran ve formátu CSV

Azure Databricks má integrované nástroje pro rychlé nahrání ukázkových datových sad třetích stran jako soubory hodnot oddělených čárkami (CSV) do pracovních prostorů Azure Databricks. Některé oblíbené ukázkové datové sady třetích stran dostupné ve formátu CSV:

Ukázková datová sada Stažení ukázkové datové sady jako souboru CSV...
Sčítání veverek Na webové stránce Data klikněte na Park Data,
Squirrel Data nebo příběhy.
Kolekce datových sad OWID V úložišti GitHub klikněte na složku datasets. Klikněte na podsložku obsahující cílovou datovou sadu a potom klikněte na soubor CSV datové sady.
Datové sady CSV z Data.gov Na webové stránce výsledků hledání klikněte na cílový výsledek hledání a vedle ikony CSV klikněte na Tlačítko Stáhnout.
Diamonds (vyžaduje účet Kaggle) Na webové stránce datové sady klikněte na kartě Data na kartě Data vedle diamonds.csvna ikonu Stáhnout .
NYC Taxi Trip Duration (Vyžaduje účet Kaggle ) Na webové stránce datové sady na kartě Data vedle sample_submission.zipklikněte na tlačítko
Ikona pro stažení Pokud chcete najít soubory CSV datové sady, extrahuje obsah staženého souboru ZIP.

Pokud chcete v pracovním prostoru Azure Databricks použít ukázkové datové sady třetích stran, postupujte takto:

  1. Podle pokynů třetích stran si datovou sadu stáhněte jako soubor CSV do místního počítače.
  2. Nahrajte soubor CSV z místního počítače do pracovního prostoru Azure Databricks.
  3. Pokud chcete pracovat s importovanými daty, použijte Databricks SQL k dotazování dat. Nebo můžete použít notebook k načtení dat jako DataFrame.

Ukázkové datové sady třetích stran v knihovnách

Někteří poskytovatelé třetích stran zahrnují ukázkové datové sady v knihovnách, jako jsou balíčky Python Package Index (PyPI) nebo Comprehensive R Archive Network (CRAN). Další informace najdete v dokumentaci poskytovatele knihovny.

  • Pokud chcete nainstalovat knihovnu do clusteru Azure Databricks pomocí uživatelského rozhraní clusteru, přečtěte si téma Knihovny v oboru výpočetních prostředků.
  • Pokud chcete nainstalovat knihovnu Pythonu pomocí poznámkového bloku Azure Databricks, viz téma Knihovny Pythonu v rámci poznámkového bloku.
  • Pokud chcete nainstalovat knihovnu R pomocí poznámkového bloku Azure Databricks, přečtěte si téma Knihovny jazyka R s oborem poznámkového bloku.

Datové sady Databricks (databricks-datasets) připojené k DBFS

Azure Databricks nedoporučuje používat DBFS a připojené cloudové úložiště objektů pro většinu případů použití v pracovních prostorech Databricks, které podporují katalog Unity. Některé ukázkové datové sady připojené k DBFS jsou k dispozici v Azure Databricks.

Poznámka:

Dostupnost a umístění datových sad Databricks se můžou bez předchozího upozornění změnit.

Procházení datových sad Databricks připojených pomocí DBFS.

K prohlížení těchto souborů v poznámkovém bloku Python, Scala nebo R můžete použít dbutils. Následující kód obsahuje seznam všech dostupných datových sad Databricks.

Python

display(dbutils.fs.ls('/databricks-datasets'))

Scala

display(dbutils.fs.ls("/databricks-datasets"))

R

%fs ls "/databricks-datasets"
  • Last updated on