Použití ukázkové datové sady TPC-DS k vyhodnocení výkonu systému

Azure Databricks poskytuje přístup k datové sadě TPC-DS srovnávacích testů, která je široce používaným srovnávacím testem pro testování výkonu systémů vytvořených pro datové sklady a analýzy. Datová sada je ve výchozím nastavení dostupná ve dvou velikostech v každém pracovním prostoru s podporou katalogu Unity. Tyto datové sady jsou ideální pro testování výkonu Azure Databricks na standardizovaném srovnávacím testu, který simuluje reálné obchodní scénáře maloobchodního a elektronického obchodování. Další informace o této datové sadě najdete v dokumentaci k srovnávacím testůmTPC-DS .

Co je součástí

Datové sady TPC-DS jsou k dispozici v samples katalogu s následujícími schématy:

• tpcds_sf1 – malá datová sada (přibližně 1 GB)
• tpcds_sf1000 – Rozsáhlá datová sada (přibližně 1 TB)

Obě datové sady sdílejí následující vlastnosti:

• Jsou jen pro čtení a k dispozici pro dotazy pro všechny uživatele v pracovním prostoru.
• Jsou kompatibilní se službami SQL Warehouse a clustery pro všechny účely.
• Postupujte podle specifikace TPC-DS pro standardizované srovnávací testy.

Požadavky

Musíte mít přístup ke službě SQL Warehouse nebo ke clusteru pro všechny účely.

Náhled dat

Zkoumání dat v uživatelském rozhraní Průzkumníka katalogu:

1. Klikněte na Katalog na bočním panelu
2. Na panelu hledání zadejte tpcds . Obě schémata jsou v samples katalogu. Klikněte na název schématu, které chcete zobrazit.
3. Karta Přehled obsahuje seznam všech tabulek ve schématu. Kliknutím na název tabulky otevřete přehled sloupců a datových typů v této tabulce.
4. Pomocí horní navigace můžete zobrazit ukázková data nebo podrobnosti tabulky.

Dotazování na data

Následující dotazy používají menší škálovací datovou sadu. tpcds_sf1 Pokud chcete použít větší škálovatelnou datovou sadu, nahraďte název schématu tpcds_sf1000. Kliknutím na na bočním panelu otevřete editor SQL. Pak pomocí následujících dotazů začněte zkoumat data.

Náhled tabulek

SHOW TABLES IN samples.tpcds_sf1;

Prozkoumejte tabulku

DESCRIBE TABLE samples.tpcds_sf1.customer;
SELECT * FROM samples.tpcds_sf1.customer LIMIT 10;

Ukázkový příklad spojení a agregace

SELECT
  i_category,
  d_year,
  SUM(ss_net_paid) AS total_revenue
FROM samples.tpcds_sf1.store_sales ss
JOIN samples.tpcds_sf1.item i ON ss.ss_item_sk = i.i_item_sk
JOIN samples.tpcds_sf1.date_dim d ON ss.ss_sold_date_sk = d.d_date_sk
WHERE d.d_year = 2001
GROUP BY i_category, d_year
ORDER BY total_revenue DESC
LIMIT 10;

Osvědčené postupy

• Pomocí historie dotazů a profilu dotazu můžete porozumět charakteristikám výkonu a identifikovat příležitosti optimalizace.
• Začněte s menší tpcds_sf1 datovou sadou pro počáteční testování a pak zvětšete na tpcds_sf1000 pro komplexní zhodnocení výkonu.
• Porovnejte výkon dotazů napříč různými velikostmi SQL Warehouse a určete optimální konfigurace pro vaše úlohy.
• Pomocí těchto standardizovaných datových sad můžete stanovit standardní hodnoty výkonu a sledovat vylepšení v průběhu času.