Kurz: Použití poznámkového bloku s Apache Sparkem k dotazování databáze KQL

  • Článek

Poznámkové bloky jsou čitelné dokumenty obsahující popisy analýzy dat a výsledky i spustitelné dokumenty, které je možné spustit za účelem analýzy dat. V tomto článku se dozvíte, jak pomocí poznámkového bloku Microsoft Fabric číst a zapisovat data do databáze KQL pomocí Apache Sparku. Tento kurz používá předem vytvořenou datovou sadu a poznámkové bloky v analýze v reálném čase i v prostředích Datoví technici v Microsoft Fabric. Další informace o poznámkových blocích najdete v tématu Použití poznámkových bloků Microsoft Fabric.

Konkrétně se naučíte:

  • Vytvoření databáze KQL
  • Import poznámkového bloku
  • Zápis dat do databáze KQL pomocí Apache Sparku
  • Dotazování dat z databáze KQL

Předpoklady

1. Vytvoření databáze KQL

  1. Otevřete přepínač prostředí v dolní části navigačního podokna a vyberte Analýzy v reálném čase.

  2. Vyberte dlaždici Databáze KQL.

    Screenshot of new KQL database tile in Real-Time Analytics.

  3. Do pole Název databáze KQL zadejte nycGreenTaxi a pak vyberte Vytvořit.

    Databáze KQL byla nyní vytvořena v kontextu vybraného pracovního prostoru.

  4. Zkopírujte identifikátor URI dotazu z karty podrobností databáze na řídicím panelu databáze a vložte ho někam, jako je poznámkový blok, abyste ho mohli použít v pozdějším kroku.

    Screenshot of the database details card that shows the database details. The Query URI option titled Copy URI is highlighted.

2. Stáhněte si poznámkový blok NYC GreenTaxi

Vytvořili jsme ukázkový poznámkový blok, který vás provede všemi potřebnými kroky pro načtení dat do databáze pomocí konektoru Spark.

  1. Otevřete úložiště ukázek Prostředků infrastruktury na GitHubu a stáhněte si poznámkový blok NYC GreenTaxi KQL.

    Screenshot of GitHub repository showing the NYC GreenTaxi notebook. The Raw option is highlighted.

  2. Uložte poznámkový blok místně do zařízení.

    Poznámka:

    Poznámkový blok musí být uložen ve .ipynb formátu souboru.

3. Import poznámkového bloku

Zbytek tohoto pracovního postupu se vyskytuje v části Datoví technici produktu a používá poznámkový blok Spark k načtení a dotazování dat v databázi KQL.

  1. Otevřete přepínač prostředí v dolní části navigačního podokna a vyberte Datoví technici.

  2. Vyberte Importovat poznámkový blok.

    Screenshot of item options in Data Engineering. The item titled Import notebook is highlighted.

  3. V okně Stav importu vyberte Nahrát.

    Screenshot of Import status window. The button titled Upload is highlighted.

  4. Vyberte poznámkový blok NYC GreenTaxi, který jste stáhli v předchozím kroku.

  5. Po dokončení importu se vraťte do pracovního prostoru a otevřete tento poznámkový blok.

4. Získání dat

Pokud chcete dotazovat databázi pomocí konektoru Spark, musíte udělit přístup pro čtení a zápis ke kontejneru objektů blob NYC GreenTaxi.

Vyberte tlačítko přehrát, aby se spustily následující buňky, nebo vyberte buňku a stiskněte Shift+Enter. Tento krok opakujte pro každou buňku kódu.

Poznámka:

Před spuštěním další buňky počkejte, než se zobrazí značka zaškrtnutí dokončení.

  1. Spuštěním následující buňky povolte přístup ke kontejneru objektů blob NYC GreenTaxi.

    Screenshot of first code cell showing storage access information.

  2. Do kustoURI vložte identifikátor URI dotazu, který jste zkopírovali dříve , místo zástupného textu.

  3. Změňte název zástupné databáze na nycGreenTaxi.

  4. Změňte název zástupné tabulky na GreenTaxiData.

    Screenshot of second code cell showing the target database information. The Query URI, the database name, and the table name are highlighted.

  5. Spusťte buňku.

  6. Spuštěním další buňky zapište data do databáze. Dokončení tohoto kroku může trvat několik minut.

    Screenshot of third code cell showing table mapping and ingestion command.

Databáze teď obsahuje data načtená do tabulky s názvem GreenTaxiData.

5. Spuštění poznámkového bloku

Spusťte zbývající dvě buňky postupně a dotazujte se na data z tabulky. Výsledky ukazují prvních 20 nejvyšších a nejnižších jízdných taxíků a vzdáleností zaznamenaných podle roku.

Screenshot of fourth and fifth code cell showing the query results.

6. Vyčištění prostředků

Vyčistěte položky vytvořené tak, že přejdete do pracovního prostoru, ve kterém byly vytvořeny.

  1. V pracovním prostoru najeďte myší na poznámkový blok, který chcete odstranit, vyberte nabídku Další [...] >Odstranit.

    Screenshot of workspace showing the drop-down menu of the NYC GreenTaxi notebook. The option titled Delete is highlighted.

  2. Vyberte Odstranit. Jakmile poznámkový blok odstraníte, nemůžete ho obnovit.

Související obsah