Sdílet prostřednictvím

Začínáme: Import a vizualizace dat CSV z poznámkového bloku

  • Článek

Tento článek vás provede použitím poznámkového bloku Azure Databricks k importu dat ze souboru CSV obsahujícího data názvu dítěte z health.data.ny.gov do svazku katalogu Unity pomocí Pythonu, Scaly a R. Naučíte se také upravovat název sloupce, vizualizovat data a ukládat je do tabulky.

Požadavky

K dokončení úkolů v tomto článku musíte splňovat následující požadavky:

  • Váš pracovní prostor musí mít povolený katalog Unity. Informace o tom, jak začít s katalogem Unity, najdete v tématu Nastavení a správa katalogu Unity.
  • Musíte mít oprávnění k používání existujícího výpočetního prostředku nebo k vytvoření nového výpočetního prostředku. Viz Začínáme: Nastavení účtu a pracovního prostoru nebo se obraťte na správce Databricks.

Tip

Dokončený poznámkový blok pro tento článek najdete v tématu Import a vizualizace datových poznámkových bloků.

Krok 1: Vytvoření nového poznámkového bloku

Vytvoření poznámkového bloku v pracovním prostoru:

  1. Na bočním panelu klikněte na Nová ikona Nový a potom klikněte na Poznámkový blok.
  2. Na stránce Vytvořit poznámkový blok:
    • Zadejte jedinečný název poznámkového bloku.
    • Nastavte výchozí jazyk poznámkového bloku a po zobrazení výzvy klikněte na Potvrdit .
    • Klikněte na Připojit a vyberte výpočetní prostředek. Pokud chcete vytvořit nový výpočetní prostředek, přečtěte si téma Použití výpočetních prostředků.

Další informace o vytváření a správě poznámkových bloků najdete v tématu Správa poznámkových bloků.

Krok 2: Definování proměnných

V tomto kroku definujete proměnné pro použití v ukázkovém poznámkovém bloku, který vytvoříte v tomto článku.

  1. Zkopírujte a vložte následující kód do nové prázdné buňky poznámkového bloku. Nahraďte <catalog-name>katalog, <volume-name> <schema-name>schéma a názvy svazků pro svazek katalogu Unity. Nahraďte <table_name> zvoleným názvem tabulky. Data jména dítěte uložíte do této tabulky dále v tomto článku.

  2. Stisknutím spustíte Shift+Enter buňku a vytvoříte novou prázdnou buňku.

    Python

    catalog = "<catalog_name>"
schema = "<schema_name>"
volume = "<volume_name>"
download_url = "https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv"
file_name = "baby_names.csv"
table_name = "baby_names"
path_volume = "/Volumes/" + catalog + "/" + schema + "/" + volume
path_table = catalog + "." + schema
print(path_table) # Show the complete path
print(path_volume) # Show the complete path

    Scala

    val catalog = "<catalog_name>"
val schema = "<schema_name>"
val volume = "<volume_name>"
val downloadUrl = "https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv"
val fileName = "baby_names.csv"
val tableName = "baby_names"
val pathVolume = s"/Volumes/${catalog}/${schema}/${volume}"
val pathTable = s"${catalog}.${schema}"
print(pathVolume) // Show the complete path
print(pathTable) // Show the complete path

    R

    catalog <- "<catalog_name>"
schema <- "<schema_name>"
volume <- "<volume_name>"
download_url <- "https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv"
file_name <- "baby_names.csv"
table_name <- "baby_names"
path_volume <- paste("/Volumes/", catalog, "/", schema, "/", volume, sep = "")
path_table <- paste(catalog, ".", schema, sep = "")
print(path_volume) # Show the complete path
print(path_table) # Show the complete path

Krok 3: Import souboru CSV

V tomto kroku naimportujete soubor CSV obsahující data názvu dítěte z health.data.ny.gov do svazku katalogu Unity.

  1. Zkopírujte a vložte následující kód do nové prázdné buňky poznámkového bloku. Tento kód zkopíruje rows.csv soubor z health.data.ny.gov do svazku katalogu Unity pomocí příkazu Databricks dbutuils .

  2. Stisknutím klávesy Shift+Enter spusťte buňku a přejděte na další buňku.

    Python

    dbutils.fs.cp(f"{download_url}", f"{path_volume}" + "/" + f"{file_name}")

    Scala

    dbutils.fs.cp(downloadUrl, s"${pathVolume}/${fileName}")

    R

    dbutils.fs.cp(download_url, paste(path_volume, "/", file_name, sep = ""))

Krok 4: Načtení dat CSV do datového rámce

V tomto kroku vytvoříte datový rámec s názvem df ze souboru CSV, který jste dříve načetli do svazku Katalogu Unity pomocí metody spark.read.csv .

  1. Zkopírujte a vložte následující kód do nové prázdné buňky poznámkového bloku. Tento kód načte data názvu dítěte do datového rámce df ze souboru CSV.

  2. Stisknutím klávesy Shift+Enter spusťte buňku a přejděte na další buňku.

    Python

    df = spark.read.csv(f"{path_volume}/{file_name}",
  header=True,
  inferSchema=True,
  sep=",")

    Scala

    val df = spark.read
    .option("header", "true")
    .option("inferSchema", "true")
    .option("delimiter", ",")
    .csv(s"${pathVolume}/${fileName}")

    R

    # Load the SparkR package that is already preinstalled on the cluster.
library(SparkR)

df <- read.df(paste(path_volume, "/", file_name, sep=""),
  source="csv",
  header = TRUE,
  inferSchema = TRUE,
  delimiter = ",")

Můžete načíst data z mnoha podporovaných formátů souborů.

Krok 5: Vizualizace dat z poznámkového bloku

V tomto kroku použijete display() metodu k zobrazení obsahu datového rámce v tabulce v poznámkovém bloku a následné vizualizaci dat ve wordovém cloudovém grafu v poznámkovém bloku.

  1. Zkopírujte a vložte následující kód do nové prázdné buňky poznámkového bloku a potom kliknutím na tlačítko Spustit buňku zobrazte data v tabulce.

    Python

    display(df)

    Scala

    display(df)

    R

    display(df)

  2. Zkontrolujte výsledky v tabulce.

  3. Vedle karty Tabulka klikněte a + potom klikněte na Vizualizace.

  4. V editoru vizualizací klikněte na Typ vizualizace a ověřte, že je vybraný wordový cloud .

  5. Ve sloupci Slova ověřte, že First Name je vybraná.

  6. V limitu četností klepněte na tlačítko 35.

    word cloud chart

  7. Klikněte na Uložit.

Krok 6: Uložení datového rámce do tabulky

Důležité

Pokud chcete datový rámec uložit v katalogu Unity, musíte mít CREATE oprávnění k tabulce v katalogu a schématu. Informace o oprávněních v katalogu Unity naleznete v tématu Oprávnění a zabezpečitelné objekty v Katalogu Unity a Správa oprávnění v Katalogu Unity a Spravovat oprávnění v Katalogu Unity.

  1. Zkopírujte a vložte následující kód do prázdné buňky poznámkového bloku. Tento kód nahradí mezeru v názvu sloupce. Speciální znaky, například mezery, nejsou povoleny v názvech sloupců. Tento kód používá metodu Apache Spark withColumnRenamed() .

    Python

    df = df.withColumnRenamed("First Name", "First_Name")
df.printSchema

    Scala

    val dfRenamedColumn = df.withColumnRenamed("First Name", "First_Name")
// when modifying a DataFrame in Scala, you must assign it to a new variable
dfRenamedColumn.printSchema()

    R

    df <- withColumnRenamed(df, "First Name", "First_Name")
printSchema(df)

  2. Zkopírujte a vložte následující kód do prázdné buňky poznámkového bloku. Tento kód uloží obsah datového rámce do tabulky v katalogu Unity pomocí proměnné názvu tabulky, kterou jste definovali na začátku tohoto článku.

    Python

    df.write.mode("overwrite").saveAsTable(f"{path_table}" + "." + f"{table_name}")

    Scala

    dfRenamedColumn.write.mode("overwrite").saveAsTable(s"${pathTable}.${tableName}")

    R

    saveAsTable(df, paste(path_table, ".", table_name), mode = "overwrite")

  3. Chcete-li ověřit, zda byla tabulka uložena, kliknutím na katalog na levém bočním panelu otevřete uživatelské rozhraní Průzkumníka katalogů. Otevřete katalog a pak schéma ověřte, že se zobrazí tabulka.

  4. Kliknutím na tabulku zobrazíte schéma tabulky na kartě Přehled .

  5. Kliknutím na Ukázková data zobrazíte z tabulky 100 řádků dat.

Import a vizualizace datových poznámkových bloků

K provedení kroků v tomto článku použijte jeden z následujících poznámkových bloků.

Python

Import dat ze souboru CSV pomocí Pythonu

Získat poznámkový blok

Scala

Import dat ze souboru CSV pomocí scaly

Získat poznámkový blok

R

Import dat ze souboru CSV pomocí R

Získat poznámkový blok

Další kroky

Další materiály