Rozbalení a čtení komprimovaných souborů ZIP

Pomocí příkazu Bash můžete unzip rozbalit komprimované soubory zip (.zip) nebo adresáře souborů. Magický příkaz Azure Databricks %sh umožňuje spuštění libovolného kódu Bash, včetně příkazu .

Apache Spark poskytuje nativní kodeky pro interakci s komprimovanými soubory Parquet. Většina souborů Parquet napsaných službou Azure Databricks končí na .snappy.parquet, což znamená, že používají kompresi snappy.

Stažení a rozbalení souboru

Slouží curl ke stažení komprimovaného souboru a následnému unzip rozbalení dat. Následující příklad používá komprimovaný soubor CSV stažený z internetu. Viz Stažení dat z internetu.

%sh curl https://resources.lendingclub.com/LoanStats3a.csv.zip --output /tmp/LoanStats3a.csv.zip
unzip /tmp/LoanStats3a.csv.zip

Přesuňte soubor na svazek

Teď přesuňte rozbalený soubor na svazek katalogu Unity:

%sh mv /tmp/LoanStats3a.csv /Volumes/my_catalog/my_schema/my_volume/LoanStats3a.csv

V tomto příkladu mají stažená data komentář v prvním řádku a záhlaví ve druhém. Teď, když jste přesunuli a rozbalili data, použijte standardní možnosti pro čtení souborů CSV, například:

df = spark.read.format("csv").option("skipRows", 1).option("header", True).load("/Volumes/my_catalog/my_schema/my_volume/LoanStats3a.csv")
display(df)