Adatkeretek és táblák használata az R-ben
Ez a cikk bemutatja, hogyan használható R-csomagok, például SparkR, sparklyr és dplyr R data.frames, Spark DataFrames és memóriabeli táblák használatára.
Vegye figyelembe, hogy a SparkR, a Sparklyr és a dplyr használatakor előfordulhat, hogy az összes csomaggal végrehajthat egy adott műveletet, és használhatja a legkényelmesebb csomagot. Lekérdezés futtatásához például meghívhat olyan függvényeket, mint SparkR::sqlaz , sparklyr::sdf_sqlés dplyr::selecta . Máskor előfordulhat, hogy egy műveletet csak egy vagy két csomaggal hajthat végre, és a választott művelet a használati forgatókönyvtől függ. A hívás sparklyr::sdf_quantile módja például kissé eltér a hívási dplyr::percentile_approxmódtól, annak ellenére, hogy mindkét függvény kvantitált.
Az SQL-t használhatja hídként a SparkR és a Sparklyr között. Használhatja például SparkR::sql a sparklyrrel létrehozott táblák lekérdezésére. A SparkR használatával létrehozott táblák lekérdezésére is használható sparklyr::sdf_sql . A dplyr kód pedig mindig le lesz fordítva az SQL-re a memóriában a futtatás előtt. Lásd még az API-együttműködés és az SQL Translation használatát.
SparkR, sparklyr és dplyr betöltése
A SparkR-, sparklyr- és dplyr-csomagok az Azure Databricks-fürtökre telepített Databricks Runtime-ban találhatók. Ezért nem kell meghívnia a szokásosat install.package , mielőtt elkezdené meghívni ezeket a csomagokat. Azonban ezeket a csomagokat először is be kell töltenie library . Egy Azure Databricks-munkaterület R-jegyzetfüzetéből például futtassa a következő kódot egy jegyzetfüzetcellában a SparkR, sparklyr és dplyr betöltéséhez:
library(SparkR)
library(sparklyr)
library(dplyr)
Csatlakozás sparklyr egy fürthöz
A sparklyr betöltése után meg kell hívnia sparklyr::spark_connect a fürthöz való csatlakozást a kapcsolati módszer megadásával databricks . Futtassa például a következő kódot egy jegyzetfüzetcellában a jegyzetfüzetet üzemeltető fürthöz való csatlakozáshoz:
sc <- spark_connect(method = "databricks")
Ezzel szemben egy Azure Databricks-jegyzetfüzet már létrehoz egy SparkSession fürtöt a SparkR-hez való használathoz, ezért nem kell meghívnia SparkR::sparkR.session , mielőtt elkezdené a SparkR hívását.
JSON-adatfájl feltöltése a munkaterületre
A cikkben szereplő számos példakód az Azure Databricks-munkaterület egy adott helyén található adatokon alapul, adott oszlopnevekkel és adattípusokkal. A példakód adatai egy GitHubról származó JSON-fájlból book.json származnak. A fájl lekérése és feltöltése a munkaterületre:
- Nyissa meg a books.json fájlt a GitHubon, és egy szövegszerkesztővel másolja a tartalmát egy, a helyi gépen valahol elnevezett
books.jsonfájlba. - Az Azure Databricks-munkaterület oldalsávjában kattintson a Katalógus elemre.
- Kattintson a Tábla létrehozása gombra.
- A Fájl feltöltése lapon helyezze a fájlt a
books.jsonhelyi gépről a Feltöltendő fájlok legördülő listára. Vagy kattintson ide a tallózáshoz, és keresse meg a fájlt abooks.jsonhelyi gépről.
Az Azure Databricks alapértelmezés szerint feltölti a helyi books.json fájlt a munkaterület DBFS-helyére az elérési úttal /FileStore/tables/books.json.
Ne kattintson a Create Table with UI vagy Create Table in Notebook (Táblázat létrehozása a jegyzetfüzetben) elemre. A cikkben szereplő példakódok a feltöltött books.json fájlban lévő adatokat használják ezen a DBFS-helyen.
JSON-adatok beolvasása DataFrame-be
A sparklyr::spark_read_json feltöltött JSON-fájl adatkeretbe való beolvasásához adja meg a kapcsolatot, a JSON-fájl elérési útját és az adatok belső táblaképének nevét. Ebben a példában meg kell adnia, hogy a book.json fájl több sort tartalmaz-e. Az oszlopok sémájának megadása nem kötelező. Ellenkező esetben a Sparklyr alapértelmezés szerint az oszlopok sémáját követi. Futtassa például a következő kódot egy jegyzetfüzetcellában a feltöltött JSON-fájl adatainak beolvasásához egy DataFrame nevű jsonDFadatkeretbe:
jsonDF <- spark_read_json(
sc = sc,
name = "jsonTable",
path = "/FileStore/tables/books.json",
options = list("multiLine" = TRUE),
columns = c(
author = "character",
country = "character",
imageLink = "character",
language = "character",
link = "character",
pages = "integer",
title = "character",
year = "integer"
)
)
DataFrame első néhány sorának nyomtatása
A DataFrame első sorait használhatja SparkR::head, SparkR::showvagy sparklyr::collect kinyomtathatja. Alapértelmezés szerint head az első hat sort nyomtatja ki alapértelmezés szerint. show és collect nyomtassa ki az első 10 sort. Futtassa például a következő kódot egy jegyzetfüzetcellában a DataFrame első jsonDFsorainak nyomtatásához:
head(jsonDF)
# Source: spark<?> [?? x 8]
# author country image…¹ langu…² link pages title year
# <chr> <chr> <chr> <chr> <chr> <int> <chr> <int>
# 1 Chinua Achebe Nigeria images… English "htt… 209 Thin… 1958
# 2 Hans Christian Andersen Denmark images… Danish "htt… 784 Fair… 1836
# 3 Dante Alighieri Italy images… Italian "htt… 928 The … 1315
# 4 Unknown Sumer and Akk… images… Akkadi… "htt… 160 The … -1700
# 5 Unknown Achaemenid Em… images… Hebrew "htt… 176 The … -600
# 6 Unknown India/Iran/Ir… images… Arabic "htt… 288 One … 1200
# … with abbreviated variable names ¹imageLink, ²language
show(jsonDF)
# Source: spark<jsonTable> [?? x 8]
# author country image…¹ langu…² link pages title year
# <chr> <chr> <chr> <chr> <chr> <int> <chr> <int>
# 1 Chinua Achebe Nigeria images… English "htt… 209 Thin… 1958
# 2 Hans Christian Andersen Denmark images… Danish "htt… 784 Fair… 1836
# 3 Dante Alighieri Italy images… Italian "htt… 928 The … 1315
# 4 Unknown Sumer and Ak… images… Akkadi… "htt… 160 The … -1700
# 5 Unknown Achaemenid E… images… Hebrew "htt… 176 The … -600
# 6 Unknown India/Iran/I… images… Arabic "htt… 288 One … 1200
# 7 Unknown Iceland images… Old No… "htt… 384 Njál… 1350
# 8 Jane Austen United Kingd… images… English "htt… 226 Prid… 1813
# 9 Honoré de Balzac France images… French "htt… 443 Le P… 1835
# 10 Samuel Beckett Republic of … images… French… "htt… 256 Moll… 1952
# … with more rows, and abbreviated variable names ¹imageLink, ²language
# ℹ Use `print(n = ...)` to see more rows
collect(jsonDF)
# A tibble: 100 × 8
# author country image…¹ langu…² link pages title year
# <chr> <chr> <chr> <chr> <chr> <int> <chr> <int>
# 1 Chinua Achebe Nigeria images… English "htt… 209 Thin… 1958
# 2 Hans Christian Andersen Denmark images… Danish "htt… 784 Fair… 1836
# 3 Dante Alighieri Italy images… Italian "htt… 928 The … 1315
# 4 Unknown Sumer and Ak… images… Akkadi… "htt… 160 The … -1700
# 5 Unknown Achaemenid E… images… Hebrew "htt… 176 The … -600
# 6 Unknown India/Iran/I… images… Arabic "htt… 288 One … 1200
# 7 Unknown Iceland images… Old No… "htt… 384 Njál… 1350
# 8 Jane Austen United Kingd… images… English "htt… 226 Prid… 1813
# 9 Honoré de Balzac France images… French "htt… 443 Le P… 1835
# 10 Samuel Beckett Republic of … images… French… "htt… 256 Moll… 1952
# … with 90 more rows, and abbreviated variable names ¹imageLink, ²language
# ℹ Use `print(n = ...)` to see more rows
SQL-lekérdezések futtatása, írás és olvasás táblából
A dplyr függvényekkel SQL-lekérdezéseket futtathat DataFrame-en. Futtassa például a következő kódot egy jegyzetfüzetcellában a használathoz dplyr::group_by , és dployr::count a számokat szerző szerint lekérheti a névvel ellátott jsonDFDataFrame-ből. dplyr::desc Az dplyr::arrange eredményt csökkenő sorrendbe rendezheti a számok alapján. Ezután alapértelmezés szerint nyomtassa ki az első 10 sort.
group_by(jsonDF, author) %>%
count() %>%
arrange(desc(n))
# Source: spark<?> [?? x 2]
# Ordered by: desc(n)
# author n
# <chr> <dbl>
# 1 Fyodor Dostoevsky 4
# 2 Unknown 4
# 3 Leo Tolstoy 3
# 4 Franz Kafka 3
# 5 William Shakespeare 3
# 6 William Faulkner 2
# 7 Gustave Flaubert 2
# 8 Homer 2
# 9 Gabriel García Márquez 2
# 10 Thomas Mann 2
# … with more rows
# ℹ Use `print(n = ...)` to see more rows
Ezután sparklyr::spark_write_table az eredményt egy Azure Databricks-táblába írhatja. Futtassa például a következő kódot egy jegyzetfüzetcellában a lekérdezés újrafuttatásához, majd írja az eredményt egy nevű táblába json_books_agg:
group_by(jsonDF, author) %>%
count() %>%
arrange(desc(n)) %>%
spark_write_table(
name = "json_books_agg",
mode = "overwrite"
)
A tábla létrehozásának ellenőrzéséhez használhatja sparklyr::sdf_sql a tábla adatainak megjelenítését SparkR::showDF is. Futtassa például a következő kódot egy jegyzetfüzetcellában a tábla DataFrame-be való lekérdezéséhez, majd sparklyr::collect alapértelmezés szerint a DataFrame első 10 sorának nyomtatásához:
collect(sdf_sql(sc, "SELECT * FROM json_books_agg"))
# A tibble: 82 × 2
# author n
# <chr> <dbl>
# 1 Fyodor Dostoevsky 4
# 2 Unknown 4
# 3 Leo Tolstoy 3
# 4 Franz Kafka 3
# 5 William Shakespeare 3
# 6 William Faulkner 2
# 7 Homer 2
# 8 Gustave Flaubert 2
# 9 Gabriel García Márquez 2
# 10 Thomas Mann 2
# … with 72 more rows
# ℹ Use `print(n = ...)` to see more rows
Használhat hasonlót is sparklyr::spark_read_table . Futtassa például a következő kódot egy jegyzetfüzetcellában a DataFrame-be elnevezett jsonDF előző DataFrame lekérdezéséhez, majd sparklyr::collect alapértelmezés szerint a DataFrame első 10 sorának nyomtatásához:
fromTable <- spark_read_table(
sc = sc,
name = "json_books_agg"
)
collect(fromTable)
# A tibble: 82 × 2
# author n
# <chr> <dbl>
# 1 Fyodor Dostoevsky 4
# 2 Unknown 4
# 3 Leo Tolstoy 3
# 4 Franz Kafka 3
# 5 William Shakespeare 3
# 6 William Faulkner 2
# 7 Homer 2
# 8 Gustave Flaubert 2
# 9 Gabriel García Márquez 2
# 10 Thomas Mann 2
# … with 72 more rows
# ℹ Use `print(n = ...)` to see more rows
Oszlopok és számítási oszlopértékek hozzáadása DataFrame-ben
A dplyr függvényekkel oszlopokat adhat hozzá a DataFrame-ekhez és kiszámíthatja az oszlopok értékeit.
Futtassa például a következő kódot egy jegyzetfüzetcellában a DataFrame névvel ellátott jsonDFtartalmának lekéréséhez. Egy elnevezett todayoszlop hozzáadására használhatódplyr::mutate, és töltse ki ezt az új oszlopot az aktuális időbélyeggel. Ezután írja be ezeket a tartalmakat egy új, elnevezett withDate DataFrame-be, és alapértelmezés szerint az új DataFrame első 10 sorának nyomtatására használható dplyr::collect .
Megjegyzés:
dplyr::mutate csak olyan argumentumokat fogad el, amelyek megfelelnek a Hive beépített függvényeinek (más néven UDF-eknek) és a beépített aggregátumfüggvényeknek (más néven UDAF-eknek). Általános információkért lásd a Hive Functionst. A jelen szakaszban szereplő dátumfüggvényekről a Dátumfüggvények című témakörben olvashat.
withDate <- jsonDF %>%
mutate(today = current_timestamp())
collect(withDate)
# A tibble: 100 × 9
# author country image…¹ langu…² link pages title year today
# <chr> <chr> <chr> <chr> <chr> <int> <chr> <int> <dttm>
# 1 Chinua A… Nigeria images… English "htt… 209 Thin… 1958 2022-09-27 21:32:59
# 2 Hans Chr… Denmark images… Danish "htt… 784 Fair… 1836 2022-09-27 21:32:59
# 3 Dante Al… Italy images… Italian "htt… 928 The … 1315 2022-09-27 21:32:59
# 4 Unknown Sumer … images… Akkadi… "htt… 160 The … -1700 2022-09-27 21:32:59
# 5 Unknown Achaem… images… Hebrew "htt… 176 The … -600 2022-09-27 21:32:59
# 6 Unknown India/… images… Arabic "htt… 288 One … 1200 2022-09-27 21:32:59
# 7 Unknown Iceland images… Old No… "htt… 384 Njál… 1350 2022-09-27 21:32:59
# 8 Jane Aus… United… images… English "htt… 226 Prid… 1813 2022-09-27 21:32:59
# 9 Honoré d… France images… French "htt… 443 Le P… 1835 2022-09-27 21:32:59
# 10 Samuel B… Republ… images… French… "htt… 256 Moll… 1952 2022-09-27 21:32:59
# … with 90 more rows, and abbreviated variable names ¹imageLink, ²language
# ℹ Use `print(n = ...)` to see more rows
dplyr::mutate Most további két oszlopot adhat hozzá a withDate DataFrame tartalmához. Az új month és year az oszlopok az oszlopból származó today numerikus hónapot és évet tartalmazzák. Ezután írja be ezeket a tartalmakat egy új DataFrame nevű withMMyyyyadatkeretbe, és alapértelmezés szerint az új DataFrame első tíz sorának , titlemonth és year oszlopainak nyomtatásához dplyr::collectauthorhasználja dplyr::select a következőt:
withMMyyyy <- withDate %>%
mutate(month = month(today),
year = year(today))
collect(select(withMMyyyy, c("author", "title", "month", "year")))
# A tibble: 100 × 4
# author title month year
# <chr> <chr> <int> <int>
# 1 Chinua Achebe Things Fall Apart 9 2022
# 2 Hans Christian Andersen Fairy tales 9 2022
# 3 Dante Alighieri The Divine Comedy 9 2022
# 4 Unknown The Epic Of Gilgamesh 9 2022
# 5 Unknown The Book Of Job 9 2022
# 6 Unknown One Thousand and One Nights 9 2022
# 7 Unknown Njál's Saga 9 2022
# 8 Jane Austen Pride and Prejudice 9 2022
# 9 Honoré de Balzac Le Père Goriot 9 2022
# 10 Samuel Beckett Molloy, Malone Dies, The Unnamable, the … 9 2022
# … with 90 more rows
# ℹ Use `print(n = ...)` to see more rows
dplyr::mutate Most további két oszlopot adhat hozzá a withMMyyyy DataFrame tartalmához. Az új formatted_date oszlopok az yyyy-MM-dd oszlopból származó today részt, az új day oszlopban pedig az új formatted_date oszlop numerikus napját tartalmazzák. Ezután írja be ezeket a tartalmakat egy új DataFrame nevű withUnixTimestampadatkeretbe, és alapértelmezés szerint az új DataFrame első tíz sorának , formatted_dateés day oszlopainak nyomtatásához dplyr::collecttitlehasználja dplyr::select a következőt:
withUnixTimestamp <- withMMyyyy %>%
mutate(formatted_date = date_format(today, "yyyy-MM-dd"),
day = dayofmonth(formatted_date))
collect(select(withUnixTimestamp, c("title", "formatted_date", "day")))
# A tibble: 100 × 3
# title formatted_date day
# <chr> <chr> <int>
# 1 Things Fall Apart 2022-09-27 27
# 2 Fairy tales 2022-09-27 27
# 3 The Divine Comedy 2022-09-27 27
# 4 The Epic Of Gilgamesh 2022-09-27 27
# 5 The Book Of Job 2022-09-27 27
# 6 One Thousand and One Nights 2022-09-27 27
# 7 Njál's Saga 2022-09-27 27
# 8 Pride and Prejudice 2022-09-27 27
# 9 Le Père Goriot 2022-09-27 27
# 10 Molloy, Malone Dies, The Unnamable, the trilogy 2022-09-27 27
# … with 90 more rows
# ℹ Use `print(n = ...)` to see more rows
Ideiglenes nézet létrehozása
Létrehozhat névvel ellátott ideiglenes nézeteket a memóriában, amelyek meglévő DataFrame-eken alapulnak. Futtassa például a következő kódot egy jegyzetfüzetcellában SparkR::createOrReplaceTempView a korábbi DataFrame tartalmának lekéréséhez jsonTable , és hozzon létre egy ideiglenes nézetet a névvel timestampTable. sparklyr::spark_read_table Ezután olvassa el az ideiglenes nézet tartalmát. Alapértelmezés szerint az ideiglenes tábla első 10 sorának nyomtatására használható sparklyr::collect :
createOrReplaceTempView(withTimestampDF, viewName = "timestampTable")
spark_read_table(
sc = sc,
name = "timestampTable"
) %>% collect()
# A tibble: 100 × 10
# author country image…¹ langu…² link pages title year today
# <chr> <chr> <chr> <chr> <chr> <int> <chr> <int> <dttm>
# 1 Chinua A… Nigeria images… English "htt… 209 Thin… 1958 2022-09-27 21:11:56
# 2 Hans Chr… Denmark images… Danish "htt… 784 Fair… 1836 2022-09-27 21:11:56
# 3 Dante Al… Italy images… Italian "htt… 928 The … 1315 2022-09-27 21:11:56
# 4 Unknown Sumer … images… Akkadi… "htt… 160 The … -1700 2022-09-27 21:11:56
# 5 Unknown Achaem… images… Hebrew "htt… 176 The … -600 2022-09-27 21:11:56
# 6 Unknown India/… images… Arabic "htt… 288 One … 1200 2022-09-27 21:11:56
# 7 Unknown Iceland images… Old No… "htt… 384 Njál… 1350 2022-09-27 21:11:56
# 8 Jane Aus… United… images… English "htt… 226 Prid… 1813 2022-09-27 21:11:56
# 9 Honoré d… France images… French "htt… 443 Le P… 1835 2022-09-27 21:11:56
# 10 Samuel B… Republ… images… French… "htt… 256 Moll… 1952 2022-09-27 21:11:56
# … with 90 more rows, 1 more variable: month <chr>, and abbreviated variable
# names ¹imageLink, ²language
# ℹ Use `print(n = ...)` to see more rows, and `colnames()` to see all variable names
Statisztikai elemzés végrehajtása DataFrame-en
A sparklyr és a dplyr statisztikai elemzésekhez is használható.
Hozzon létre például egy DataFrame-et a statisztikák futtatásához. Ehhez futtassa a következő kódot egy jegyzetfüzetcellában sparklyr::sdf_copy_to az R-be beépített adathalmaz tartalmának iris írásához egy DataFrame nevű irisadatkeretbe. Alapértelmezés szerint az ideiglenes tábla első 10 sorának nyomtatására használható sparklyr::sdf_collect :
irisDF <- sdf_copy_to(
sc = sc,
x = iris,
name = "iris",
overwrite = TRUE
)
sdf_collect(irisDF, "row-wise")
# A tibble: 150 × 5
# Sepal_Length Sepal_Width Petal_Length Petal_Width Species
# <dbl> <dbl> <dbl> <dbl> <chr>
# 1 5.1 3.5 1.4 0.2 setosa
# 2 4.9 3 1.4 0.2 setosa
# 3 4.7 3.2 1.3 0.2 setosa
# 4 4.6 3.1 1.5 0.2 setosa
# 5 5 3.6 1.4 0.2 setosa
# 6 5.4 3.9 1.7 0.4 setosa
# 7 4.6 3.4 1.4 0.3 setosa
# 8 5 3.4 1.5 0.2 setosa
# 9 4.4 2.9 1.4 0.2 setosa
# 10 4.9 3.1 1.5 0.1 setosa
# … with 140 more rows
# ℹ Use `print(n = ...)` to see more rows
Most a sorok oszlop szerinti csoportosítására Species használhatódplyr::group_by. Az dplyr::summarize összegző statisztikákat az oszlop 25., 50., 75. és 100. kvantititásával Sepal_Length is kiszámíthatjaSpecies.dplyr::percentile_approx Nyomtassa sparklyr::collect ki az eredményeket:
Megjegyzés:
dplyr::summarize csak olyan argumentumokat fogad el, amelyek megfelelnek a Hive beépített függvényeinek (más néven UDF-eknek) és a beépített aggregátumfüggvényeknek (más néven UDAF-eknek). Általános információkért lásd a Hive Functionst. További információpercentile_approx: Beépített összesítő függvények (UDAF).
quantileDF <- irisDF %>%
group_by(Species) %>%
summarize(
quantile_25th = percentile_approx(
Sepal_Length,
0.25
),
quantile_50th = percentile_approx(
Sepal_Length,
0.50
),
quantile_75th = percentile_approx(
Sepal_Length,
0.75
),
quantile_100th = percentile_approx(
Sepal_Length,
1.0
)
)
collect(quantileDF)
# A tibble: 3 × 5
# Species quantile_25th quantile_50th quantile_75th quantile_100th
# <chr> <dbl> <dbl> <dbl> <dbl>
# 1 virginica 6.2 6.5 6.9 7.9
# 2 versicolor 5.6 5.9 6.3 7
# 3 setosa 4.8 5 5.2 5.8
Hasonló eredmények kiszámíthatók például a következő használatával sparklyr::sdf_quantile:
print(sdf_quantile(
x = irisDF %>%
filter(Species == "virginica"),
column = "Sepal_Length",
probabilities = c(0.25, 0.5, 0.75, 1.0)
))
# 25% 50% 75% 100%
# 6.2 6.5 6.9 7.9