Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Deze pagina bevat een lijst met PySpark SQL-functies die beschikbaar zijn op Databricks met koppelingen naar bijbehorende referentiedocumentatie.
Normale functies
| Functie | Description |
|---|---|
broadcast(df) |
Hiermee wordt een DataFrame gemarkeerd als klein genoeg voor gebruik in broadcast-joins. |
call_function(funcName, *cols) |
Een SQL-functie aanroepen. |
col(col) |
Retourneert een kolom op basis van de opgegeven kolomnaam. |
column(col) |
Retourneert een kolom op basis van de opgegeven kolomnaam. |
lit(col) |
Hiermee maakt u een kolom met letterlijke waarde. |
expr(str) |
Parseert de expressietekenreeks in de kolom die deze vertegenwoordigt |
Voorwaardelijke functies
| Functie | Description |
|---|---|
coalesce(*cols) |
Retourneert de eerste kolom die niet null is. |
ifnull(col1, col2) |
Geeft kolom2 terug als kolom1 null is, anders kolom1. |
nanvl(col1, col2) |
Retourneert col1 als dit niet NaN is, of col2 als col1 NaN is. |
nullif(col1, col2) |
Retourneert null als col1 gelijk is aan col2, anders col1. |
nullifzero(col) |
Retourneert null als de kolom gelijk is aan nul of een andere kolom. |
nvl(col1, col2) |
Geeft kolom2 terug als kolom1 null is, anders kolom1. |
nvl2(col1, col2, col3) |
Retourneert col2 als col1 niet null is of col3 op een andere manier. |
when(condition, value) |
Evalueert een lijst met voorwaarden en retourneert een van meerdere mogelijke resultaatexpressies. |
zeroifnull(col) |
Retourneert nul als de kolom null is of een andere kolom. |
Patroonkoppelingsfuncties
| Functie | Description |
|---|---|
equal_null(col1, col2) |
Retourneert hetzelfde resultaat als de operator EQUAL(=) voor niet-null-operanden, maar retourneert waar als beide null zijn, onwaar als een van beide null is. |
ilike(str, pattern[, escapeChar]) |
Retourneert true als str overeenkomt met patroon zonder hoofdlettergevoeligheid te zijn, null indien een van de argumenten null is, anders false. |
isnan(col) |
Een expressie die waar retourneert als de kolom NaN is. |
isnotnull(col) |
Retourneert true indien de kolom niet null is, of anders false. |
isnull(col) |
Een expressie die waar retourneert als de kolom null is. |
like(str, pattern[, escapeChar]) |
Retourneert true als str overeenkomt met het patroon met escape, null als een van de argumenten null is, anders false. |
regexp(str, regexp) |
Retourneert true als str overeenkomt met de Java regex regexp, of anders false. |
regexp_like(str, regexp) |
Retourneert true als str overeenkomt met de Java regex regexp, of anders false. |
rlike(str, regexp) |
Retourneert true als str overeenkomt met de Java regex regexp, of anders false. |
Sorteerfuncties
| Functie | Description |
|---|---|
asc(col) |
Retourneert een sorteerexpressie voor de doelkolom in oplopende volgorde. |
asc_nulls_first(col) |
Retourneert een sorteerexpressie op basis van de oplopende volgorde van de opgegeven kolomnaam, waarbij null-waarden komen vóór niet-null-waarden. |
asc_nulls_last(col) |
Retourneert een sorteerexpressie op basis van de oplopende volgorde van de opgegeven kolomnaam en null-waarden worden weergegeven na niet-null-waarden. |
desc(col) |
Retourneert een sorteerexpressie voor de doelkolom in aflopende volgorde. |
desc_nulls_first(col) |
Retourneert een sorteerexpressie op basis van de aflopende volgorde van de opgegeven kolomnaam en null-waarden worden weergegeven vóór niet-null-waarden. |
desc_nulls_last(col) |
Retourneert een sorteerexpressie op basis van de aflopende volgorde van de opgegeven kolomnaam en null-waarden worden weergegeven na niet-null-waarden. |
Wiskundige functies
| Functie | Description |
|---|---|
abs(col) |
Berekent de absolute waarde van de opgegeven kolom of expressie. |
acos(col) |
Berekent de inverse cosinus (ook wel arccosinus genoemd) van de opgegeven kolom of expressie. |
acosh(col) |
Berekent de inverse hyperbolische cosinus (ook wel bekend als arcosh) van de opgegeven kolom of expressie. |
asin(col) |
Berekent de inverse sinus van de invoerkolom. |
asinh(col) |
Berekent de inverse sinus hyperbolicus van de invoerkolom. |
atan(col) |
De inverse tangens van de invoerkolom berekenen. |
atan2(col1, col2) |
De hoek in radialen berekenen tussen de positieve x-as van een vlak en het punt dat door de coördinaten wordt opgegeven |
atanh(col) |
Berekent inverse hyperbolische tangens van de invoerkolom. |
bin(col) |
Retourneert de tekenreeksweergave van de binaire waarde van de opgegeven kolom. |
bround(col[, scale]) |
Rond de opgegeven waarde af tot op het gewenste aantal decimalen met behulp van de HALF_EVEN afrondingsmodus als de schaal >= 0 is, of op het gehele deel wanneer de schaal < 0 is. |
cbrt(col) |
Berekent de kubushoofdmap van de opgegeven waarde. |
ceil(col[, scale]) |
Berekent het plafond van de opgegeven waarde. |
ceiling(col[, scale]) |
Berekent het plafond van de opgegeven waarde. |
conv(col, fromBase, toBase) |
Converteer een getal in een kolom met tekenreeksen van het ene talstelsel naar het andere. |
cos(col) |
Berekent de cosinus van de invoerkolom. |
cosh(col) |
Berekent de cosinus hyperbolicus van de invoerkolom. |
cot(col) |
Berekent de cotangens van de invoerkolom. |
csc(col) |
Berekent de cosecans van de invoerkolom. |
degrees(col) |
Converteert een hoek die in radialen wordt gemeten naar een ongeveer equivalente hoek gemeten in graden. |
e() |
Retourneert het getal van Euler. |
exp(col) |
Berekent de exponentiële waarde van de opgegeven waarde. |
expm1(col) |
Berekent de exponent van de gegeven waarde min één. |
factorial(col) |
Berekent de faculteit van de opgegeven waarde. |
floor(col[, scale]) |
Berekent de vloer van de opgegeven waarde. |
greatest(*cols) |
Retourneert de grootste waarde van de lijst met kolomnamen, waarbij null-waarden worden overgeslagen. |
hex(col) |
Berekent de hexwaarde van de opgegeven kolom, die StringType, BinaryType, IntegerType of LongType kan zijn. |
hypot(col1, col2) |
Implementeert sqrt(a^2 + b^2) zonder dat er een tussenliggende overloop of onderloop optreedt. |
least(*cols) |
Retourneert de minste waarde van de lijst met kolomnamen, waarbij null-waarden worden overgeslagen. |
ln(col) |
Retourneert de natuurlijke logaritme van het argument. |
log(arg1[, arg2]) |
Retourneert de logaritme van het tweede argument met als basis het eerste argument. |
log10(col) |
Berekent de logaritme van de opgegeven waarde in basis 10. |
log1p(col) |
Berekent de natuurlijke logaritme van de opgegeven waarde plus één. |
log2(col) |
Retourneert de logaritme met grondtal 2 van het argument. |
negate(col) |
Retourneert de negatieve waarde. |
negative(col) |
Retourneert de negatieve waarde. |
pi() |
Retourneert Pi. |
pmod(dividend, divisor) |
Berekent de positieve waarde van dividend mod deler. |
positive(col) |
Retourneert de waarde. |
pow(col1, col2) |
Retourneert de waarde van het eerste argument dat is verheven tot de macht van het tweede argument. |
power(col1, col2) |
Retourneert de waarde van het eerste argument dat is verheven tot de macht van het tweede argument. |
radians(col) |
Converteert een hoek gemeten in graden naar een ongeveer equivalente hoek gemeten in radialen. |
rand([seed]) |
Genereert een willekeurige kolom met onafhankelijke en identiek verdeelde (i.i.d.) steekproeven die uniform zijn verdeeld in [0.0, 1.0). |
randn([seed]) |
Genereert een willekeurige kolom met onafhankelijke en identiek verdeelde (i.i.d.) steekproeven uit de normale standaardverdeling. |
rint(col) |
Retourneert de dubbele waarde die het dichtst bij het argument ligt en gelijk is aan een wiskundig geheel getal. |
round(col[, scale]) |
Rond de opgegeven waarde af om decimalen te schalen met behulp van HALF_UP afrondingsmodus als schaal >= 0 of in integraal deel bij schaal < 0. |
sec(col) |
Berekent de secans van de invoerkolom. |
sign(col) |
Berekent het teken van de opgegeven waarde. |
signum(col) |
Berekent het teken van de opgegeven waarde. |
sin(col) |
Berekent de sinus van de invoerkolom. |
sinh(col) |
Berekent de sinus hyperbolicus van de invoerkolom. |
sqrt(col) |
Berekent de vierkantswortel van de opgegeven floatwaarde. |
tan(col) |
Berekent de tangens van de invoerkolom. |
tanh(col) |
Berekent de hyperbolische tangens van de invoerkolom. |
try_add(left, right) |
Retourneert de som van links en rechts en het resultaat is null bij overloop. |
try_divide(left, right) |
Geeft als resultaat dividend/deler. |
try_mod(left, right) |
Geeft de rest van de deling na dividend/deler terug. |
try_multiply(left, right) |
Retourneert links vermenigvuldigd met rechts en het resultaat is null bij overloop. |
try_subtract(left, right) |
Retourneert links minus rechts en het resultaat is null bij overloop. |
unhex(col) |
Inverse van hex. |
uniform(min, max[, seed]) |
Retourneert een willekeurige waarde met onafhankelijke en identiek verdeelde waarden (i.i.d.) met het opgegeven bereik van getallen. |
width_bucket(v, min, max, numBucket) |
Retourneert het bucketnummer waarin de waarde van deze expressie zou vallen nadat deze is geëvalueerd. |
Stringfuncties
| Functie | Description |
|---|---|
ascii(col) |
Berekent de numerieke waarde van het eerste teken van de kolom. |
base64(col) |
Berekent de BASE64-codering van een binaire kolom en retourneert deze als een tekenreekskolom. |
bit_length(col) |
Berekent de bitlengte voor de opgegeven tekenreeks-kolom. |
btrim(str[, trim]) |
Verwijder de voorloop- en vervolgspaties van str. |
char(col) |
Retourneert het ASCII-teken dat overeenkomt met de binaire waarde van col. |
char_length(str) |
Retourneert de tekenlengte van tekenreeksgegevens of het aantal bytes aan binaire gegevens. |
character_length(str) |
Retourneert de tekenlengte van tekenreeksgegevens of het aantal bytes aan binaire gegevens. |
collate(col, collation) |
Hiermee markeert u een bepaalde kolom met een opgegeven collatie. |
collation(col) |
Retourneert de sorteringsnaam van een bepaalde kolom. |
concat_ws(sep, *cols) |
Voegt meerdere invoertekenreekskolommen samen in één tekenreekskolom, met behulp van het opgegeven scheidingsteken. |
contains(left, right) |
Retourneert een Booleaanse waarde. |
decode(col, charset) |
Berekent het eerste argument in een tekenreeks uit een binair bestand met behulp van de opgegeven tekenset (een van US-ASCII, ISO-8859-1, UTF-8, UTF-16BE, UTF-16LE, , , UTF-16). UTF-32 |
elt(*inputs) |
Retourneert de n-de invoer, bijvoorbeeld invoer2 wanneer n gelijk is aan 2. |
encode(col, charset) |
Berekent het eerste argument in een binaire vorm vanuit een tekenreeks met behulp van de opgegeven tekenset (een van US-ASCII, ISO-8859-1, UTF-8, UTF-16BE, UTF-16LE, UTF-16, UTF-32). |
endswith(str, suffix) |
Retourneert een Booleaanse waarde. |
find_in_set(str, str_array) |
Retourneert de index (op basis van 1) van de opgegeven tekenreeks (str) in de door komma's gescheiden lijst (strArray). |
format_number(col, d) |
Hiermee wordt het getal X opgemaakt in een notatie zoals #,--#,--#.--, afgerond op d decimalen met HALF_EVEN ronde modus en wordt het resultaat geretourneerd als een tekenreeks. |
format_string(format, *cols) |
Hiermee worden de argumenten opgemaakt in de printf-stijl en wordt het resultaat geretourneerd als een tekenreeks kolom. |
initcap(col) |
Vertaal de eerste letter van elk woord naar een hoofdletter in de zin. |
instr(str, substr) |
Zoek de positie van de eerste voorkoming van de deelreekskolom in de opgegeven tekenreeks. |
is_valid_utf8(str) |
Retourneert true als de invoer een geldige UTF-8-tekenreeks is, anders retourneert het false. |
lcase(str) |
Retourneert str waarbij alle tekens zijn gewijzigd in kleine letters. |
left(str, len) |
Retourneert de meest linkse _len_ (len kan een tekenreeks zijn) tekens uit de tekenreeks _str_, als _len_ kleiner of gelijk is aan 0 dan is het resultaat een lege tekenreeks. |
length(col) |
Berekent de tekenlengte van tekenreeksgegevens of het aantal bytes aan binaire gegevens. |
levenshtein(left, right[, threshold]) |
Berekent de Levenshtein-afstand van de twee opgegeven tekenreeksen. |
locate(substr, str[, pos]) |
Zoek de positie van het eerste voorkomen van de subtekenreeks in een tekenreeks kolom, na positie. |
lower(col) |
Converteert een tekenreeksexpressie naar kleine letters. |
lpad(col, len, pad) |
Vul de stringkolom aan de linkerkant op tot een breedte van lengte met pad. |
ltrim(col[, trim]) |
Trim de spaties vanaf het linkereinde voor de opgegeven tekenreekswaarde. |
make_valid_utf8(str) |
Retourneert een nieuwe tekenreeks waarin alle ongeldige UTF-8-bytereeksen, indien aanwezig, worden vervangen door het Unicode-vervangende teken (U+FFFD). |
mask(col[, upperChar, lowerChar, digitChar, ...]) |
Maskert de opgegeven tekenreekswaarde. |
octet_length(col) |
Berekent de bytelengte voor de opgegeven stringkolom. |
overlay(src, replace, pos[, len]) |
Overschrijf het opgegeven gedeelte van src met vervanging, beginnend vanaf bytepositie van src en voortgaand voor len bytes. |
position(substr, str[, start]) |
Retourneert de positie van het eerste voorkomen van de subtekenreeks in str vanaf de startpositie. |
printf(format, *cols) |
Hiermee worden de argumenten opgemaakt in de printf-stijl en wordt het resultaat geretourneerd als een tekenreeks kolom. |
randstr(length[, seed]) |
Retourneert een tekenreeks van de opgegeven lengte waarvan de tekens willekeurig worden gekozen uit de volgende groep tekens: 0-9, a-z, A-Z. |
regexp_count(str, regexp) |
Retourneert een telling van het aantal keren dat het Java regex-patroon regexp overeenkomt met de tekenreeks str. |
regexp_extract(str, pattern, idx) |
Extraheer een specifieke groep die overeenkomt met de Java regex regexp, uit de opgegeven tekenreekskolom. |
regexp_extract_all(str, regexp[, idx]) |
Extraheer alle tekenreeksen in de str die overeenkomen met de Java regex regexp en die overeenkomen met de regex-groepsindex. |
regexp_instr(str, regexp[, idx]) |
Retourneert de positie van de eerste subtekenreeks in de str die overeenkomt met de Java regex regexp en die overeenkomt met de regex-groepsindex. |
regexp_replace(string, pattern, replacement) |
Vervang alle subtekenreeksen van de opgegeven tekenreekswaarde die overeenkomen met regexp door vervanging. |
regexp_substr(str, regexp) |
Retourneert de eerste subtekenreeks die overeenkomt met de Java regex regexp binnen de tekenreeksstr. |
repeat(col, n) |
Herhaalt een tekenreekskolom n keer en geeft het terug als een nieuwe tekenreekskolom. |
replace(src, search[, replace]) |
Vervangt alle voorkomens van zoekopdrachten door vervangwaarden. |
right(str, len) |
Retourneert de meest rechtse len (len kan tekenreeks type zijn) tekens uit de tekenreeks str, als de len kleiner of gelijk is aan 0, dan is het resultaat een lege tekenreeks. |
rpad(col, len, pad) |
Rechtsvul de stringkolom tot een breedte van len met opvulling. |
rtrim(col[, trim]) |
Trim de spaties vanaf het rechtereinde voor de opgegeven tekenreekswaarde. |
sentences(string[, language, country]) |
Splitst een tekenreeks in matrices van zinnen, waarbij elke zin een matrix met woorden is. |
soundex(col) |
Geeft de SoundEx-codering voor een tekenreeks terug. |
split(str, pattern[, limit]) |
Splitst str rond overeenkomsten van het opgegeven patroon. |
split_part(src, delimiter, partNum) |
Splits str door scheidingsteken en retourneer aangevraagd deel van de splitsing (op basis van 1). |
startswith(str, prefix) |
Retourneert een Booleaanse waarde. |
substr(str, pos[, len]) |
Retourneert de subtekenreeks van str die begint bij pos en een lengte heeft, of het segment van de byte-reeks die begint bij pos en lengte heeft. |
substring(str, pos, len) |
De subtekenreeks begint bij pos en is van lengte len wanneer str van het type String is, of retourneert het deel van de byte-array dat bij pos begint en lengte len heeft wanneer str van het type Binary is. |
substring_index(str, delim, count) |
Retourneert de subtekenreeks van de tekenreeks str vóór het getelde aantal keren van de scheidingsteken delim. |
to_binary(col[, format]) |
Converteert de invoer col naar een binaire waarde op basis van de opgegeven indeling. |
to_char(col, format) |
Converteer col naar een tekenreeks op basis van de indeling. |
to_number(col, format) |
Converteer string 'col' naar een getal op basis van het stringformaat 'format'. |
to_varchar(col, format) |
Converteer col naar een tekenreeks op basis van de indeling. |
translate(srcCol, matching, replace) |
Vertaal een willekeurig teken in de srcCol door een teken dat overeenkomt. |
trim(col[, trim]) |
Trim de spaties van beide uiteinden van de opgegeven kolom met tekenreeksen. |
try_to_binary(col[, format]) |
Probeer de to_binary bewerking uit te voeren, maar retourneer een NULL-waarde in plaats van een fout op te geven als de conversie niet kan worden uitgevoerd. |
try_to_number(col, format) |
Een tekenreeks col converteren naar een getal op basis van de tekenreeksindeling format. |
try_validate_utf8(str) |
Retourneert de invoerwaarde als deze overeenkomt met een geldige UTF-8-tekenreeks, of anders NULL. |
ucase(str) |
Retourneert str waarbij alle tekens zijn gewijzigd in hoofdletters. |
unbase64(col) |
Decodeert een BASE64-gecodeerde tekenreeks en retourneert deze als een binaire kolom. |
upper(col) |
Converteert een tekenreeksexpressie naar hoofdletters. |
validate_utf8(str) |
Retourneert de invoerwaarde als deze overeenkomt met een geldige UTF-8-tekenreeks, of anders een fout geeft. |
Bitsgewijze functies
| Functie | Description |
|---|---|
bit_count(col) |
Retourneert het aantal bits dat in het argument expr is ingesteld als een niet-ondertekend 64-bits geheel getal of NULL als het argument NULL is. |
bit_get(col, pos) |
Retourneert de waarde van de bit (0 of 1) op de opgegeven positie. |
bitwise_not(col) |
Berekent de bitsgewijze NOT. |
getbit(col, pos) |
Retourneert de waarde van de bit (0 of 1) op de opgegeven positie. |
shiftleft(col, numBits) |
De opgegeven waarde numBits naar links verplaatsen. |
shiftright(col, numBits) |
(Ondertekend) verschuift de opgegeven waarde numBits rechts. |
shiftrightunsigned(col, numBits) |
Niet-ondertekende verschuiving van de opgegeven waarde numBits rechts. |
Datum-/tijdfuncties
| Functie | Description |
|---|---|
add_months(start, months) |
Retourneert de datum die een aantal maanden na de start ligt. |
convert_timezone(sourceTz, targetTz, sourceTs) |
Converteert de tijdstempel sourceTs zonder tijdzone van de tijdzone sourceTz naar targetTz. |
curdate() |
Retourneert de huidige datum aan het begin van de query-evaluatie als een DateType-kolom. |
current_date() |
Retourneert de huidige datum aan het begin van de query-evaluatie als een DateType-kolom. |
current_timestamp() |
Retourneert de huidige tijdstempel aan het begin van de query-evaluatie als een timestampType-kolom. |
current_timezone() |
Retourneert de lokale tijdzone van de huidige sessie. |
date_add(start, days) |
Retourneert de datum die een aantal dagen na de startdatum is. |
date_diff(end, start) |
Retourneert het aantal dagen van begin tot eind. |
date_format(date, format) |
Converteert een datum/tijdstempel/tekenreeks naar een waarde van een tekenreeks in de notatie die is opgegeven door de datumnotatie die door het tweede argument is opgegeven. |
date_from_unix_date(days) |
Maak een datum op basis van het aantal dagen sinds 1970-01-01. |
date_part(field, source) |
Extraheert een deel van de datum/tijdstempel of intervalbron. |
date_sub(start, days) |
Retourneert de datum die een aantal dagen vóór de start valt. |
date_trunc(format, timestamp) |
Retourneert een tijdstempel, afgekapt tot de eenheid die is gespecificeerd door het formaat. |
dateadd(start, days) |
Retourneert de datum die een aantal dagen na de startdatum is. |
datediff(end, start) |
Retourneert het aantal dagen van begin tot eind. |
datepart(field, source) |
Extraheert een deel van de datum/tijdstempel of intervalbron. |
day(col) |
Pak de dag van de maand van een bepaalde datum/tijdstempel uit als geheel getal. |
dayname(col) |
Retourneert de drieletterige afkorting van de dagnaam van de opgegeven datum. |
dayofmonth(col) |
Pak de dag van de maand van een bepaalde datum/tijdstempel uit als geheel getal. |
dayofweek(col) |
Pak de dag van de week van een bepaalde datum/tijdstempel uit als geheel getal. |
dayofyear(col) |
Pak de dag van het jaar van een bepaalde datum/tijdstempel uit als geheel getal. |
extract(field, source) |
Extraheert een deel van de datum/tijdstempel of intervalbron. |
from_unixtime(timestamp[, format]) |
Converteert het aantal seconden van unix-epoch (1970-01-01 00:00:00 UTC) naar een tekenreeks die de tijdstempel van dat moment weergeeft in de huidige tijdzone van het systeem in de opgegeven indeling. |
from_utc_timestamp(timestamp, tz) |
Dit is een algemene functie voor databases die TIMESTAMP WITHOUT TIMEZONEondersteunen. |
hour(col) |
Haal de uren uit een gegeven tijdstempel als geheel getal. |
last_day(date) |
Retourneert de laatste dag van de maand waartoe de opgegeven datum behoort. |
localtimestamp() |
Retourneert de huidige tijdstempel zonder tijdzone aan het begin van de queryevaluatie als een tijdstempel zonder tijdzonekolom. |
make_date(year, month, day) |
Retourneert een kolom met een datum die is gebaseerd op de kolommen jaar, maand en dag. |
make_dt_interval([days, hours, mins, secs]) |
Maak de duur van DayTimeIntervalType van dagen, uren, mins en secs. |
make_interval([years, months, weeks, days, ...]) |
Interval maken van jaren, maanden, weken, dagen, uren, mins en sec. |
make_timestamp(years, months, days, hours, ...) |
Tijdstempel maken op basis van jaren, maanden, dagen, uren, mins, secs en tijdzonevelden. |
make_timestamp_ltz(years, months, days, ...) |
Maak de huidige tijdstempel met lokale tijdzone van jaren, maanden, dagen, uren, mins, secs en tijdzonevelden. |
make_timestamp_ntz(years, months, days, ...) |
Lokale datum/tijd maken op basis van jaren, maanden, dagen, uren, mins, secs-velden. |
make_ym_interval([years, months]) |
Maak een jaarmaandinterval van jaren, maanden. |
minute(col) |
Haal de minuten van een gegeven tijdstempel als integer. |
month(col) |
Pak de maand van een bepaalde datum/tijdstempel uit als geheel getal. |
monthname(col) |
Retourneert de drieletterige afkorting van de maandnaam van de opgegeven datum. |
months_between(date1, date2[, roundOff]) |
Retourneert het aantal maanden tussen datum1 en datum2. |
next_day(date, dayOfWeek) |
Retourneert de eerste datum die later is dan de waarde van de datumkolom op basis van het argument tweede weekdag. |
now() |
Retourneert de huidige tijdstempel aan het begin van de query-evaluatie. |
quarter(col) |
Pak het kwartaal van een bepaalde datum/tijdstempel uit als geheel getal. |
second(col) |
Extraheer de seconden van een bepaalde datum als geheel getal. |
session_window(timeColumn, gapDuration) |
Hiermee wordt een sessievenster gegenereerd op basis van een tijdstempel waarin de kolom wordt opgegeven. |
timestamp_add(unit, quantity, ts) |
Hiermee wordt het verschil tussen de tijdstempels in de opgegeven eenheden berekend door het breukdeel af te snijden. |
timestamp_diff(unit, start, end) |
Hiermee wordt het verschil tussen de tijdstempels in de opgegeven eenheden berekend door het breukdeel af te snijden. |
timestamp_micros(col) |
Hiermee maakt u een tijdstempel van het aantal microseconden sinds de UTC-epoch. |
timestamp_millis(col) |
Hiermee maakt u een tijdstempel op basis van het aantal milliseconden sinds utc-epoch. |
timestamp_seconds(col) |
Converteert het aantal seconden van de Unix-epoch (1970-01-01T00:00:00Z) naar een tijdstempel. |
to_date(col[, format]) |
Converteert een kolom naar pyspark.sql.types.DateType met de optioneel opgegeven indeling. |
to_timestamp(col[, format]) |
Converteert een kolom naar pyspark.sql.types.TimestampType met de optioneel opgegeven indeling. |
to_timestamp_ltz(timestamp[, format]) |
Parseert de tijdstempel met de notatie naar een tijdstempel met tijdzone. |
to_timestamp_ntz(timestamp[, format]) |
Parseert een tijdstempel met het formaat naar een tijdstempel zonder tijdzone. |
to_unix_timestamp(timestamp[, format]) |
Retourneert de UNIX-tijdstempel van de opgegeven tijd. |
to_utc_timestamp(timestamp, tz) |
Dit is een algemene functie voor databases die TIMESTAMP WITHOUT TIMEZONEondersteunen. |
trunc(date, format) |
Retourneert de datum afgekapt tot de eenheid die is opgegeven door het formaat. |
try_make_interval([years, months, weeks, ...]) |
Probeer een make_interval bewerking uit te voeren, maar retourneer een NULL-waarde in plaats van een fout op te geven als het interval niet kan worden gemaakt. |
try_make_timestamp(years, months, days, ...) |
Probeer tijdstempel te maken op basis van jaren, maanden, dagen, uren, mins, secs en tijdzonevelden. |
try_make_timestamp_ltz(years, months, days, ...) |
Probeer de huidige tijdstempel te maken met de lokale tijdzone van jaren, maanden, dagen, uren, mins, secs en tijdzonevelden. |
try_make_timestamp_ntz(years, months, days, ...) |
Probeer lokale datum/tijd te maken op basis van jaren, maanden, dagen, uren, mins, secs-velden. |
try_to_timestamp(col[, format]) |
Parseert de kolom met het formaat naar een tijdstempel. |
unix_date(col) |
Retourneert het aantal dagen sinds 1970-01-01. |
unix_micros(col) |
Retourneert het aantal microseconden sinds 1970-01-01 00:00:00 UTC. |
unix_millis(col) |
Retourneert het aantal milliseconden sinds 1970-01-01 00:00:00 UTC. |
unix_seconds(col) |
Retourneert het aantal seconden sinds 1970-01-01 00:00:00 UTC. |
unix_timestamp([timestamp, format]) |
Converteer tijdtekenreeks met een gegeven patroon ('jjjj-MM-dd HH:mm:ss', standaard) naar Unix-tijdstempel (in seconden), met behulp van de standaardtijdzone en de standaardinstelling, retourneert null als dit mislukt. |
weekday(col) |
Retourneert de dag van de week voor datum/tijdstempel (0 = maandag, 1 = dinsdag, ..., 6 = zondag). |
weekofyear(col) |
Pak het weeknummer van een bepaalde datum uit als geheel getal. |
window(timeColumn, windowDuration[, ...]) |
Bucketize rijen in één of meer tijdvensters op basis van een kolom die een tijdstempel specificeert. |
window_time(windowColumn) |
Berekent de tijd van de gebeurtenis vanuit een vensterkolom. |
year(col) |
Pak het jaar van een bepaalde datum/tijdstempel uit als geheel getal. |
Hash-functies
| Functie | Description |
|---|---|
crc32(col) |
Berekent de cyclische redundantiecontrolewaarde (CRC32) van een binaire kolom en retourneert de waarde als bigint. |
hash(*cols) |
Berekent de hashcode van opgegeven kolommen en retourneert het resultaat als een int-kolom. |
md5(col) |
Berekent de MD5-samenvatting en retourneert de waarde als een hextekenreeks van 32 tekens. |
sha(col) |
Retourneert een sha1-hashwaarde als een hextekenreeks van de kolom. |
sha1(col) |
Retourneert het hex-tekenreeksresultaat van SHA-1. |
sha2(col, numBits) |
Retourneert het hex-tekenreeksresultaat van sha-2-serie hashfuncties (SHA-224, SHA-256, SHA-384 en SHA-512). |
xxhash64(*cols) |
Berekent de hashcode van bepaalde kolommen met behulp van de 64-bits variant van het xxHash-algoritme en retourneert het resultaat als een lange kolom. |
Verzamelingsfuncties
| Functie | Description |
|---|---|
aggregate(col, initialValue, merge[, finish]) |
Hiermee past u een binaire operator toe op een initiële status en alle elementen in de matrix en vermindert u deze tot één status. |
array_sort(col[, comparator]) |
Hiermee sorteert u de invoermatrix in oplopende volgorde. |
cardinality(col) |
Retourneert de lengte van de matrix of kaart die is opgeslagen in de kolom. |
concat(*cols) |
Voegt meerdere invoerkolommen samen in één kolom. |
element_at(col, extraction) |
Retourneert het element van de matrix op de opgegeven (op 1 gebaseerde) index. |
exists(col, f) |
Retourneert of een predicaat een of meer elementen in de matrix bevat. |
filter(col, f) |
Retourneert een matrix met elementen waarvoor een predicaat in een bepaalde matrix is opgeslagen. |
forall(col, f) |
Geeft als resultaat of een predicaat voor elk element in de matrix geldt. |
map_filter(col, f) |
Retourneert een nieuwe kaartkolom waarvan de sleutel-waardeparen voldoen aan een bepaalde predicaatfunctie. |
map_zip_with(col1, col2, f) |
Hiermee worden twee opgegeven kaarten samengevoegd in één kaart door een functie toe te passen op de sleutel-waardeparen. |
reduce(col, initialValue, merge[, finish]) |
Hiermee past u een binaire operator toe op een initiële status en alle elementen in de matrix en vermindert u deze tot één status. |
reverse(col) |
Retourneert een omgekeerde tekenreeks of een matrix met elementen in omgekeerde volgorde. |
size(col) |
Retourneert de lengte van de matrix of kaart die is opgeslagen in de kolom. |
transform(col, f) |
Retourneert een matrix met elementen na het toepassen van een transformatie op elk element in de invoermatrix. |
transform_keys(col, f) |
Hiermee wordt een functie toegepast op elk sleutel-waardepaar in een kaart en wordt een kaart geretourneerd met de resultaten van deze toepassingen als de nieuwe sleutels voor de paren. |
transform_values(col, f) |
Hiermee past u een functie toe op elk sleutel-waardepaar in een kaart en retourneert u een kaart met de resultaten van deze toepassingen als de nieuwe waarden voor de paren. |
try_element_at(col, extraction) |
Retourneert het element van de matrix op de opgegeven (op 1 gebaseerde) index. |
zip_with(left, right, f) |
Voeg twee gegeven arrays element voor element samen in één enkele array met behulp van een functie. |
Matrixfuncties
| Functie | Description |
|---|---|
array(*cols) |
Hiermee maakt u een nieuwe matrixkolom op basis van de invoerkolommen of kolomnamen. |
array_append(col, value) |
Retourneert een nieuwe matrixkolom door waarde toe te voegen aan de bestaande matrixkolom. |
array_compact(col) |
Hiermee verwijdert u null-waarden uit de matrix. |
array_contains(col, value) |
Retourneert een Booleaanse waarde die aangeeft of de matrix de opgegeven waarde bevat: null als de matrix null is, waar als de matrix de opgegeven waarde bevat en anders onwaar. |
array_distinct(col) |
Hiermee verwijdert u dubbele waarden uit de matrix. |
array_except(col1, col2) |
Retourneert een nieuwe matrix die de elementen bevat die aanwezig zijn in kolom1, maar niet in kolom2, zonder duplicaten. |
array_insert(arr, pos, value) |
Hiermee voegt u een item in een bepaalde matrix in op een opgegeven matrixindex. |
array_intersect(col1, col2) |
Retourneert een nieuwe matrix die het snijpunt van elementen in kolom1 en kolom2 bevat, zonder duplicaten. |
array_join(col, delimiter[, null_replacement]) |
Retourneert een tekenreekskolom door de elementen van de invoermatrixkolom samen te voegen met behulp van het scheidingsteken. |
array_max(col) |
Retourneert de maximumwaarde van de matrix. |
array_min(col) |
Retourneert de minimumwaarde van de matrix. |
array_position(col, value) |
Zoekt de positie van het eerste exemplaar van de opgegeven waarde in de opgegeven matrix. |
array_prepend(col, value) |
Retourneert een matrix met het opgegeven element als het eerste element en de rest van de elementen van de oorspronkelijke matrix. |
array_remove(col, element) |
Verwijder alle elementen die gelijk zijn aan element uit de opgegeven matrix. |
array_repeat(col, count) |
Hiermee maakt u een matrix die een kolom herhaalde tellingstijden bevat. |
array_size(col) |
Retourneert het totale aantal elementen in de matrix. |
array_union(col1, col2) |
Retourneert een nieuwe matrix die de samenvoeging van elementen in kolom1 en kolom2 bevat, zonder duplicaten. |
arrays_overlap(a1, a2) |
Retourneert een Booleaanse kolom die aangeeft of de invoermatrices gemeenschappelijke niet-null-elementen hebben, waarbij waar wordt geretourneerd als ze dat wel doen, null als de matrices geen gemeenschappelijke elementen bevatten, maar niet leeg zijn en ten minste één van deze elementen een null-element bevat, en anders onwaar. |
arrays_zip(*cols) |
Retourneert een samengevoegde matrix met structs waarin de N-th-struct alle N-th-waarden van invoermatrices bevat. |
flatten(col) |
Hiermee maakt u één matrix op basis van een matrix met matrices. |
get(col, index) |
Retourneert het element van een matrix op de opgegeven (op 0 gebaseerde) index. |
sequence(start, stop[, step]) |
Genereer een reeks gehele getallen van begin tot eind, incrementeel. |
shuffle(col[, seed]) |
Hiermee wordt een willekeurige permutatie van de opgegeven matrix gegenereerd. |
slice(x, start, length) |
Retourneert een nieuwe matrixkolom door de invoermatrixkolom van een beginindex naar een specifieke lengte te segmenteren. |
sort_array(col[, asc]) |
Hiermee sorteert u de invoermatrix in oplopende of aflopende volgorde op basis van de natuurlijke volgorde van de matrixelementen. |
Struct-functies
| Functie | Description |
|---|---|
named_struct(*cols) |
Hiermee maakt u een struct met de opgegeven veldnamen en -waarden. |
struct(*cols) |
Hiermee maakt u een nieuwe struct-kolom. |
Kaartfuncties
| Functie | Description |
|---|---|
create_map(*cols) |
Hiermee maakt u een nieuwe kaartkolom op basis van een even aantal invoerkolommen of kolomverwijzingen. |
map_concat(*cols) |
Retourneert de samenvoeging van alle opgegeven kaarten. |
map_contains_key(col, value) |
Geeft true terug als de map de sleutel bevat. |
map_entries(col) |
Retourneert een niet-geordende matrix van alle vermeldingen in de opgegeven kaart. |
map_from_arrays(col1, col2) |
Hiermee maakt u een nieuwe kaart op basis van twee matrices. |
map_from_entries(col) |
Hiermee transformeert u een matrix met sleutel-waardepaarvermeldingen (structs met twee velden) in een kaart. |
map_keys(col) |
Retourneert een niet-geordende matrix die de sleutels van de kaart bevat. |
map_values(col) |
Retourneert een niet-geordende matrix die de waarden van de kaart bevat. |
str_to_map(text[, pairDelim, keyValueDelim]) |
Converteert een tekenreeks naar een kaart nadat u de tekst hebt gesplitst in sleutel-/waardeparen met behulp van scheidingstekens. |
Gecompileerde functies
| Functie | Description |
|---|---|
any_value(col[, ignoreNulls]) |
Retourneert een bepaalde waarde van een kolom voor een groep rijen. |
approx_count_distinct(col[, rsd]) |
Retourneert een nieuwe kolom, waarmee het geschatte aantal afzonderlijke elementen in een opgegeven kolom of een groep kolommen wordt geschat. |
approx_percentile(col, percentage[, accuracy]) |
Retourneert het benaderd percentiel van de numerieke kolom, de kleinste waarde onder de gesorteerde kolomwaarden (gesorteerd van minst naar grootst), zodat niet meer dan het percentage van kolomwaarden kleiner of gelijk is aan die waarde. |
array_agg(col) |
Retourneert een lijst met objecten met duplicaten. |
avg(col) |
Retourneert het gemiddelde van de waarden in een groep. |
bit_and(col) |
Retourneert de bitsgewijze EN van alle niet-null invoerwaarden, of null als er geen niet-null waarden zijn. |
bit_or(col) |
Retourneert de bitsgewijze OF van alle niet-null-invoerwaarden of null als er geen waarden zijn. |
bit_xor(col) |
Retourneert de bitsgewijze XOR van alle niet-null-invoerwaarden of null als er geen waarden zijn. |
bitmap_construct_agg(col) |
Retourneert een bitmap met de posities van de bits die zijn ingesteld op basis van alle waarden uit de invoerkolom. |
bitmap_or_agg(col) |
Retourneert een bitmap die de bitsgewijze OF van alle bitmaps uit de invoerkolom is. |
bool_and(col) |
Retourneert waar als alle waarden van de kolom waar zijn. |
bool_or(col) |
Retourneert waar als ten minste één waarde van de kolom waar is. |
collect_list(col) |
Verzamelt de waarden van een kolom in een lijst, onderhoudt duplicaten en retourneert deze lijst met objecten. |
collect_set(col) |
Verzamelt de waarden van een kolom in een set, elimineert duplicaten en retourneert deze set objecten. |
corr(col1, col2) |
Retourneert een nieuwe kolom voor de Pearson-correlatiecoëfficiënt voor col1 en col2. |
count(col) |
Retourneert het aantal items in een groep. |
count_distinct(col, *cols) |
Retourneert een nieuwe kolom voor het unieke aantal van een kolom of kolommen. |
count_if(col) |
Geeft als resultaat het aantal TRUE-waarden voor de kolom. |
count_min_sketch(col, eps, confidence[, seed]) |
Geeft een count-min-schets van een kolom met de opgegeven esp, betrouwbaarheid en seed. |
covar_pop(col1, col2) |
Retourneert een nieuwe kolom voor de covariantie van de populatie van col1 en col2. |
covar_samp(col1, col2) |
Retourneert een nieuwe kolom voor de covariantie van de steekproef van col1 en col2. |
every(col) |
Retourneert waar als alle waarden van de kolom waar zijn. |
first(col[, ignorenulls]) |
Retourneert de eerste waarde in een groep. |
first_value(col[, ignoreNulls]) |
Retourneert de eerste waarde van de kolom voor een groep rijen. |
grouping(col) |
Hiermee wordt aangegeven of een opgegeven kolom in een GROUP BY lijst al dan niet wordt geaggregeerd, wordt 1 geretourneerd voor geaggregeerde of 0 voor niet geaggregeerd in de resultatenset. |
grouping_id(*cols) |
Geeft als resultaat het groepeerniveau, gelijk aan |
histogram_numeric(col, nBins) |
Berekent een histogram van numerieke 'col' met behulp van nb bins. |
hll_sketch_agg(col[, lgConfigK]) |
Retourneert de bijwerkbare binaire weergave van DataSketches HllSketch, geconfigureerd met het lgConfigK-argument. |
hll_union_agg(col[, allowDifferentLgConfigK]) |
Retourneert de updatable binaire weergave van de Datasketches HllSketch, gegenereerd door het samenvoegen van eerder gemaakte Datasketches HllSketch-exemplaren via een Datasketches Union-exemplaar. |
kurtosis(col) |
Retourneert de kurtosis van de waarden in een groep. |
last(col[, ignorenulls]) |
Retourneert de laatste waarde in een groep. |
last_value(col[, ignoreNulls]) |
Retourneert de laatste waarde van de kolom voor een groep rijen. |
listagg(col[, delimiter]) |
Retourneert de samenvoeging van niet-null-invoerwaarden, gescheiden door het scheidingsteken. |
listagg_distinct(col[, delimiter]) |
Retourneert de samenvoeging van afzonderlijke niet-null-invoerwaarden, gescheiden door het scheidingsteken. |
max(col) |
Retourneert de maximumwaarde van de expressie in een groep. |
max_by(col, ord) |
Retourneert de waarde van de kolomparameter die is gekoppeld aan de maximumwaarde van de ord-parameter. |
mean(col) |
Retourneert het gemiddelde van de waarden in een groep. |
median(col) |
Retourneert de mediaan van de waarden in een groep. |
min(col) |
Retourneert de minimumwaarde van de expressie in een groep. |
min_by(col, ord) |
Retourneert de waarde van de kolomparameter die is gekoppeld aan de minimumwaarde van de ord-parameter. |
mode(col[, deterministic]) |
Retourneert de meest voorkomende waarde in een groep. |
percentile(col, percentage[, frequency]) |
Geeft als resultaat de exacte percentiel(en) van numerieke kolom expr bij de opgegeven percentages met een waardebereik in [0,0, 1,0]. |
percentile_approx(col, percentage[, accuracy]) |
Retourneert het benaderd percentiel van de numerieke kolom, de kleinste waarde onder de gesorteerde kolomwaarden (gesorteerd van minst naar grootst), zodat niet meer dan het percentage van kolomwaarden kleiner of gelijk is aan die waarde. |
product(col) |
Retourneert het product van de waarden in een groep. |
regr_avgx(y, x) |
Retourneert het gemiddelde van de onafhankelijke variabele voor niet-null-paren in een groep, waarbij y de afhankelijke variabele is en x de onafhankelijke variabele is. |
regr_avgy(y, x) |
Retourneert het gemiddelde van de afhankelijke variabele voor niet-null-paren in een groep, waarbij y de afhankelijke variabele is en x de onafhankelijke variabele is. |
regr_count(y, x) |
Retourneert het aantal niet-null-getalparen in een groep, waarbij y de afhankelijke variabele is en x de onafhankelijke variabele is. |
regr_intercept(y, x) |
Retourneert het snijpunt van de univariate lineaire regressielijn voor niet-nulparen in een groep, waarbij y de afhankelijke variabele is en x de onafhankelijke variabele is. |
regr_r2(y, x) |
Berekent de bepalingscoëfficiënt voor niet-null-paren in een groep, waarbij y de afhankelijke variabele is en x de onafhankelijke variabele is. |
regr_slope(y, x) |
Retourneert de helling van de lineaire regressielijn voor niet-null-paren in een groep, waarbij y de afhankelijke variabele is en x de onafhankelijke variabele is. |
regr_sxx(y, x) |
Retourneert REGR_COUNT(y, x) * VAR_POP(x) voor niet-null-paren in een groep, waarbij y de afhankelijke variabele is en x de onafhankelijke variabele is. |
regr_sxy(y, x) |
Retourneert REGR_COUNT(y, x) * COVAR_POP(y, x) voor niet-null-paren in een groep, waarbij y de afhankelijke variabele is en x de onafhankelijke variabele is. |
regr_syy(y, x) |
Retourneert REGR_COUNT(y, x) * VAR_POP(y) voor niet-null-paren in een groep, waarbij y de afhankelijke variabele is en x de onafhankelijke variabele is. |
skewness(col) |
Retourneert de scheefheid van de waarden in een groep. |
some(col) |
Retourneert waar als ten minste één waarde van de kolom waar is. |
std(col) |
Alias voor stddev_samp. |
stddev(col) |
Alias voor stddev_samp. |
stddev_pop(col) |
Retourneert de standaarddeviatie van de populatie van de expressie in een groep. |
stddev_samp(col) |
Retourneert de vooringenomenheidsvrije standaarddeviatie van de steekproef van de expressie in een groep. |
string_agg(col[, delimiter]) |
Retourneert de samenvoeging van niet-null-invoerwaarden, gescheiden door het scheidingsteken. |
string_agg_distinct(col[, delimiter]) |
Retourneert de samenvoeging van afzonderlijke niet-null-invoerwaarden, gescheiden door het scheidingsteken. |
sum(col) |
Retourneert de som van alle waarden in de expressie. |
sum_distinct(col) |
Retourneert de som van afzonderlijke waarden in de expressie. |
try_avg(col) |
Retourneert het gemiddelde dat wordt berekend op basis van waarden van een groep en het resultaat is null bij overloop. |
try_sum(col) |
Retourneert de som die wordt berekend op basis van waarden van een groep en het resultaat is null voor overloop. |
var_pop(col) |
Retourneert de variantie van de populatie van de waarden in een groep. |
var_samp(col) |
Retourneert de niet-bevooruitte steekproefvariantie van de waarden in een groep. |
variance(col) |
Alias voor var_samp |
Vensterfuncties
| Functie | Description |
|---|---|
cume_dist() |
Retourneert de cumulatieve verdeling van waarden binnen een vensterpartitie, d.w. het deel van rijen onder de huidige rij. |
dense_rank() |
Retourneert de rang van rijen binnen een vensterpartitie, zonder hiaten. |
lag(col[, offset, default]) |
Retourneert de waarde die het opgegeven aantal rijen voor de huidige rij ligt, en retourneert de standaardwaarde als er minder dan het opgegeven aantal rijen voor de huidige rij is. |
lead(col[, offset, default]) |
Retourneert de waarde die is verschoven met het aantal opgegeven rijen na de huidige rij, en de standaardwaarde als er minder dan het aantal opgegeven rijen na de huidige rij is. |
nth_value(col, offset[, ignoreNulls]) |
Retourneert de waarde die de offsetste rij van het vensterframe is (tellend van 1) en null als de grootte van het vensterframe kleiner is dan offsetrijen. |
ntile(n) |
Retourneert een ntile groeps-id (van 1 tot en met n) in een geordende vensterpartitie. |
percent_rank() |
Geeft als resultaat de relatieve rang (d.w.z. |
rank() |
Retourneert de rang van rijen binnen een vensterpartitie. |
row_number() |
Retourneert een opeenvolgend getal dat begint bij 1 binnen een vensterpartitie. |
Generatorfuncties
| Functie | Description |
|---|---|
explode(col) |
Retourneert een nieuwe rij voor elk element in de opgegeven matrix of kaart. |
explode_outer(col) |
Retourneert een nieuwe rij voor elk element in de opgegeven matrix of kaart. |
inline(col) |
Explodeert een matrix met structs in een tabel. |
inline_outer(col) |
Explodeert een matrix met structs in een tabel. |
posexplode(col) |
Retourneert een nieuwe rij voor elk element met positie in de opgegeven matrix of kaart. |
posexplode_outer(col) |
Retourneert een nieuwe rij voor elk element met positie in de opgegeven matrix of kaart. |
stack(*cols) |
Scheidt col1, ..., colk in n rijen. |
Functies voor partitietransformatie
| Functie | Description |
|---|---|
partitioning.years(col) |
Een transformatie voor tijdstempels en datums om gegevens in jaren te partitioneren. |
partitioning.months(col) |
Een transformatie voor tijdstempels en datums om gegevens in maanden te partitioneren. |
partitioning.days(col) |
Een transformatie voor tijdstempels en datums om gegevens in dagen te partitioneren. |
partitioning.hours(col) |
Een transformatie voor tijdstempels om gegevens in uren te partitioneren. |
partitioning.bucket(numBuckets, col) |
Een transformatie voor elk type dat wordt gepartitioneerd op basis van een hash van de invoerkolom. |
Georuimtelijke H3-functies (Databricks)
| Functie | Description |
|---|---|
h3_boundaryasgeojson(col) |
Retourneert de grens van een H3-cel in GeoJSON-indeling |
h3_boundaryaswkb(col) |
Retourneert de grens van een H3-cel in WKB-indeling |
h3_boundaryaswkt(col) |
Geeft de grens van een H3-cel terug in WKT-indeling |
h3_centerasgeojson(col) |
Retourneert het midden van een H3-cel in GeoJSON-indeling |
h3_centeraswkb(col) |
Retourneert het midden van een H3-cel in WKB-indeling |
h3_centeraswkt(col) |
Retourneert het midden van een H3-cel in WKT-indeling |
h3_compact(col) |
De invoerset van H3-cel-ID's zo goed mogelijk comprimeren |
h3_coverash3(col1,col2) |
Retourneert een array van cel-id's die worden weergegeven als lange gehele getallen, overeenkomend met zeshoeken of vijfhoeken van de opgegeven resolutie die minimaal de invoerlineaire of areale geografie bedekken. |
h3_coverash3string(col1,col2) |
Geeft een array van cel-id's als tekenreeksen, die overeenkomen met zeshoeken of vijfhoeken van de opgegeven resolutie die minimaal de invoer lineaire of oppervlaktgeografie dekken. |
h3_distance(col1,col2) |
Geeft als resultaat de rasterafstand tussen twee H3-cel-id's |
h3_h3tostring(col) |
Converteert een H3-cel-id naar een tekenreeks die de cel-id vertegenwoordigt als een hexadecimale tekenreeks |
h3_hexring(col1,col2) |
Retourneert een matrix van H3-cel-id's die een lege zeshoekige ring vormen die is gecentreerd op de oorspronkelijke H3-cel en die zich op rasterafstand k van de oorspronkelijke H3-cel bevinden |
h3_ischildof(col1,col2) |
Retourneert True als de eerste H3-cel-ID een kind is van de tweede H3-cel-ID |
h3_ispentagon(col) |
Retourneert True als de ingevoerde H3-cel-id een vijfhoek vertegenwoordigt |
h3_isvalid(col) |
Retourneert als de invoer een geldige H3-cel-id vertegenwoordigt True |
h3_kring(col1,col2) |
Geeft als resultaat de H3-cel-id's die zich binnen (raster) afstand k van de oorspronkelijke cel-id bevinden |
h3_kringdistances(col1,col2) |
Retourneert alle H3-cel-id's (weergegeven als lange gehele getallen of tekenreeksen) binnen rasterafstand k van de oorspronkelijke H3-cel-id, samen met de afstand van de oorspronkelijke H3-cel-id |
h3_longlatash3(col1,col2,col3) |
Retourneert de H3-cel-id (als bigint) die overeenkomt met de opgegeven lengtegraad en breedtegraad bij de opgegeven resolutie |
h3_longlatash3string(col1,col2,col3) |
Retourneert de H3-cel-id (als een tekenreeks) die overeenkomt met de opgegeven lengtegraad en breedtegraad bij de opgegeven resolutie |
h3_maxchild(col1,col2) |
Retourneert het kind van de maximale waarde van de invoer H3-cel op de opgegeven resolutie |
h3_minchild(col1,col2) |
Retourneert het kindelement van de kleinste waarde van de ingevoerde H3-cel bij de opgegeven resolutie. |
h3_pointash3(col1,col2) |
Retourneert het H3-cel-id (als BIGINT) dat overeenkomt met het gespecificeerde punt op de aangegeven resolutie. |
h3_pointash3string(col1,col2) |
Retourneert de H3-cel-id (als een tekenreeks) die overeenkomt met het opgegeven punt op de opgegeven resolutie |
h3_polyfillash3(col1,col2) |
Geeft een array van cel-id's die worden weergegeven als lange gehele getallen en die overeenkomen met zeshoeken of vijfhoeken van de opgegeven resolutie die zijn opgenomen in de invoergeografie. |
h3_polyfillash3string(col1,col2) |
Geeft als resultaat een matrix van cel-id's die worden weergegeven als tekenreeksen, die overeenkomen met zeshoeken of vijfhoeken van de opgegeven resolutie die zijn opgenomen in de invoer geografie |
h3_resolution(col) |
Geeft als resultaat de resolutie van de H3-cel-id |
h3_stringtoh3(col) |
Converteert de H3-cel-ID van de tekenreeks naar de grote integerweergave |
h3_tessellateaswkb(col1,col2) |
Retourneert een matrix met structs die de chips vertegenwoordigen die de geografie van de opgegeven resolutie behandelen |
h3_tochildren(col1,col2) |
Retourneert de H3-cel-ID's van kinderen van de ingevoerde H3-cel-ID bij de opgegeven resolutie. |
h3_toparent(col1,col2) |
Retourneert de bovenliggende H3-cel-id van de ingevoerde H3-cel-id bij de opgegeven resolutie |
h3_try_coverash3(col1,col2) |
Retourneert een array van cel-id's die worden weergegeven als lange gehele getallen, overeenkomend met zeshoeken of vijfhoeken van de opgegeven resolutie die minimaal de invoerlineaire of areale geografie bedekken. |
h3_try_coverash3string(col1,col2) |
Geeft een array van cel-id's als tekenreeksen, die overeenkomen met zeshoeken of vijfhoeken van de opgegeven resolutie die minimaal de invoer lineaire of oppervlaktgeografie dekken. |
h3_try_distance(col1,col2) |
Retourneert de rasterafstand tussen twee H3-cel-id's van dezelfde resolutie of None als de afstand als deze niet is gedefinieerd |
h3_try_polyfillash3(col1,col2) |
Geeft een array van cel-id's die worden weergegeven als lange gehele getallen en die overeenkomen met zeshoeken of vijfhoeken van de opgegeven resolutie die zijn opgenomen in de invoergeografie. |
h3_try_polyfillash3string(col1,col2) |
Geeft als resultaat een matrix van cel-id's die worden weergegeven als tekenreeksen, die overeenkomen met zeshoeken of vijfhoeken van de opgegeven resolutie die zijn opgenomen in de invoer geografie |
h3_try_tessellateaswkb(col1,col2) |
Retourneert een matrix met structs die de chips vertegenwoordigen die de geografie met de opgegeven resolutie behandelen, of null als de geometrie ongeldig is |
h3_try_validate(col) |
Retourneert de invoerwaarde als dit een geldige H3-cel is of anders None |
h3_uncompact(col1,col2) |
Pakt de invoerset met H3-cel-id's uit naar de opgegeven resolutie. |
h3_validate(col) |
Retourneert de invoerwaarde als het een geldige H3-cel is of anders een fout verzendt |
Georuimtelijke ST-functies (Databricks)
| Functie | Description |
|---|---|
st_addpoint(col1,col2,col3) |
Hiermee voegt u een nieuw punt toe aan de n-th-positie in de invoerlijnen geografie ofgeometrie |
st_area(col) |
Geeft als resultaat het gebied van de invoergeografie of geometrie |
st_azimuth(col1,col2) |
Retourneert de op het noorden gebaseerde azimuth van het eerste punt naar de tweede in radialen in [0, 2π) |
st_asbinary(col1,col2) |
Levert de invoerwaarde geografie of geometrie in WKB-indeling op |
st_asewkb(col1,col2) |
Geeft de invoer Geometry-waarde terug in EWKB-indeling |
st_asewkt(col) |
Geeft de invoer geografie- of geometriëwaarde in EWKT-formaat |
st_asgeojson(col) |
Retourneert de geografie of geometrie invoerwaarde in GeoJSON-indeling |
st_astext(col) |
Geeft als resultaat de ingevoerde geografie - of geometriewaarde in WKT-indeling |
st_aswkb(col1,col2) |
Levert de invoerwaarde geografie of geometrie in WKB-indeling op |
st_aswkt(col) |
Geeft als resultaat de ingevoerde geografie - of geometriewaarde in WKT-indeling |
st_buffer(col1,col2) |
Retourneert de buffer van de invoergeometrie met behulp van de opgegeven radius |
st_boundary(col) |
Retourneert de grens van de invoergeometrie als een geometrie |
st_centroid(col) |
Berekent het zwaartepunt van de invoergeometrie als een 2D-puntgeometrie |
st_closestpoint(col1,col2) |
Retourneert de 2D-projectie van een punt op de eerste geometrie die zich het dichtst bij de tweede geometrie bevindt |
st_concavehull(col1,col2,col3) |
Berekent de concave romp van de invoergeometrie als geometrie met behulp van de opgegeven lengteverhouding |
st_contains(col1,col2) |
True Geeft als resultaat als de eerste geometrie de tweede geometrie bevat |
st_convexhull(col) |
Berekent de convexe romp van de invoergeometrie als geometrie |
st_covers(col1,col2) |
True Geeft als resultaat als de eerste geometrie de tweede geometrie bedekt |
st_difference(col1,col2) |
Retourneert de puntset verschillend van de twee invoergeometrieën als een 2D-geometrie |
st_dimension(col) |
Geeft als resultaat de topologische dimensie van de 2D-projectie van de invoergeometrie |
st_disjoint(col1,col2) |
Geeft True als de twee geometrieën disjunct zijn |
st_distance(col1,col2) |
Geeft als resultaat de 2D Cartesische afstand tussen de twee invoergeometrieën |
st_distancesphere(col1,col2) |
Berekent de bolvormige afstand (in meters) tussen twee puntgeometrieën, gemeten op een bol waarvan de straal de gemiddelde straal van het WGS84-beletselteken is |
st_distancespheroid(col1,col2) |
Berekent de geodetische afstand (in meters) tussen twee puntgeometrieën op de WGS84-ellipsoïde. |
st_dump(col) |
Retourneert een matrix die de enkelvoudige geometrieën in de invoergeometrie bevat |
st_dwithin(col1,col2,col3) |
True Geeft als resultaat als de 2D Cartesische afstand tussen de twee invoergeometrieën kleiner is dan of gelijk is aan de invoerafstand |
st_endpoint(col) |
Retourneert het laatste punt van de invoerlijnen, of None als deze niet bestaat |
st_envelope(col) |
Retourneert de 2D Cartesische as uitgelijnde minimumbegrenzingsdoos (envelop) van de invoer niet-lege geometrie, als geometrie |
st_envelope_agg(col) |
Retourneert de envelop van alle geometrieën in de kolom, of None als de kolom nul rijen bevat of alleen None waarden bevat |
st_equals(col1,col2) |
True Geeft als resultaat als de twee geometrieën geometrisch gelijk zijn |
st_exteriorring(col) |
Retourneert de buitenring (shell) als een lijnstring van de ingevoerde Geografie of Geometrie waarde die een veelhoek vertegenwoordigt. |
st_flipcoordinates(col) |
Wisselt X- en Y-coördinaten van de invoergeometrie |
st_geogfromgeojson(col) |
Parseert de GeoJSON-beschrijving en retourneert de bijbehorende geografiewaarde |
st_geogfromtext(col) |
Parseert de WKT-beschrijving en retourneert de bijbehorende geografiewaarde |
st_geogfromwkb(col) |
Parseert de beschrijving van de invoer WKB en retourneert de bijbehorende geografiewaarde |
st_geogfromwkt(col) |
Parseert de WKT-beschrijving en retourneert de bijbehorende geografiewaarde |
st_geohash(col1,col2) |
Retourneert de geohash van de invoergeometrie |
st_geometryn(col1,col2) |
Retourneert het n-de element, beginnend bij 1, van de invoer multi-geometrie of None als het niet bestaat. |
st_geometrytype(col) |
Retourneert het type van de invoer geografie - of geometriewaarde als een tekenreeks |
st_geomfromewkb(col) |
Parseert de beschrijving van het EWKB-invoer en retourneert de bijbehorende geometriewaarde |
st_geomfromgeohash(col) |
Retourneert het geohash-rastervak dat overeenkomt met de geohash-waarde voor invoer als een 2D-polygoongeometrie |
st_geomfromgeojson(col) |
Parseert de GeoJSON-beschrijving en retourneert de bijbehorende geometriewaarde |
st_geomfromtext(col1,col2) |
Parseert de WKT-beschrijving en retourneert de bijbehorende geometriewaarde |
st_geomfromwkb(col1,col2) |
Parseert de beschrijving van de invoer WKB en retourneert de bijbehorende geometriewaarde |
st_geomfromwkt(col1,col2) |
Parseert de WKT-beschrijving en retourneert de bijbehorende geometriewaarde |
st_intersection(col1,col2) |
Retourneert het snijpunt van puntensets van de twee invoergeometrieën als een 2D-geometrie |
st_intersects(col1,col2) |
True Geeft als resultaat als de twee geometrieën elkaar snijden |
st_isempty(col) |
Retourneert True als de ingevoerde geografie - of geometriewaarde geen niet-lege punten bevat |
st_isvalid(col) |
True Geeft als resultaat of de invoergeometrie een geldige geometrie is in de OGC-zin |
st_length(col) |
Geeft als resultaat de lengte van de invoergeometrie of geografiewaarde |
st_m(col) |
Geeft als resultaat de M-coördinaat van de geometrie van het invoerpunt, of None als de geometrie van het invoerpunt leeg is of als deze geen M-coördinaat heeft |
st_makeline(col) |
Retourneert een lijnegeometrie waarvan de punten de niet-lege punten zijn van de geometrieën in de invoerreeks van geometrieën, waarbij wordt verwacht dat dit punten, lijnen of multipunten zijn. |
st_makepolygon(col1,col2) |
Hiermee wordt een veelhoek gemaakt van de buitenste grens van de invoer en een optionele reeks van binnengrenzen, die wordt weergegeven als gesloten lijnsegmenten. |
st_multi(col) |
Retourneert de ingevoerde geografie - of geometriewaarde als een equivalente georuimtelijke waarde, waardoor de oorspronkelijke SRID behouden blijft |
st_ndims(col) |
Retourneert de coördinaatdimensie van de invoergeografie of geometriewaarde |
st_npoints(col) |
Geeft als resultaat het aantal niet-lege punten in de waarde Geografie of Geometrie van invoer |
st_numgeometries(col) |
Geeft als resultaat het aantal geometrieën in de invoergeometrie |
st_perimeter(col) |
Retourneert de omtrek van de invoergeografie of geometrie |
st_point(col1,col2,col3) |
Retourneert een 2D-puntgeometrie met de opgegeven x- en y-coördinaten en SRID-waarde |
st_pointfromgeohash(col) |
Retourneert het midden van het geohash-rastervak dat overeenkomt met de geohash-waarde voor invoer als een 2D-puntgeometrie |
st_pointn(col1,col2) |
Retourneert het 1-gebaseerde n-de punt van de invoerlinestring of None als deze niet bestaat |
st_removepoint(col1,col2) |
Hiermee verwijdert u het n-th-punt uit de invoerlijnen Geografie ofGeometrie |
st_reverse(col) |
Hiermee wordt de volgorde van hoekpunten in de ingevoerde geografie - of geometriewaarde omgekeerd |
st_rotate(col1,col2) |
Draait de invoergeometrie rond de Z-as door de opgegeven draaihoek (in radialen) |
st_scale(col1,col2,col3,col4) |
Hiermee wordt de invoergeometrie in de richtingen X, Y en Z (optioneel) geschaald met behulp van de opgegeven factoren |
st_setpoint(col1,col2,col3) |
Hiermee stelt u het n-th-punt in de invoerlijnen Geografie of Geometrie in |
st_setsrid(col1,col2) |
Geeft als resultaat een nieuwe geometriewaarde waarvan SRID de opgegeven SRID-waarde is |
st_simplify(col1,col2) |
Vereenvoudigt de invoergeometrie met behulp van het Douglas-Peucker-algoritme |
st_srid(col) |
Geeft als resultaat de SRID van de georuimtelijke invoerwaarde |
st_startpoint(col) |
Retourneert het eerste punt van de invoerlijnentring of None als deze niet bestaat |
st_touches(col1,col2) |
True Geeft als resultaat als de twee geometrieën elkaar raken |
st_transform(col1,col2) |
Transformeert de X- en Y-coördinaten van de invoergeometrie naar het coördinaatreferentiesysteem (CRS) dat wordt beschreven door de opgegeven SRID-waarde |
st_translate(col1,col2,col3,col4) |
Vertaalt de invoergeometrie in de X-, Y- en Z-richtingen (optioneel) met behulp van de opgegeven offsets |
st_union(col1,col2) |
Retourneert de punt-set-samenvoeging van de twee invoergeometrieën als een 2D-geometrie |
st_union_agg(col) |
Geeft als resultaat de puntgewijze samenvoeging van alle geometrieën in de kolom, of None als de kolom nul rijen bevat of alleen None waarden bevat |
st_within(col1,col2) |
True Geeft als resultaat als de eerste geometrie zich binnen de tweede geometrie bevindt |
st_x(col) |
Retourneert de X-coördinaat van de geometrie van het invoerpunt of None als de geometrie van het invoerpunt leeg is |
st_xmax(col) |
Retourneert de maximale X-coördinaat van de invoergeometrie of None als de invoergeometrie leeg is |
st_xmin(col) |
Retourneert de minimale X-coördinaat van de invoergeometrie of None als de invoergeometrie leeg is |
st_y(col) |
Retourneert de Y-coördinaat van de geometrie van het invoerpunt of None als de meetkunde van het invoerpunt leeg is |
st_ymax(col) |
Retourneert de maximale Y-coördinaat van de invoergeometrie of None als de invoergeometrie leeg is |
st_ymin(col) |
Retourneert de minimale Y-coördinaat van de invoergeometrie of None als de invoergeometrie leeg is |
st_z(col) |
Retourneert de Z-coördinaat van de geometrie van het invoerpunt, of None als de geometrie van het invoerpunt leeg is of als deze geen Z-coördinaat heeft |
st_zmax(col) |
Retourneert de maximale Z-coördinaat van de invoergeometrie of None als de invoergeometrie leeg is of geen Z-coördinaten bevat |
st_zmin(col) |
Retourneert de minimale Z-coördinaat van de invoergeometrie, of None als de invoergeometrie leeg is of geen Z-coördinaten bevat |
to_geography(col) |
Parseert de invoer binaire waarde of tekenreeks en retourneert de bijbehorende Geography-waarde. |
to_geometry(col) |
Parseert de invoer BINARY of tekenreekswaarde en retourneert de bijbehorende geometriewaarde |
try_to_geography(col) |
Parseert de invoer binaire waarde of tekenreekswaarde en retourneert de bijbehorende Geography waarde, of None als de invoer ongeldig is. |
try_to_geometry(col) |
Parseert de invoer BINARY of tekenreekswaarde en retourneert de bijbehorende geometriewaarde , of None als de invoer ongeldig is |
CSV-functies
| Functie | Description |
|---|---|
from_csv(col, schema[, options]) |
Parseert een kolom met een CSV-tekenreeks in een rij met het opgegeven schema. |
schema_of_csv(csv[, options]) |
Parseert een CSV-tekenreeks en leidt zijn bijbehorende schema af in DDL-indeling. |
to_csv(col[, options]) |
Converteert een kolom met een StructType naar een CSV-tekenreeks. |
JSON-functies
| Functie | Description |
|---|---|
from_json(col, schema[, options]) |
Parseert een kolom met een JSON-tekenreeks in een MapType met StringType als sleutelstype, StructType of ArrayType met het opgegeven schema. |
get_json_object(col, path) |
Extraheert het json-object uit een json-tekenreeks op basis van het opgegeven json-pad en retourneert json-tekenreeks van het geëxtraheerde json-object. |
json_array_length(col) |
Retourneert het aantal elementen in de buitenste JSON-matrix. |
json_object_keys(col) |
Retourneert alle sleutels van het buitenste JSON-object als een matrix. |
json_tuple(col, *fields) |
Hiermee maakt u een nieuwe rij voor een json-kolom op basis van de opgegeven veldnamen. |
schema_of_json(json[, options]) |
Parseert een JSON-tekenreeks en leidt zijn schema af in DDL-indeling. |
to_json(col[, options]) |
Converteert een kolom met een StructType, ArrayType of MapType naar een JSON-tekenreeks. |
Variantfuncties
| Functie | Description |
|---|---|
is_variant_null(v) |
Controleer of een variantwaarde een variant-null is. |
parse_json(col) |
Parseert een kolom met een JSON-tekenreeks in een VariantType. |
schema_of_variant(v) |
Retourneert een schema in de SQL-indeling van een variant. |
schema_of_variant_agg(v) |
Retourneert het samengevoegde schema in de SQL-indeling van een variantkolom. |
try_variant_get(v, path, targetType) |
Extraheert een subvariant van v volgens pad en cast de subvariant vervolgens naar targetType. |
variant_get(v, path, targetType) |
Extraheert een subvariant van v volgens pad en cast de subvariant vervolgens naar targetType. |
try_parse_json(col) |
Parseert een kolom met een JSON-tekenreeks in een VariantType. |
to_variant_object(col) |
Converteert een kolom met geneste invoer (array/map/struct) naar een variant waarbij mappen en structs worden geconverteerd naar variantobjecten die, anders dan SQL-structs, niet gerangschikt zijn. |
XML-functies
| Functie | Description |
|---|---|
from_xml(col, schema[, options]) |
Parseert een kolom met een XML-tekenreeks naar een rij met het opgegeven schema. |
schema_of_xml(xml[, options]) |
Hiermee wordt een XML-tekenreeks geparseerd en wordt het schema afgeleid in DDL-indeling. |
to_xml(col[, options]) |
Converteert een kolom met een StructType naar een XML-tekenreeks. |
xpath(xml, path) |
Retourneert een tekenreeksmatrix met waarden binnen de knooppunten van xml die overeenkomen met de XPath-expressie. |
xpath_boolean(xml, path) |
Retourneert waar als de XPath-expressie waar oplevert of als er een overeenkomend knooppunt wordt gevonden. |
xpath_double(xml, path) |
Retourneert een dubbele waarde, de waarde nul als er geen overeenkomst wordt gevonden of NaN als een overeenkomst wordt gevonden, maar de waarde niet-numeriek is. |
xpath_float(xml, path) |
Retourneert een float-waarde, de waarde nul als er geen overeenkomst wordt gevonden of NaN als een overeenkomst wordt gevonden, maar de waarde niet-numeriek is. |
xpath_int(xml, path) |
Retourneert een geheel getal of de waarde nul als er geen overeenkomst wordt gevonden, of een overeenkomst wordt gevonden, maar de waarde is niet-numeriek. |
xpath_long(xml, path) |
Retourneert een lang geheel getal of de waarde nul als er geen overeenkomst wordt gevonden, of een overeenkomst wordt gevonden, maar de waarde is niet-numeriek. |
xpath_number(xml, path) |
Retourneert een dubbele waarde, de waarde nul als er geen overeenkomst wordt gevonden of NaN als een overeenkomst wordt gevonden, maar de waarde niet-numeriek is. |
xpath_short(xml, path) |
Retourneert een korte geheel getalwaarde of de waarde nul als er geen overeenkomst wordt gevonden, of een overeenkomst wordt gevonden, maar de waarde is niet-numeriek. |
xpath_string(xml, path) |
Retourneert de tekstinhoud van het eerste XML-knooppunt dat overeenkomt met de XPath-expressie. |
URL-functies
| Functie | Description |
|---|---|
parse_url(url, partToExtract[, key]) |
Extraheert een opgegeven onderdeel uit een URL. |
try_parse_url(url, partToExtract[, key]) |
Probeer de parse_url bewerking uit te voeren, maar retourneer een NULL-waarde in plaats van een fout op te geven als de parsering niet kan worden uitgevoerd. |
url_decode(str) |
Decodeert een met URL-gecodeerde tekenreeks in application/x-www-form-urlencoded naar de oorspronkelijke indeling. |
url_encode(str) |
Codeert een string in een URL-gecodeerde string in het formaat 'application/x-www-form-urlencoded'. |
try_url_decode(str) |
Probeer de url_decode bewerking uit te voeren, maar retourneer een NULL-waarde in plaats van een fout op te geven als de decodering niet kan worden uitgevoerd. |
Diverse functies
| Functie | Description |
|---|---|
aes_decrypt(input, key[, mode, padding, aad]) |
Retourneert een ontsleutelde waarde van invoer met behulp van AES in de modus met opvulling. |
aes_encrypt(input, key[, mode, padding, iv, aad]) |
Retourneert een versleutelde waarde van invoer met AES in de opgegeven modus met de opgegeven opvulling. |
assert_true(col[, errMsg]) |
Retourneert null als de invoerkolom waar is; genereert anders een uitzondering met het opgegeven foutbericht. |
bitmap_bit_position(col) |
Retourneert de bitpositie voor de opgegeven invoerkolom. |
bitmap_bucket_number(col) |
Retourneert het bucketnummer voor de opgegeven invoerkolom. |
bitmap_count(col) |
Retourneert het aantal ingestelde bits in de invoer bitmap. |
current_catalog() |
Retourneert de huidige catalogus. |
current_database() |
Retourneert de huidige database. |
current_schema() |
Retourneert het huidige schema. |
current_user() |
Retourneert de huidige gebruiker. |
hll_sketch_estimate(col) |
Retourneert het geschatte aantal unieke waarden op basis van de binaire weergave van een Datasketches HllSketch. |
hll_union(col1, col2[, allowDifferentLgConfigK]) |
Hiermee worden twee binaire weergaven van Datasketches HllSketch-objecten samengevoegd met behulp van een Datasketches Union-object. |
input_file_block_length() |
Retourneert de lengte van het blok dat wordt gelezen of -1 indien niet beschikbaar. |
input_file_block_start() |
Retourneert de beginverrekening van het blok dat wordt gelezen of -1 indien niet beschikbaar. |
input_file_name() |
Hiermee maakt u een tekenreekskolom voor de bestandsnaam van de huidige Spark-taak. |
java_method(*cols) |
Roept een methode aan met weerspiegeling. |
monotonically_increasing_id() |
Een kolom die monotonisch toenemende 64-bits gehele getallen genereert. |
raise_error(errMsg) |
Genereert een uitzondering met het opgegeven foutbericht. |
reflect(*cols) |
Roept een methode aan met weerspiegeling. |
session_user() |
Retourneert de gebruikersnaam van de huidige uitvoeringscontext. |
spark_partition_id() |
Een kolom voor partitie-id. |
try_aes_decrypt(input, key[, mode, padding, aad]) |
Probeer de aes_decrypt bewerking uit te voeren, maar retourneer een NULL-waarde in plaats van een fout op te geven als de ontsleuteling niet kan worden uitgevoerd. |
try_reflect(*cols) |
Probeer een reflect bewerking uit te voeren, maar retourneer een NULL-waarde in plaats van een fout op te geven als de aanroepmethode een uitzondering genereert. |
typeof(col) |
Retourneert DDL-geformatteerde typetekenreeks voor het gegevenstype van de invoer. |
user() |
Retourneert de huidige gebruiker. |
version() |
Retourneert de versie van Spark. |
UDF, UDTF, UDT- en UDT-functies
| Functie | Description |
|---|---|
call_udf(udfName, *cols) |
Een door de gebruiker gedefinieerde functie aanroepen. |
pandas_udf([f, returnType, functionType]) |
Hiermee maakt u een door de gebruiker gedefinieerde pandas-functie (a.k.a. |
udf([f, returnType, useArrow]) |
Hiermee maakt u een door de gebruiker gedefinieerde functie (UDF). |
udtf([cls, returnType, useArrow]) |
Hiermee maakt u een door de gebruiker gedefinieerde tabelfunctie (UDTF). |
unwrap_udt(col) |
Haal de UDT-gegevenstype-kolom uiteen tot zijn onderliggende type. |
Tabelwaardefuncties
| Functie | Description |
|---|---|
TableValuedFunction.collations() |
Haal alle Spark SQL-tekenreekssorteringen op. |
TableValuedFunction.explode(collection) |
Retourneert een DataFrame met een nieuwe rij voor elk element in de opgegeven matrix of kaart. |
TableValuedFunction.explode_outer(collection) |
Retourneert een DataFrame met een nieuwe rij voor elk element met positie in de opgegeven matrix of kaart. |
TableValuedFunction.inline(input) |
Explodeert een matrix met structs in een tabel. |
TableValuedFunction.inline_outer(input) |
Explodeert een matrix met structs in een tabel. |
TableValuedFunction.json_tuple(input, *fields) |
Hiermee maakt u een nieuwe rij voor een json-kolom op basis van de opgegeven veldnamen. |
TableValuedFunction.posexplode(collection) |
Retourneert een DataFrame met een nieuwe rij voor elk element met positie in de opgegeven matrix of kaart. |
TableValuedFunction.posexplode_outer(collection) |
Retourneert een DataFrame met een nieuwe rij voor elk element met positie in de opgegeven matrix of kaart. |
TableValuedFunction.range(start[, end, ...]) |
Maak een DataFrame met één pyspark.sql.types.LongType-kolom met de naam id, met elementen in een bereik van begin tot eind (exclusief) met stapwaardestap. |
TableValuedFunction.sql_keywords() |
Spark SQL-trefwoorden ophalen. |
TableValuedFunction.stack(n, *fields) |
Scheidt col1, ..., colk in n rijen. |
TableValuedFunction.variant_explode(input) |
Scheidt een variantobject/matrix in meerdere rijen die de velden/elementen bevatten. |
TableValuedFunction.variant_explode_outer(input) |
Scheidt een variantobject/matrix in meerdere rijen die de velden/elementen bevatten. |