Funkcje PySpark

Ta strona zawiera listę funkcji SQL PySpark dostępnych w usłudze Databricks z linkami do odpowiedniej dokumentacji referencyjnej.

Funkcje normalne

Funkcja	Description
broadcast(df)	Oznacza ramkę danych jako na tyle małą, aby używać jej w sprzężeniach rozgłaszanych.
call_function(funcName, *cols)	Wywoływanie funkcji SQL.
col(col)	Zwraca kolumnę na podstawie podanej nazwy kolumny.
column(col)	Zwraca kolumnę na podstawie podanej nazwy kolumny.
lit(col)	Tworzy kolumnę wartości literału.
expr(str)	Analizuje ciąg wyrażenia w kolumnie, którą reprezentuje

Funkcje warunkowe

Funkcja	Description
coalesce(*cols)	Zwraca pierwszą kolumnę, która nie ma wartości null.
ifnull(col1, col2)	Zwraca col2, jeśli col1 jest nullem, lub col1 w przeciwnym razie.
nanvl(col1, col2)	Zwraca kolumnę col1, jeśli nie jest to wartość NaN lub col2, jeśli kolumna col1 ma wartość NaN.
nullif(col1, col2)	Zwraca wartość null, jeśli kolumna col1 jest równa col2 lub col1 w przeciwnym razie.
nullifzero(col)	Zwraca wartość null, jeśli kolumna jest równa zero lub kolumna w przeciwnym razie.
nvl(col1, col2)	Zwraca col2, jeśli col1 jest nullem, lub col1 w przeciwnym razie.
nvl2(col1, col2, col3)	Zwraca col2, jeśli col1 nie ma wartości null, lub col3 w przeciwnym razie.
when(condition, value)	Oblicza listę warunków i zwraca jedno z wielu możliwych wyrażeń wyników.
zeroifnull(col)	Zwraca zero, jeśli col jest wartością null, lub col w przeciwnym razie.

Funkcje dopasowywania wzorców

Funkcja	Description
equal_null(col1, col2)	Zwraca ten sam wynik co operator EQUAL(=) dla operandów innych niż null, ale zwraca wartość true, jeśli oba są wartością null, wartość false, jeśli jedna z nich ma wartość null.
ilike(str, pattern[, escapeChar])	Zwraca wartość true, jeśli str pasuje do wzorca z uwzględnieniem znaków ucieczki bez rozróżniania wielkości liter, wartość null, jeśli którykolwiek z argumentów ma wartość null, w przeciwnym razie zwraca wartość false.
isnan(col)	Wyrażenie, które zwraca wartość true, jeśli kolumna zawiera NaN.
isnotnull(col)	Zwraca wartość true, jeśli kolumna nie ma wartości null lub w przeciwnym razie wartość false.
isnull(col)	Wyrażenie zwracające wartość true, jeśli kolumna ma wartość null.
like(str, pattern[, escapeChar])	Zwraca true, jeśli str pasuje do wzorca z użyciem escape, null, jeśli którykolwiek z argumentów ma wartość null, w przeciwnym razie false.
regexp(str, regexp)	Zwraca wartość "true", jeśli wartość str pasuje do wyrażenia regularnego w języku Java, lub "false" w przeciwnym razie.
regexp_like(str, regexp)	Zwraca wartość "true", jeśli wartość str pasuje do wyrażenia regularnego w języku Java, lub "false" w przeciwnym razie.
rlike(str, regexp)	Zwraca wartość "true", jeśli wartość str pasuje do wyrażenia regularnego w języku Java, lub "false" w przeciwnym razie.

Funkcje sortowania

Funkcja	Description
asc(col)	Zwraca wyrażenie sortowania dla kolumny docelowej w kolejności rosnącej.
asc_nulls_first(col)	Zwraca wyrażenie sortujące w kolejności rosnącej podanej nazwy kolumny, a wartości null są zwracane przed wartościami niebędącymi null.
asc_nulls_last(col)	Zwraca wyrażenie sortowania według kolejności rosnącej dla podanej nazwy kolumny, przy czym wartości puste pojawiają się po wartościach niepustych.
desc(col)	Zwraca wyrażenie sortowania dla kolumny docelowej w kolejności malejącej.
desc_nulls_first(col)	Zwraca wyrażenie sortowania na podstawie kolejności malejącej podanej nazwy kolumny, a wartości null są wyświetlane przed wartościami innych niż null.
desc_nulls_last(col)	Zwraca wyrażenie sortowania, które bazuje na malejącej kolejności danej nazwy kolumny, a wartości null pojawiają się po wartościach nie-nullowych.

Funkcje matematyczne

Funkcja	Description
abs(col)	Oblicza wartość bezwzględną podanej kolumny lub wyrażenia.
acos(col)	Oblicza odwrotny cosinus (znany również jako arckosinus) danej kolumny lub wyrażenia.
acosh(col)	Oblicza odwrotny cosinus hiperboliczny (znany również jako arcosh) danej kolumny lub wyrażenia.
asin(col)	Oblicza odwrotny sinus kolumny wejściowej.
asinh(col)	Oblicza odwrotny sinus hiperboliczny kolumny wejściowej.
atan(col)	Obliczanie odwrotnego tangensu kolumny wejściowej.
atan2(col1, col2)	Oblicz kąt w radianach między dodatnią osią x płaszczyzny a punktem podanym przez współrzędne
atanh(col)	Oblicza odwrotny tangens hiperboliczny kolumny wejściowej.
bin(col)	Zwraca reprezentację ciągu wartości binarnej danej kolumny.
bround(col[, scale])	Zaokrąglij daną wartość do określonej liczby miejsc dziesiętnych, używając trybu zaokrąglania HALF_EVEN, jeśli skala >= 0, lub do części całkowitej, gdy skala < 0.
cbrt(col)	Oblicza pierwiastek modułu danej wartości.
ceil(col[, scale])	Oblicza limit danej wartości.
ceiling(col[, scale])	Oblicza limit danej wartości.
conv(col, fromBase, toBase)	Przekonwertuj liczbę w kolumnie ciągu z jednej podstawy na inną.
cos(col)	Oblicza cosinus kolumny wejściowej.
cosh(col)	Oblicza cosinus hiperboliczny kolumny wejściowej.
cot(col)	Oblicza cotangent kolumny wejściowej.
csc(col)	Oblicza kosekans wartości kolumny wejściowej.
degrees(col)	Konwertuje kąt mierzony w radianach na w przybliżeniu równoważny kąt mierzony w stopniach.
e()	Zwraca liczbę Eulera.
exp(col)	Oblicza wykładnik danej wartości.
expm1(col)	Oblicza wykładnik danej wartości minus jeden.
factorial(col)	Oblicza współczynnik danej wartości.
floor(col[, scale])	Oblicza część całkowitą danej wartości.
greatest(*cols)	Zwraca największą wartość listy nazw kolumn, pomijając wartości null.
hex(col)	Oblicza wartość szesnastkową podanej kolumny, która może być StringType, BinaryType, IntegerType lub LongType.
hypot(col1, col2)	Oblicza sqrt(a^2 + b^2) bez pośredniego przepełnienia lub niedopełnienia.
least(*cols)	Zwraca najmniejszą wartość listy nazw kolumn, pomijając wartości null.
ln(col)	Zwraca logarytm naturalny argumentu.
log(arg1[, arg2])	Zwraca pierwszy logarytm oparty na argumentach drugiego argumentu.
log10(col)	Oblicza logarytm danej wartości w bazie 10.
log1p(col)	Oblicza logarytm naturalny danej wartości plus jeden.
log2(col)	Zwraca logarytm base-2 argumentu.
negate(col)	Zwraca wartość ujemną.
negative(col)	Zwraca wartość ujemną.
pi()	Zwraca pi.
pmod(dividend, divisor)	Zwraca dodatnią wartość dzielnika mod dywidendy.
positive(col)	Zwraca wartość.
pow(col1, col2)	Zwraca wartość pierwszego argumentu podniesionego do potęgi drugiego argumentu.
power(col1, col2)	Zwraca wartość pierwszego argumentu podniesionego do potęgi drugiego argumentu.
radians(col)	Konwertuje kąt mierzony w stopniach na w przybliżeniu równoważny kąt mierzony w radianach.
rand([seed])	Generuje losową kolumnę z niezależnymi i identycznymi rozproszonymi próbkami (i.i.d.) równomiernie rozłożonymi w [0.0, 1.0).
randn([seed])	Generuje losową kolumnę z próbkami niezależnymi i identycznie rozłożonymi (i.i.d.) ze standardowej dystrybucji normalnej.
rint(col)	Zwraca wartość typu double, która znajduje się najbliżej wartości argumentu i jest równa liczbie całkowitej.
round(col[, scale])	Zaokrąglij daną wartość do określonej liczby miejsc dziesiętnych przy użyciu trybu zaokrąglania HALF_UP, jeśli skala >= 0, lub w części całkowitej, gdy skala < 0.
sec(col)	Oblicza sieczną wartości kolumny wejściowej.
sign(col)	Oblicza znak danej wartości.
signum(col)	Oblicza znak danej wartości.
sin(col)	Oblicza sinus kolumny wejściowej.
sinh(col)	Oblicza sinus hiperboliczny kolumny wejściowej.
sqrt(col)	Oblicza pierwiastek kwadratowy określonej wartości zmiennoprzecinkowej.
tan(col)	Oblicza tangens kolumny wejściowej.
tanh(col)	Oblicza tangens hiperboliczny kolumny wejściowej.
try_add(left, right)	Zwraca sumę wartości lewej i prawej, a wynik ma wartość null w przypadku przepełnienia.
try_divide(left, right)	Zwraca dywidendę/dzielnika.
try_mod(left, right)	Zwraca resztę po dywidendzie/dzielnika.
try_multiply(left, right)	Zwraca lewą wartość pomnożoną przez prawą, a w przypadku przepełnienia wynik to null.
try_subtract(left, right)	Zwraca lewy minus prawy, a wynik ma wartość null przy przepełnieniu.
unhex(col)	Odwrotność szesnastkowy.
uniform(min, max[, seed])	Zwraca wartość losową z wartościami niezależnymi i identycznymi (i.i.d.) z określonym zakresem liczb.
width_bucket(v, min, max, numBucket)	Zwraca liczbę zasobnika, do której wartość tego wyrażenia spadnie po obliczeniu.

Funkcje łańcuchów znakowych

Funkcja	Description
ascii(col)	Oblicza wartość liczbową pierwszego znaku kolumny ciągu.
base64(col)	Oblicza kodowanie BASE64 dla kolumny binarnej i zwraca wynik jako kolumnę typu string.
bit_length(col)	Oblicza długość bitu dla określonej kolumny ciągu.
btrim(str[, trim])	Usuń znaki wiodącego i końcowego przycinania ze ciągu.
char(col)	Zwraca znak ASCII odpowiadający wartości binarnej równej podanej liczbie.
char_length(str)	Zwraca długość znaków danych ciągu lub liczbę bajtów danych binarnych.
character_length(str)	Zwraca długość znaków danych ciągu lub liczbę bajtów danych binarnych.
collate(col, collation)	Oznacza daną kolumnę z określonym sortowaniem.
collation(col)	Zwraca nazwę sortowania danej kolumny.
concat_ws(sep, *cols)	Łączy wiele kolumn ciągów wejściowych ze sobą w jedną kolumnę ciągu przy użyciu danego separatora.
contains(left, right)	Zwraca wartość logiczną.
decode(col, charset)	Oblicza pierwszy argument do ciągu znaków z postaci binarnej przy użyciu podanego zestawu znaków (jeden z US-ASCII, ISO-8859-1, UTF-8, UTF-16BE, UTF-16LE, UTF-16, UTF-32).
elt(*inputs)	Zwraca n-te dane wejściowe, np. zwraca input2, gdy n ma wartość 2.
encode(col, charset)	Oblicza pierwszy argument na formę binarną z ciągu, używając podanego zestawu znaków (jeden z US-ASCII, ISO-8859-1, UTF-8, UTF-16BE, UTF-16LE, UTF-16, UTF-32).
endswith(str, suffix)	Zwraca wartość logiczną.
find_in_set(str, str_array)	Zwraca indeks (oparty na 1) danego ciągu (str) na liście rozdzielanej przecinkami (strArray).
format_number(col, d)	Formatuje liczbę X do formatu, takiego jak #,--#,--#.--, zaokrąglając do d miejsc dziesiętnych z trybem zaokrąglania HALF_EVEN, i zwraca wynik jako ciąg znaków.
format_string(format, *cols)	Formatuje argumenty w stylu printf i zwraca wynik jako kolumnę ciągu.
initcap(col)	Przetłumacz pierwszą literę każdego wyrazu na wielkie litery w zdaniu.
instr(str, substr)	Znajdź pozycję pierwszego wystąpienia kolumny substr w danym ciągu.
is_valid_utf8(str)	Zwraca wartość true, jeśli dane wejściowe są prawidłowym ciągiem UTF-8, w przeciwnym razie zwraca wartość false.
lcase(str)	Zwraca wartość str ze wszystkimi znakami zmienionymi na małe litery.
left(str, len)	Zwraca znak len po lewej stronie (len może być typem ciągu) ze str ciągu, jeśli wartość len jest mniejsza lub równa 0, wynik jest pustym ciągiem.
length(col)	Oblicza długość znaków danych ciągu lub liczbę bajtów danych binarnych.
levenshtein(left, right[, threshold])	Oblicza odległość Levenshtein dwóch podanych ciągów.
locate(substr, str[, pos])	Znajdź pozycję pierwszego wystąpienia podciągu w kolumnie ciągu po pozycji pos.
lower(col)	Konwertuje wyrażenie ciągu na małe litery.
lpad(col, len, pad)	Wypełnij lewą stronę kolumny ciągu do szerokości len za pomocą podkładki.
ltrim(col[, trim])	Przycina spacje od lewego końca dla określonej wartości ciągu.
make_valid_utf8(str)	Zwraca nowy ciąg, w którym wszystkie nieprawidłowe sekwencje bajtów UTF-8, jeśli istnieją, są zastępowane znakiem zastępczym Unicode (U+FFFD).
mask(col[, upperChar, lowerChar, digitChar, ...])	Maskuje daną wartość ciągu.
octet_length(col)	Oblicza długość bajtu dla określonej kolumny ciągu.
overlay(src, replace, pos[, len])	Nałóż określoną część src, zastępując ją, zaczynając od pozycji bajtowej pos źródła src i postępując przez len bajtów.
position(substr, str[, start])	Zwraca pozycję pierwszego wystąpienia podciągu substr w str po pozycji start.
printf(format, *cols)	Formatuje argumenty w stylu printf i zwraca wynik jako kolumnę ciągu.
randstr(length[, seed])	Zwraca ciąg o określonej długości, którego znaki są wybierane równomiernie losowo z następującej puli znaków: 0–9, a-z, A-Z.
regexp_count(str, regexp)	Zwraca liczbę wystąpień wzorca wyrażeń regularnych Java regexp dopasowywanego w ciągu str.
regexp_extract(str, pattern, idx)	Wyodrębnij określoną grupę dopasowaną przez wyrażenie regularne języka Java z określonej kolumny tekstowej.
regexp_extract_all(str, regexp[, idx])	Wyodrębnij wszystkie ciągi w ciągu, które pasują do wyrażenia regularnego w języku Java i odpowiadające indeksowi grupy wyrażeń regularnych.
regexp_instr(str, regexp[, idx])	Zwraca pozycję pierwszego podciągu w str, który pasuje do regexu Java i odpowiada indeksowi grupy regex.
regexp_replace(string, pattern, replacement)	Zastąp wszystkie podciągi określonej wartości ciągu, które pasują do wyrażenia regularnego, zamiennikiem.
regexp_substr(str, regexp)	Zwraca pierwszy podciąg, który pasuje do wyrażenia regularnego Java w łańcuchu znaków str.
repeat(col, n)	Powtarza kolumnę ciągu n razy i zwraca ją jako nową kolumnę ciągu.
replace(src, search[, replace])	Zastępuje wszystkie wystąpienia elementu „search” na „replace”.
right(str, len)	Zwraca najbardziej prawą wartość len (len może być typem ciągu) znaków ze str ciągu, jeśli wartość len jest mniejsza lub równa 0, wynik jest pustym ciągiem.
rpad(col, len, pad)	Dopełnij kolumnę ciągu prawym przyciskiem do szerokości za pomocą podkładki.
rtrim(col[, trim])	Przycina spacje z prawej strony dla określonej wartości ciągu.
sentences(string[, language, country])	Dzieli ciąg na tablice zdań, gdzie każde zdanie jest tablicą wyrazów.
soundex(col)	Zwraca kodowanie SoundEx dla ciągu
split(str, pattern[, limit])	Dzieli ciąg dookoła dopasowań do podanego wzorca.
split_part(src, delimiter, partNum)	Dzieli fragment według ogranicznika i zwraca żądaną część podziału (oparte na 1).
startswith(str, prefix)	Zwraca wartość logiczną.
substr(str, pos[, len])	Zwraca podciąg str, który zaczyna się od pos i ma długość len, lub fragment tablicy bajtów, która zaczyna się od pos i ma długość len.
substring(str, pos, len)	Podciąg rozpoczyna się w pozycji 'pos' i ma długość 'len', gdy 'str' jest typu String, lub zwraca fragment tablicy bajtów, który zaczyna się od pozycji 'pos' i ma długość 'len', gdy 'str' jest typu Binary.
substring_index(str, delim, count)	Zwraca podciąg z ciągu str, który występuje przed określoną liczbą wystąpień ogranicznika delim.
to_binary(col[, format])	Konwertuje kolumnę wejściową na wartość binarną na podstawie podanego formatu.
to_char(col, format)	Przekonwertuj kolumnę na ciąg na podstawie formatu.
to_number(col, format)	Przekonwertuj ciąg "col" na liczbę na podstawie formatu ciągu "format".
to_varchar(col, format)	Przekonwertuj kolumnę na ciąg na podstawie formatu.
translate(srcCol, matching, replace)	Przetłumacz dowolny znak w srcCol przez znak w dopasowaniu.
trim(col[, trim])	Przyciąć spacje z końców dla określonej kolumny ciągu.
try_to_binary(col[, format])	Spróbuj wykonać operację to_binary , ale zwróć wartość NULL zamiast zgłaszać błąd, jeśli nie można wykonać konwersji.
try_to_number(col, format)	Przekonwertuj ciąg col na liczbę na podstawie formatu format ciągu.
try_validate_utf8(str)	Zwraca wartość wejściową, jeśli odpowiada prawidłowemu ciągowi UTF-8 lub null w inny sposób.
ucase(str)	Zwraca wartość str ze wszystkimi znakami zmienionymi na wielkie litery.
unbase64(col)	Dekoduje kolumnę ciągów zakodowanych w formacie BASE64 i zwraca ją jako kolumnę binarną.
upper(col)	Konwertuje wyrażenie tekstowe na wielkie litery.
validate_utf8(str)	Zwraca wartość wejściową, jeśli odpowiada prawidłowemu ciągowi UTF-8 lub generuje błąd w przeciwnym razie.

Funkcje bitowe

Funkcja	Description
bit_count(col)	Zwraca liczbę bitów ustawionych w eksplorze argumentów jako niepodpisaną 64-bitową liczbę całkowitą lub wartość NULL, jeśli argument ma wartość NULL.
bit_get(col, pos)	Zwraca wartość bitu (0 lub 1) w określonej pozycji.
bitwise_not(col)	Nie oblicza bitów.
getbit(col, pos)	Zwraca wartość bitu (0 lub 1) w określonej pozycji.
shiftleft(col, numBits)	Przesuń podaną wartość numBits w lewo.
shiftright(col, numBits)	(Podpisane) przesuń daną wartość w prawo numBits.
shiftrightunsigned(col, numBits)	Niepodpisane przesunięcie podanej wartości numBits w prawo.

Funkcje daty/godziny

Funkcja	Description
add_months(start, months)	Zwraca datę, która jest o miesiące miesięcy po dacie początkowej.
convert_timezone(sourceTz, targetTz, sourceTs)	Konwertuje znacznik czasu bez strefy czasowej z strefy czasowej sourceTz do targetTz.
curdate()	Zwraca bieżącą datę na początku oceny zapytania jako kolumnę DateType.
current_date()	Zwraca bieżącą datę na początku oceny zapytania jako kolumnę DateType.
current_timestamp()	Zwraca bieżący znacznik czasu na początku oceny zapytania jako kolumnę TimestampType.
current_timezone()	Zwraca lokalną strefę czasową bieżącej sesji.
date_add(start, days)	Zwraca datę, która jest liczbą dni po dacie początkowej.
date_diff(end, start)	Zwraca liczbę dni od początku do końca.
date_format(date, format)	Konwertuje datę/znacznik czasu/ciąg na wartość typu ciąg w formacie określonym przez format daty podany jako drugi argument.
date_from_unix_date(days)	Utwórz datę na podstawie liczby dni od 1970-01-01.
date_part(field, source)	Wyodrębnia część źródła daty/godziny lub interwału.
date_sub(start, days)	Zwraca datę, która przypada na określoną liczbę dni przed datą początkową.
date_trunc(format, timestamp)	Zwraca znacznik czasu obcięty do jednostki określonej przez format.
dateadd(start, days)	Zwraca datę, która jest liczbą dni po dacie początkowej.
datediff(end, start)	Zwraca liczbę dni od początku do końca.
datepart(field, source)	Wyodrębnia część źródła daty/godziny lub interwału.
day(col)	Wyodrębnij dzień miesiąca danej daty/czasu jako liczbę całkowitą.
dayname(col)	Zwraca trzyliterową skróconą nazwę dnia z danej daty.
dayofmonth(col)	Wyodrębnij dzień miesiąca danej daty/czasu jako liczbę całkowitą.
dayofweek(col)	Wyodrębnij dzień tygodnia danego znacznika daty/godziny jako liczbę całkowitą.
dayofyear(col)	Pobierz dzień roku z danego znacznika czasowego jako liczbę całkowitą.
extract(field, source)	Wyodrębnia część źródła daty/godziny lub interwału.
from_unixtime(timestamp[, format])	Konwertuje liczbę sekund z epoki unix (1970-01-01 00:00:00 UTC) na ciąg reprezentujący sygnaturę czasową tego momentu w bieżącej strefie czasowej systemu w danym formacie.
from_utc_timestamp(timestamp, tz)	Jest to typowa funkcja dla baz danych obsługujących sygnaturę CZASOWĄ BEZ TIMEZONE.
hour(col)	Wyodrębnij godziny danego znacznika czasu jako liczbę całkowitą.
last_day(date)	Zwraca ostatni dzień miesiąca, do którego należy dana data.
localtimestamp()	Zwraca bieżący znacznik czasu bez strefy czasowej na początku oceny zapytania jako znacznik czasu bez kolumny strefy czasowej.
make_date(year, month, day)	Zwraca kolumnę z datą utworzoną na podstawie kolumn roku, miesiąca i dnia.
make_dt_interval([days, hours, mins, secs])	Ustaw czas trwania DayTimeIntervalType z dni, godzin, minut i sekund.
make_interval([years, months, weeks, days, ...])	Utwórz interwał z lat, miesięcy, tygodni, dni, godzin, minut i sekund.
make_timestamp(years, months, days, hours, ...)	Utwórz znacznik czasu z lat, miesięcy, dni, godzin, minut, sekund i pól strefy czasowej.
make_timestamp_ltz(years, months, days, ...)	Utwórz bieżący znacznik czasu, korzystając z lokalnej strefy czasowej, z pól odpowiadających za lata, miesiące, dni, godziny, minuty, sekundy i strefę czasową.
make_timestamp_ntz(years, months, days, ...)	Utwórz lokalną datę i godzinę z pól lat, miesięcy, dni, godzin, minut, sekund.
make_ym_interval([years, months])	Utwórz interwał rok-miesiąc z lat, miesięcy.
minute(col)	Wyodrębnij minuty danego znacznika czasu jako liczbę całkowitą.
month(col)	Wyodrębnij miesiąc z podanej daty lub znacznika czasu jako liczbę całkowitą.
monthname(col)	Zwraca trzyliterową skróconą nazwę miesiąca z danej daty.
months_between(date1, date2[, roundOff])	Zwraca liczbę miesięcy między datami date1 i date2.
next_day(date, dayOfWeek)	Zwraca pierwszą datę, która jest późniejsza niż wartość kolumny daty na podstawie argumentu drugiego dnia tygodnia.
now()	Zwraca bieżący znacznik czasu na początku oceny zapytania.
quarter(col)	Wyodrębnij kwartał z podanego znacznika czasu jako liczbę całkowitą.
second(col)	Wyodrębnij sekundy danej daty jako liczbę całkowitą.
session_window(timeColumn, gapDuration)	Generuje okno sesji przy użyciu znacznika czasu określającego kolumnę.
timestamp_add(unit, quantity, ts)	Pobiera różnicę między znacznikami czasu w określonych jednostkach przez usunięcie części ułamkowej.
timestamp_diff(unit, start, end)	Pobiera różnicę między znacznikami czasu w określonych jednostkach przez usunięcie części ułamkowej.
timestamp_micros(col)	Tworzy znacznik czasu z liczby mikrosekund od epoki UTC.
timestamp_millis(col)	Tworzy znacznik czasu z liczby milisekund od epoki UTC.
timestamp_seconds(col)	Konwertuje liczbę sekund z epoki unix (1970-01-01T00:00:00Z) na znacznik czasu.
to_date(col[, format])	Konwertuje kolumnę na pyspark.sql.types.DateType przy użyciu opcjonalnego określonego formatu.
to_timestamp(col[, format])	Konwertuje kolumnę na pyspark.sql.types.TimestampType przy użyciu opcjonalnego określonego formatu.
to_timestamp_ltz(timestamp[, format])	Analizuje znacznik czasu w formacie na znacznik czasu ze strefą czasową.
to_timestamp_ntz(timestamp[, format])	Analizuje znacznik czasu w określonym formacie na znacznik czasu bez strefy czasowej.
to_unix_timestamp(timestamp[, format])	Zwraca znacznik czasu systemu UNIX danego czasu.
to_utc_timestamp(timestamp, tz)	Jest to typowa funkcja dla baz danych obsługujących sygnaturę CZASOWĄ BEZ TIMEZONE.
trunc(date, format)	Zwraca datę obciętą do jednostki określonej przez format.
try_make_interval([years, months, weeks, ...])	Spróbuj wykonać operację make_interval, ale zamiast zgłaszać błąd, zwróć wartość NULL, jeśli nie uda się utworzyć interwału.
try_make_timestamp(years, months, days, ...)	Spróbuj utworzyć znacznik czasu z lat, miesięcy, dni, godzin, minut, sekund i pól strefy czasowej.
try_make_timestamp_ltz(years, months, days, ...)	Spróbuj utworzyć bieżący znacznik czasu z lokalną strefą czasową z lat, miesięcy, dni, godzin, minut, sekund i pól strefy czasowej.
try_make_timestamp_ntz(years, months, days, ...)	Spróbuj utworzyć lokalną datę i godzinę z pól lat, miesięcy, dni, godziny, minuty, sekundy.
try_to_timestamp(col[, format])	Analizuje kolumnę z formatem na znacznik czasu.
unix_date(col)	Zwraca liczbę dni od 1970-01-01.
unix_micros(col)	Zwraca liczbę mikrosekund od 1970-01-01 00:00:00 UTC.
unix_millis(col)	Zwraca liczbę milisekund od 1970-01-01 00:00:00 UTC.
unix_seconds(col)	Zwraca liczbę sekund od 1970-01-01 00:00:00 UTC.
unix_timestamp([timestamp, format])	Przekonwertuj ciąg czasu z danym wzorcem ('rrrr-MM-dd HH:mm:ss', domyślnie) na sygnaturę czasową systemu Unix (w sekundach), używając domyślnej strefy czasowej i domyślnych ustawień regionalnych, zwraca wartość null, jeśli nie powiodło się.
weekday(col)	Zwraca dzień tygodnia dla daty/znacznika czasu (0 = poniedziałek, 1 = wtorek, ..., 6 = niedziela).
weekofyear(col)	Wyodrębnij numer tygodnia danej daty jako liczbę całkowitą.
window(timeColumn, windowDuration[, ...])	Podziel wiersze na jeden lub więcej przedziałów czasowych, podając kolumnę z sygnaturą czasową do określenia.
window_time(windowColumn)	Oblicza czas zdarzenia z kolumny okna.
year(col)	Wyodrębnij rok danego znacznika czasu jako liczbę całkowitą.

Funkcje skrótu

Funkcja	Description
crc32(col)	Oblicza wartość cyklicznej kontroli nadmiarowości (CRC32) kolumny binarnej i zwraca ją jako bigint.
hash(*cols)	Oblicza kod skrótu podanych kolumn i zwraca wynik jako kolumnę int.
md5(col)	Oblicza skrót MD5 i zwraca wartość jako 32-znakowy ciąg szesnastkowy.
sha(col)	Zwraca wartość skrótu sha1 jako ciąg szesnastkowy kolumny.
sha1(col)	Zwraca wynik ciągu szesnastkowego SHA-1.
sha2(col, numBits)	Zwraca wynik ciągu szesnastkowego dla rodziny funkcji skrótu SHA-2 (SHA-224, SHA-256, SHA-384 i SHA-512).
xxhash64(*cols)	Oblicza kod skrótu podanych kolumn przy użyciu 64-bitowego wariantu algorytmu xxHash i zwraca wynik jako długą kolumnę.

Funkcje odbioru

Funkcja	Description
aggregate(col, initialValue, merge[, finish])	Stosuje operator binarny do stanu początkowego i wszystkich elementów tablicy i zmniejsza go do jednego stanu.
array_sort(col[, comparator])	Sortuje tablicę wejściową w kolejności rosnącej.
cardinality(col)	Zwraca długość tablicy lub mapy przechowywanej w kolumnie.
concat(*cols)	Łączy wiele kolumn wejściowych ze sobą w jedną kolumnę.
element_at(col, extraction)	Zwraca element tablicy w danym indeksie (opartym na 1).
exists(col, f)	Zwraca, czy predykat jest spełniony dla jednego lub więcej elementów w tablicy.
filter(col, f)	Zwraca tablicę elementów, dla których predykat znajduje się w danej tablicy.
forall(col, f)	Zwraca, czy predykat jest spełniony dla każdego elementu w tablicy.
map_filter(col, f)	Zwraca nową kolumnę mapy, której pary klucz-wartość spełniają określoną funkcję warunkową.
map_zip_with(col1, col2, f)	Łączy dwie podane mapy w jedną mapę, stosując funkcję na parach klucz-wartość.
reduce(col, initialValue, merge[, finish])	Stosuje operator binarny do stanu początkowego i wszystkich elementów tablicy i zmniejsza go do jednego stanu.
reverse(col)	Zwraca odwrócony ciąg lub tablicę z elementami w odwrotnej kolejności.
size(col)	Zwraca długość tablicy lub mapy przechowywanej w kolumnie.
transform(col, f)	Zwraca tablicę elementów po zastosowaniu przekształcenia do każdego elementu w tablicy wejściowej.
transform_keys(col, f)	Zastosowuje funkcję do każdej pary klucz-wartość w mapie i zwraca mapę, w której wyniki tych funkcji stają się nowymi kluczami dla par.
transform_values(col, f)	Stosuje funkcję do każdej pary klucz-wartość na mapie i zwraca mapę z wynikami zastosowania funkcji jako nowych wartości dla par.
try_element_at(col, extraction)	Zwraca element tablicy w danym indeksie (opartym na 1).
zip_with(left, right, f)	Połącz dwie dane tablice element po elemencie w jedną tablicę przy użyciu funkcji.

Funkcje tablicy

Funkcja	Description
array(*cols)	Tworzy nową kolumnę tablicy z kolumn wejściowych lub ich nazw.
array_append(col, value)	Zwraca nową kolumnę tablicy przez dodanie wartości do istniejącej kolumny tablicy.
array_compact(col)	Usuwa wartości null z tablicy.
array_contains(col, value)	Zwraca wartość logiczną wskazującą, czy tablica zawiera daną wartość: null, jeśli tablica ma wartość null, wartość true, jeśli tablica zawiera daną wartość, a w przeciwnym razie wartość false.
array_distinct(col)	Usuwa z tablicy zduplikowane wartości.
array_except(col1, col2)	Zwraca nową tablicę zawierającą elementy obecne w kolumnie col1, ale nie w kolumnie col2 bez duplikatów.
array_insert(arr, pos, value)	Wstawia element do określonego miejsca w danej tablicy, według zadanego indeksu.
array_intersect(col1, col2)	Zwraca nową tablicę zawierającą przecięcie elementów w kolumnie col1 i col2 bez duplikatów.
array_join(col, delimiter[, null_replacement])	Zwraca kolumnę tekstową, łącząc elementy kolumny tablicy wejściowej za pomocą ogranicznika.
array_max(col)	Zwraca maksymalną wartość tablicy.
array_min(col)	Zwraca minimalną wartość tablicy.
array_position(col, value)	Lokalizuje położenie pierwszego wystąpienia danej wartości w danej tablicy.
array_prepend(col, value)	Zwraca tablicę zawierającą dany element jako pierwszy element i pozostałe elementy z oryginalnej tablicy.
array_remove(col, element)	Usuń wszystkie elementy, które są równe elementowi z danej tablicy.
array_repeat(col, count)	Tworzy tablicę zawierającą kolumnę powtórzoną określoną liczbę razy.
array_size(col)	Zwraca łączną liczbę elementów w tablicy.
array_union(col1, col2)	Zwraca nową tablicę zawierającą związek elementów w kolumnie col1 i col2 bez duplikatów.
arrays_overlap(a1, a2)	Zwraca kolumnę logiczną wskazującą, czy tablice wejściowe mają wspólne elementy inne niż null, zwracając wartość true, jeśli tak, null, jeśli tablice nie zawierają żadnych wspólnych elementów, ale nie są puste, a co najmniej jeden z nich zawiera element null i w przeciwnym razie wartość false.
arrays_zip(*cols)	Zwraca scaloną tablicę struktur, w której N-ta struktura zawiera wszystkie N-te wartości z tablic wejściowych.
flatten(col)	Tworzy pojedynczą tablicę z tablicy tablic.
get(col, index)	Zwraca element tablicy w danym indeksie (opartym na 0).
sequence(start, stop[, step])	Wygeneruj sekwencję liczb całkowitych od początku do zatrzymania, zwiększając ją krok po kroku.
shuffle(col[, seed])	Generuje losową permutację danej tablicy.
slice(x, start, length)	Zwraca nową kolumnę tablicy, wycinając ją z indeksu początkowego na określoną długość.
sort_array(col[, asc])	Sortuje tablicę wejściową w kolejności rosnącej lub malejącej zgodnie z naturalną kolejnością elementów tablicy.

Funkcje struktury

Funkcja	Description
named_struct(*cols)	Tworzy strukturę z podanymi nazwami i wartościami pól.
struct(*cols)	Tworzy nową kolumnę struktury.

Funkcje mapy

Funkcja	Description
create_map(*cols)	Tworzy nową kolumnę mapy na podstawie parzystej liczby kolumn wejściowych lub odwołań do kolumn.
map_concat(*cols)	Zwraca sumę wszystkich podanych map.
map_contains_key(col, value)	Zwraca wartość true, jeśli mapa zawiera klucz.
map_entries(col)	Zwraca nieurządkowaną tablicę wszystkich wpisów na danej mapie.
map_from_arrays(col1, col2)	Tworzy nową mapę z dwóch tablic.
map_from_entries(col)	Przekształca tablicę wpisów par klucz-wartość (struktury z dwoma polami) na mapę.
map_keys(col)	Zwraca nieurządkowaną tablicę zawierającą klucze mapy.
map_values(col)	Zwraca nieurządkowaną tablicę zawierającą wartości mapy.
str_to_map(text[, pairDelim, keyValueDelim])	Konwertuje ciąg na mapę po podzieleniu tekstu na pary klucz/wartość przy użyciu ograniczników.

Funkcje agregujące

Funkcja	Description
any_value(col[, ignoreNulls])	Zwraca pewną wartość kolumny dla grupy wierszy.
approx_count_distinct(col[, rsd])	Zwraca nową kolumnę, która szacuje przybliżoną liczbę unikatowych elementów w określonej kolumnie lub grupie kolumn.
approx_percentile(col, percentage[, accuracy])	Zwraca przybliżony percentyl kolumny liczbowej, która jest najmniejszą wartością w uporządkowanych wartościach kolumn (posortowanych od najmniej do największych), tak aby nie więcej niż procent wartości kolumny był mniejszy niż wartość lub równa tej wartości.
array_agg(col)	Zwraca listę obiektów z duplikatami.
avg(col)	Zwraca średnią wartości w grupie.
bit_and(col)	Zwraca bitową koniunkcję (AND) wszystkich wartości wejściowych, które nie są null, lub null, jeśli takie wartości nie istnieją.
bit_or(col)	Zwraca bitową wartość OR wszystkich wartości wejściowych innych niż null lub null, jeśli nie ma.
bit_xor(col)	Zwraca wynik operacji bitowej XOR dla wszystkich wartości wejściowych innych niż null lub null, jeśli żadna nie jest dostępna.
bitmap_construct_agg(col)	Zwraca mapę bitową z pozycjami bitów ustawionymi ze wszystkich wartości z kolumny wejściowej.
bitmap_or_agg(col)	Zwraca mapę bitową, która jest wynikiem bitowego LUB wszystkich map bitowych z kolumny wejściowej.
bool_and(col)	Zwraca wartość true, jeśli wszystkie wartości kolumny mają wartość true.
bool_or(col)	Zwraca wartość true, jeśli co najmniej jedna wartość kolumny ma wartość true.
collect_list(col)	Zbiera wartości z kolumny do listy, konserwuje duplikaty i zwraca tę listę obiektów.
collect_set(col)	Zbiera wartości z kolumny do zestawu, eliminując duplikaty i zwracając ten zestaw obiektów.
corr(col1, col2)	Zwraca nową kolumnę dla współczynnika korelacji Pearsona dla kolumn col1 i col2.
count(col)	Zwraca liczbę elementów w grupie.
count_distinct(col, *cols)	Zwraca nową kolumnę reprezentującą liczbę unikalnych wartości w kolumnie lub kolumnach.
count_if(col)	Zwraca liczbę wartości TRUE dla kolumny.
count_min_sketch(col, eps, confidence[, seed])	Zwraca minimalny szkic kolumny z danym esp, ufnością i nasionami.
covar_pop(col1, col2)	Zwraca nową kolumnę dla kowariancji populacji col1 i col2.
covar_samp(col1, col2)	Zwraca nową kolumnę dla współwariancji między kolumnami col1 i col2.
every(col)	Zwraca wartość true, jeśli wszystkie wartości kolumny mają wartość true.
first(col[, ignorenulls])	Zwraca pierwszą wartość w grupie.
first_value(col[, ignoreNulls])	Zwraca pierwszą wartość z kolumny dla grupy wierszy.
grouping(col)	Wskazuje, czy określona kolumna na GROUP BY liście jest agregowana, czy nie, zwraca wartość 1 dla wartości zagregowanej lub 0 dla niezagregowanej w zestawie wyników.
grouping_id(*cols)	Zwraca poziom grupowania równy
histogram_numeric(col, nBins)	Oblicza histogram na podstawie kolumny numerycznej "col" przy użyciu nb przedziałów.
hll_sketch_agg(col[, lgConfigK])	Zwraca aktualizowalną reprezentację binarną elementu Datasketches HllSketch skonfigurowanego za pomocą argumentu lgConfigK.
hll_union_agg(col[, allowDifferentLgConfigK])	Zwraca aktualizowalną reprezentację binarną elementu Datasketches HllSketch, wygenerowaną przez scalenie wcześniej utworzonych wystąpień Datasketches HllSketch za pośrednictwem wystąpienia Datasketches Union.
kurtosis(col)	Zwraca kurtozę wartości w grupie.
last(col[, ignorenulls])	Zwraca ostatnią wartość w grupie.
last_value(col[, ignoreNulls])	Zwraca ostatnią wartość kolumny dla grupy wierszy.
listagg(col[, delimiter])	Zwraca łączenie wartości wejściowych innych niż null oddzielone ogranicznikiem.
listagg_distinct(col[, delimiter])	Zwraca łączenie unikatowych wartości wejściowych innych niż null rozdzielonych ogranicznikiem.
max(col)	Zwraca maksymalną wartość wyrażenia w grupie.
max_by(col, ord)	Zwraca wartość z parametru col skojarzonego z maksymalną wartością z parametru ord.
mean(col)	Zwraca średnią wartości w grupie.
median(col)	Zwraca medianę wartości w grupie.
min(col)	Zwraca minimalną wartość wyrażenia w grupie.
min_by(col, ord)	Zwraca wartość z parametru 'col', która jest powiązana z minimalną wartością z parametru 'ord'.
mode(col[, deterministic])	Zwraca najczęściej spotykaną wartość w grupie.
percentile(col, percentage[, frequency])	Zwraca dokładne percentyle dla liczbowej kolumny expr przy podanych wartościach procentowych w zakresie [0.0, 1.0].
percentile_approx(col, percentage[, accuracy])	Zwraca przybliżony percentyl kolumny liczbowej, która jest najmniejszą wartością w uporządkowanych wartościach kolumn (posortowanych od najmniej do największych), tak aby nie więcej niż procent wartości kolumny był mniejszy niż wartość lub równa tej wartości.
product(col)	Zwraca iloczyn wartości w grupie.
regr_avgx(y, x)	Zwraca średnią zmiennej niezależnej dla par innych niż null w grupie, gdzie y jest zmienną zależną, a x jest zmienną niezależną.
regr_avgy(y, x)	Zwraca średnią zmiennej zależnej dla par innych niż null w grupie, gdzie y jest zmienną zależną, a x jest zmienną niezależną.
regr_count(y, x)	Zwraca liczbę par liczb innych niż null w grupie, gdzie y jest zmienną zależną, a x jest zmienną niezależną.
regr_intercept(y, x)	Zwraca punkt przecięcia linii regresji liniowej jednowymiarowej dla par, które nie są null w grupie, gdzie y jest zmienną zależną, a x jest zmienną niezależną.
regr_r2(y, x)	Zwraca współczynnik określania par innych niż null w grupie, gdzie y jest zmienną zależną, a x jest zmienną niezależną.
regr_slope(y, x)	Zwraca nachylenie linii regresji liniowej dla par innych niż null w grupie, gdzie y jest zmienną zależną, a x jest zmienną niezależną.
regr_sxx(y, x)	Zwraca wartość REGR_COUNT(y, x) * VAR_POP(x) dla par innych niż null w grupie, gdzie y jest zmienną zależną i x jest zmienną niezależną.
regr_sxy(y, x)	Zwraca wartości REGR_COUNT(y, x) * COVAR_POP(y, x) dla par innych niż null w grupie, gdzie y jest zmienną zależną i x jest zmienną niezależną.
regr_syy(y, x)	Zwraca wartość REGR_COUNT(y, x) * VAR_POP(y) dla par innych niż null w grupie, gdzie y jest zmienną zależną i x jest zmienną niezależną.
skewness(col)	Zwraca niesymetryczność wartości w grupie.
some(col)	Zwraca wartość true, jeśli co najmniej jedna wartość kolumny ma wartość true.
std(col)	Alias dla elementu stddev_samp.
stddev(col)	Alias dla elementu stddev_samp.
stddev_pop(col)	Zwraca odchylenie standardowe populacji dla wyrażenia w danej grupie.
stddev_samp(col)	Zwraca niestronne odchylenie standardowe próbki wyrażenia w grupie.
string_agg(col[, delimiter])	Zwraca łączenie wartości wejściowych innych niż null oddzielone ogranicznikiem.
string_agg_distinct(col[, delimiter])	Zwraca łączenie unikatowych wartości wejściowych innych niż null rozdzielonych ogranicznikiem.
sum(col)	Zwraca sumę wszystkich wartości w wyrażeniu.
sum_distinct(col)	Zwraca sumę unikatowych wartości w wyrażeniu.
try_avg(col)	Zwraca średnią obliczoną z wartości grupy, a wynik ma wartość null w przypadku przepełnienia.
try_sum(col)	Zwraca sumę obliczaną na podstawie wartości grupy, a wynik ma wartość null w przypadku przepełnienia.
var_pop(col)	Zwraca wariancję populacji wartości w grupie.
var_samp(col)	Zwraca niestronną wariancję przykładowych wartości w grupie.
variance(col)	Alias dla var_samp

Funkcje okna

Funkcja	Description
cume_dist()	Zwraca skumulowany rozkład wartości w partycji okna, tj. ułamek wierszy znajdujących się poniżej bieżącego wiersza.
dense_rank()	Zwraca rangę wierszy w partycji okna bez żadnych przerw.
lag(col[, offset, default])	Zwraca wartość, która jest przesunięciem wierszy przed bieżącym wierszem, a wartość domyślna, jeśli wiersze są mniejsze niż przesunięcie przed bieżącym wierszem.
lead(col[, offset, default])	Zwraca wartość, która jest przesunięta o wiersze po bieżącym wierszu, oraz wartość domyślną, jeśli mniej niż przesunięcie wierszy jest dostępne po bieżącym wierszu.
nth_value(col, offset[, ignoreNulls])	Zwraca wartość, która jest przesunięciem wiersza ramki okna (licząc od 1), a wartość null, jeśli rozmiar ramki okna jest mniejszy niż wiersze przesunięcia.
ntile(n)	Zwraca identyfikator grupy ntile (od 1 do n włącznie) w uporządkowanej partycji okna.
percent_rank()	Zwraca względną rangę (tj.
rank()	Zwraca rangę wierszy według partycji okna.
row_number()	Zwraca sekwencyjną liczbę rozpoczynającą się od 1 w partycji okna.

Funkcje generatora

Funkcja	Description
explode(col)	Zwraca nowy wiersz dla każdego elementu w danej tablicy lub mapie.
explode_outer(col)	Zwraca nowy wiersz dla każdego elementu w danej tablicy lub mapie.
inline(col)	Eksploduje tablicę struktur w tabeli.
inline_outer(col)	Eksploduje tablicę struktur w tabeli.
posexplode(col)	Zwraca nowy wiersz dla każdego elementu z pozycją w danej tablicy lub mapie.
posexplode_outer(col)	Zwraca nowy wiersz dla każdego elementu z pozycją w danej tablicy lub mapie.
stack(*cols)	Oddziela kolumnę col1, ..., colk na n wierszy.

Funkcje przekształcania partycji

Funkcja	Description
partitioning.years(col)	Przekształcenie znaczników czasu i dat w celu podziału danych na lata.
partitioning.months(col)	Przekształcenie sygnatur czasowych i dat w celu partycjonowania danych na miesiące.
partitioning.days(col)	Transformacja znaczników czasu i dat w celu partycjonowania danych na dni.
partitioning.hours(col)	Przekształcenie znaczników czasu w celu podziału danych na godziny.
partitioning.bucket(numBuckets, col)	Transformacja dla dowolnego typu, która partycjonuje za pomocą skrótu kolumny wejściowej.

Funkcje geoprzestrzenne H3 (Databricks)

Funkcja	Description
h3_boundaryasgeojson(col)	Zwraca granicę komórki H3 w formacie GeoJSON
h3_boundaryaswkb(col)	Zwraca granicę komórki H3 w formacie WKB
h3_boundaryaswkt(col)	Zwraca granicę komórki H3 w formacie WKT
h3_centerasgeojson(col)	Zwraca środek komórki H3 w formacie GeoJSON
h3_centeraswkb(col)	Zwraca środek komórki H3 w formacie WKB
h3_centeraswkt(col)	Zwraca środek komórki H3 w formacie WKT
h3_compact(col)	Kompaktuje zestaw danych wejściowych identyfikatorów komórek H3 najlepiej jak to możliwe
h3_coverash3(col1,col2)	Zwraca tablicę identyfikatorów komórek reprezentowanych jako długie liczby typu całkowitego, odpowiadające sześciokątom lub pentagonom określonej rozdzielczości, które minimalnie obejmują liniową lub powierzchniową geografię.
h3_coverash3string(col1,col2)	Zwraca tablicę identyfikatorów komórek, reprezentowanych w formie ciągów znaków, odpowiadających sześciokątom lub pentagonom określonej rozdzielczości, co minimalnie obejmuje liniową lub powierzchniową geografię.
h3_distance(col1,col2)	Zwraca odległość siatki między dwoma identyfikatorami komórek H3
h3_h3tostring(col)	Konwertuje identyfikator komórki H3 na ciąg szesnastkowy reprezentujący identyfikator komórki.
h3_hexring(col1,col2)	Zwraca tablicę identyfikatorów komórek H3 tworzących pusty pierścień sześciokątny wyśrodkowany w komórce początkowej H3 i znajdujących się w odległości siatki k od komórki początkowej H3
h3_ischildof(col1,col2)	Zwraca True, jeśli pierwszy identyfikator komórki H3 jest elementem podrzędnym drugiego identyfikatora komórki H3.
h3_ispentagon(col)	Zwraca True, jeśli wejściowy identyfikator komórki H3 reprezentuje pentagon.
h3_isvalid(col)	Zwraca True wartość , jeśli dane wejściowe reprezentują prawidłowy identyfikator komórki H3
h3_kring(col1,col2)	Zwraca identyfikatory komórek H3 znajdujące się w odległości siatki k od identyfikatora komórki początkowej
h3_kringdistances(col1,col2)	Zwraca wszystkie identyfikatory komórek H3 (reprezentowane jako długie liczby całkowite lub ciągi) w odległości k siatki od początkowego identyfikatora komórki H3 wraz z ich odległością od identyfikatora komórki początkowej H3
h3_longlatash3(col1,col2,col3)	Zwraca identyfikator komórki H3 (jako BIGINT) odpowiadający podanej długości geograficznej i szerokości geograficznej w określonej rozdzielczości
h3_longlatash3string(col1,col2,col3)	Zwraca identyfikator komórki H3 (jako ciąg) odpowiadający podanej długości i szerokości geograficznej w określonej rozdzielczości
h3_maxchild(col1,col2)	Zwraca element podrzędny maksymalnej wartości wejściowej komórki H3 w określonej rozdzielczości
h3_minchild(col1,col2)	Zwraca podrzędny element o minimalnej wartości z wejściowej komórki H3 przy określonej rozdzielczości
h3_pointash3(col1,col2)	Zwraca identyfikator komórki H3 (w formacie BIGINT) odpowiadający wskazanemu punktowi przy określonej rozdzielczości.
h3_pointash3string(col1,col2)	Zwraca identyfikator komórki H3 (jako ciąg) odpowiadający podanemu punktowi w określonej rozdzielczości
h3_polyfillash3(col1,col2)	Zwraca tablicę identyfikatorów komórek reprezentowanych jako długie liczby całkowite (long integers), odpowiadających sześciokątom lub pentagonom o określonej rozdzielczości, które są zawarte w geograficznej formie powierzchni podanej jako dane wejściowe.
h3_polyfillash3string(col1,col2)	Zwraca tablicę identyfikatorów komórek, reprezentowanych jako ciągi znaków, które odpowiadają sześciokątom lub pentagonom o określonej rozdzielczości, zawartych w podanej geograficznej przestrzeni.
h3_resolution(col)	Zwraca rozdzielczość identyfikatora komórki H3
h3_stringtoh3(col)	Konwertuje reprezentację ciągu znaków identyfikatora komórki H3 na reprezentację dużej liczby całkowitej.
h3_tessellateaswkb(col1,col2)	Zwraca tablicę struktur reprezentujących chipy pokrywające lokalizację geograficzną w określonej rozdzielczości
h3_tochildren(col1,col2)	Zwraca identyfikatory podrzędnych komórek H3 dla podanego identyfikatora komórki H3 w określonej rozdzielczości
h3_toparent(col1,col2)	Zwraca identyfikator komórki nadrzędnej H3 dla wejściowego identyfikatora komórki H3 przy określonej rozdzielczości
h3_try_coverash3(col1,col2)	Zwraca tablicę identyfikatorów komórek reprezentowanych jako długie liczby typu całkowitego, odpowiadające sześciokątom lub pentagonom określonej rozdzielczości, które minimalnie obejmują liniową lub powierzchniową geografię.
h3_try_coverash3string(col1,col2)	Zwraca tablicę identyfikatorów komórek, reprezentowanych w formie ciągów znaków, odpowiadających sześciokątom lub pentagonom określonej rozdzielczości, co minimalnie obejmuje liniową lub powierzchniową geografię.
h3_try_distance(col1,col2)	Zwraca odległość siatki między dwoma identyfikatorami komórek H3 tej samej rozdzielczości lub None jeśli odległość jest niezdefiniowana
h3_try_polyfillash3(col1,col2)	Zwraca tablicę identyfikatorów komórek reprezentowanych jako długie liczby całkowite (long integers), odpowiadających sześciokątom lub pentagonom o określonej rozdzielczości, które są zawarte w geograficznej formie powierzchni podanej jako dane wejściowe.
h3_try_polyfillash3string(col1,col2)	Zwraca tablicę identyfikatorów komórek, reprezentowanych jako ciągi znaków, które odpowiadają sześciokątom lub pentagonom o określonej rozdzielczości, zawartych w podanej geograficznej przestrzeni.
h3_try_tessellateaswkb(col1,col2)	Zwraca tablicę struktur reprezentujących układy obejmujące lokalizację geograficzną w określonej rozdzielczości lub wartość null, jeśli geometria jest nieprawidłowa
h3_try_validate(col)	Zwraca wartość wejściową, jeśli jest to prawidłowa komórka H3 lub None w przeciwnym razie
h3_uncompact(col1,col2)	Rozpakowuje zestaw wejściowy identyfikatorów komórek H3 do określonej rozdzielczości
h3_validate(col)	Zwraca wartość wejściową, jeśli jest prawidłową komórką H3, w przeciwnym razie zwraca błąd.

Funkcje geoprzestrzenne "ST" (Databricks)

Funkcja	Description
st_addpoint(col1,col2,col3)	Dodaje nowy punkt do n-tej pozycji w linii wejściowej Geography lub Geometry
st_area(col)	Zwraca obszar lokalizacji geograficznej lub geometrii danych wejściowych
st_asbinary(col1,col2)	Zwraca wartość Geografii wejściowej lub Geometrii w formacie WKB
st_asewkb(col1,col2)	Zwraca wartość geometrii wejściowej w formacie EWKB
st_asewkt(col)	Zwraca wartość input Geography lub Geometry w formacie EWKT
st_asgeojson(col)	Zwraca wartość input Geography lub Geometry w formacie GeoJSON
st_astext(col)	Zwraca wartość Geografii wejściowej lub Geometrii w formacie WKT.
st_aswkb(col1,col2)	Zwraca wartość Geografii wejściowej lub Geometrii w formacie WKB
st_aswkt(col)	Zwraca wartość Geografii wejściowej lub Geometrii w formacie WKT.
st_buffer(col1,col2)	Zwraca bufor geometrii wejściowej przy użyciu określonego promienia
st_centroid(col)	Zwraca centroid geometrii wejściowej jako geometrię punktu 2D
st_concavehull(col1,col2,col3)	Zwraca wklęsły kadłub geometrii wejściowej jako geometrię przy użyciu określonego współczynnika długości
st_contains(col1,col2)	Zwraca wartość True , jeśli pierwsza geometria zawiera drugą geometrię
st_convexhull(col)	Zwraca wypukły kadłub geometrii wejściowej jako geometrię
st_covers(col1,col2)	Zwraca wartość True , jeśli pierwsza geometria obejmuje drugą geometrię
st_difference(col1,col2)	Zwraca różnicę zbioru punktów dla dwóch geometrii wejściowych jako geometrię 2D
st_dimension(col)	Zwraca wymiar topologiczny projekcji 2D geometrii wejściowej
st_disjoint(col1,col2)	Zwraca True jeśli dwie geometrie są rozłączne
st_distance(col1,col2)	Zwraca odległość kartezjańską 2D między dwiema geometriami wejściowymi
st_distancesphere(col1,col2)	Zwraca odległość sferyczną (w metrach) między dwiema geometriami punktów mierzoną na sferze, której promień jest średni promień wielokropka WGS84
st_distancespheroid(col1,col2)	Zwraca odległość geodesyczną (w metrach) między dwiema geometriami punktów na wielokropku WGS84
st_dwithin(col1,col2,col3)	Zwraca True wartość, jeśli odległość kartezjańska 2D między dwiema geometriami wejściowymi jest mniejsza lub równa wejściowej odległości
st_endpoint(col)	Zwraca ostatni punkt linii wejściowej lub None jeśli nie istnieje
st_envelope(col)	Zwraca minimalny kartezjański ograniczający prostokąt 2D (kopertę) dla wejściowej, niepustej geometrii, jako obiekt geometryczny.
st_envelope_agg(col)	Zwraca kopertę wszystkich geometrii w kolumnie lub None jeśli kolumna zawiera zero wierszy lub zawiera tylko None wartości
st_equals(col1,col2)	Zwraca, True jeśli dwie geometrie są geometrycznie równe
st_exteriorring(col)	Zwraca pierścień zewnętrzny (powłokę), jako linię, z wartości wejściowej Geography lub Geometry reprezentującej wielokąt.
st_flipcoordinates(col)	Zamienia współrzędne X i Y geometrii wejściowej
st_geogfromgeojson(col)	Analizuje opis GeoJSON i zwraca odpowiadającą mu wartość Geography
st_geogfromtext(col)	Analizuje opis WKT i zwraca odpowiadającą mu wartość Geography
st_geogfromwkb(col)	Analizuje wejściowy opis WKB i zwraca odpowiadającą mu wartość Geography
st_geogfromwkt(col)	Analizuje opis WKT i zwraca odpowiadającą mu wartość Geography
st_geohash(col1,col2)	Zwraca geohash wejściowej geometrii
st_geometryn(col1,col2)	Zwraca n-ty element (n liczone od 1) wejściowej wieloelementowej geometrii lub None, jeśli taki element nie istnieje.
st_geometrytype(col)	Zwraca typ wejściowej wartości Geography lub Geometry jako ciąg
st_geomfromewkb(col)	Analizuje wejściowy opis EWKB i zwraca odpowiadającą mu wartość Geometry
st_geomfromgeohash(col)	Zwraca kratkę siatki geohash odpowiadającą wartości wejściowej geohash jako geometrię wielokąta 2D
st_geomfromgeojson(col)	Analizuje opis GeoJSON i zwraca odpowiadającą mu wartość Geometry
st_geomfromtext(col1,col2)	Analizuje opis WKT i zwraca odpowiadającą mu wartość Geometry
st_geomfromwkb(col1,col2)	Analizuje wejściowy opis WKB i zwraca odpowiadającą mu wartość Geometry
st_geomfromwkt(col1,col2)	Analizuje opis WKT i zwraca odpowiadającą mu wartość Geometry
st_intersection(col1,col2)	Zwraca punktowe przecięcie zbioru dwóch geometrii wejściowych jako geometrię 2D
st_intersects(col1,col2)	Zwraca True, jeśli dwie geometrie przecinają się.
st_isempty(col)	Zwraca True wartość, jeśli wejściowe wartości Geography lub Geometry nie zawierają żadnych niepustych punktów
st_isvalid(col)	Zwraca True wartość, jeśli geometria danych wejściowych jest prawidłową geometrią w sensie OGC
st_length(col)	Zwraca długość geometrii danych wejściowych lub wartości geograficznej
st_m(col)	Zwraca współrzędną M geometrii punktu wejściowego lub None jeśli geometria punktu wejściowego jest pusta lub jeśli nie ma współrzędnej M
st_makeline(col)	Zwraca geometrię linii, której punkty stanowią niepuste punkty geometrii w wejściowej tablicy geometrii, które powinny być punktami, ciągami liniowymi lub multipunktami.
st_makepolygon(col1,col2)	Tworzy wielokąt z zewnętrznej granicy wejściowej i opcjonalnej tablicy granic wewnętrznych, reprezentowanych jako zamknięte ciągi liniowe
st_multi(col)	Zwraca wartość input Geography lub Geometry jako równoważną wartość wieloprzestrzenną, zachowując oryginalną wartość SRID
st_ndims(col)	Zwraca wymiar współrzędnych wejściowej wartości Geography lub Geometry
st_npoints(col)	Zwraca liczbę niepustych punktów w wejściowej wartości Geography lub Geometry
st_numgeometries(col)	Zwraca liczbę geometrii w geometrii wejściowej
st_perimeter(col)	Zwraca obwód lokalizacji geograficznej lub geometrii danych wejściowych
st_point(col1,col2,col3)	Zwraca geometrię punktu 2D z podanymi współrzędnymi x i y oraz wartością SRID
st_pointfromgeohash(col)	Zwraca środek pola siatki geohash odpowiadający wejściowej wartości geohash jako geometrię dwuwymiarowego punktu.
st_pointn(col1,col2)	Zwraca n-ty punkt linii wejściowej, zaczynając od 1, lub None, jeśli nie istnieje.
st_removepoint(col1,col2)	Usuwa n-ty punkt z wejściowego ciągu linii Geografii lub Geometrii
st_reverse(col)	Odwraca kolejność wierzchołków w wejściowej wartości Geography lub Geometry
st_rotate(col1,col2)	Obraca geometrię wejściową wokół osi Z według danego kąta obrotu (w radianach)
st_scale(col1,col2,col3,col4)	Skaluje geometrię danych wejściowych w kierunkach X, Y i Z (opcjonalnie) przy użyciu podanych czynników
st_setpoint(col1,col2,col3)	Ustawia n-ty punkt w danych wejściowych linestring Geography lub Geometry
st_setsrid(col1,col2)	Zwraca nową wartość Geometry, której SRID jest podaną wartością SRID.
st_simplify(col1,col2)	Upraszcza geometrię danych wejściowych przy użyciu algorytmu Douglas-Peucker
st_srid(col)	Zwraca identyfikator SRID dla wejściowej wartości geoprzestrzennej
st_startpoint(col)	Zwraca pierwszy punkt linii wejściowej lub None jeśli nie istnieje
st_touches(col1,col2)	Zwraca True, jeśli dwie geometrie się dotykają
st_transform(col1,col2)	Przekształca współrzędne X i Y geometrii wejściowej na układ odniesienia współrzędnych (CRS) opisany przez podaną wartość SRID
st_translate(col1,col2,col3,col4)	Tłumaczy geometrię danych wejściowych w kierunkach X, Y i Z (opcjonalnie) przy użyciu podanych przesunięć
st_union(col1,col2)	Zwraca sumę zbiorów punktów dwóch geometrii wejściowych w postaci geometrii 2D
st_union_agg(col)	Zwraca punktową unię wszystkich geometrii w kolumnie lub None, jeśli kolumna nie zawiera żadnych wierszy lub zawiera tylko wartości None.
st_within(col1,col2)	Zwraca wartość True , jeśli pierwsza geometria znajduje się w drugiej geometrii
st_x(col)	Zwraca współrzędną X geometrii punktu wejściowego lub None jeśli geometria punktu wejściowego jest pusta
st_xmax(col)	Zwraca maksymalną współrzędną X geometrii wejściowej lub None jeśli geometria wejściowa jest pusta
st_xmin(col)	Zwraca minimalną współrzędną X geometrii wejściowej lub None jeśli geometria wejściowa jest pusta
st_y(col)	Zwraca współrzędną Y geometrii punktu wejściowego lub None jeśli geometria punktu wejściowego jest pusta
st_ymax(col)	Zwraca maksymalną współrzędną Y geometrii wejściowej lub None jeśli geometria wejściowa jest pusta
st_ymin(col)	Zwraca minimalną współrzędną Y geometrii wejściowej lub None jeśli geometria wejściowa jest pusta
st_z(col)	Zwraca współrzędną Z geometrii punktu wejściowego lub None jeśli geometria punktu wejściowego jest pusta lub jeśli nie ma współrzędnej Z
st_zmax(col)	Zwraca maksymalną współrzędną Z geometrii wejściowej lub None jeśli geometria wejściowa jest pusta lub nie zawiera współrzędnych Z
st_zmin(col)	Zwraca minimalną współrzędną Z geometrii wejściowej lub None jeśli geometria wejściowa jest pusta lub nie zawiera współrzędnych Z
to_geography(col)	Analizuje wejściową wartość binarną lub ciągową i zwraca odpowiadającą mu wartość Geography
to_geometry(col)	Analizuje wejściową wartość BINARNą lub ciągową i zwraca odpowiadającą mu wartość Geometry
try_to_geography(col)	Analizuje wejściową wartość binarną lub ciągową i zwraca odpowiadającą mu wartość Geography lub None jeśli dane wejściowe są nieprawidłowe
try_to_geometry(col)	Analizuje wejściową wartość BINARNą lub ciągową i zwraca odpowiadającą mu wartość Geometry lub None jeśli dane wejściowe są nieprawidłowe

Funkcje CSV

Funkcja	Description
from_csv(col, schema[, options])	Analizuje kolumnę zawierającą ciąg CSV, przekształcając go w wiersz zgodny z określonym schematem.
schema_of_csv(csv[, options])	Analizuje ciąg CSV i wywnioskowuje jego schemat w formacie DDL.
to_csv(col[, options])	Konwertuje kolumnę zawierającą typ struktury na ciąg CSV.

Funkcje JSON

Funkcja	Description
from_json(col, schema[, options])	Parsuje kolumnę zawierającą ciąg JSON do typu MapType, gdzie klucze są typu StringType, lub do StructType albo ArrayType według określonego schematu.
get_json_object(col, path)	Wyodrębnia obiekt json z ciągu json na podstawie określonej ścieżki json i zwraca ciąg json wyodrębnionego obiektu json.
json_array_length(col)	Zwraca liczbę elementów w najbardziej zewnętrznej tablicy JSON.
json_object_keys(col)	Zwraca wszystkie klucze najbardziej zewnętrznego obiektu JSON jako tablicę.
json_tuple(col, *fields)	Tworzy nowy wiersz dla kolumny json zgodnie z podanymi nazwami pól.
schema_of_json(json[, options])	Parsuje ciąg JSON i określa jego schemat w formacie DDL.
to_json(col[, options])	Konwertuje kolumnę zawierającą wartość StructType, ArrayType lub MapType na ciąg JSON.

Funkcje wariantu

Funkcja	Description
is_variant_null(v)	Sprawdź, czy wartość wariantu jest wariantem o wartości null.
parse_json(col)	Analizuje kolumnę zawierającą ciąg JSON do typu VariantType.
schema_of_variant(v)	Zwraca schemat w formacie SQL wariantu.
schema_of_variant_agg(v)	Zwraca scalony schemat w formacie SQL kolumny typu variant.
try_variant_get(v, path, targetType)	Wyodrębnia podwariant z v zgodnie ze ścieżką, a następnie rzutuje podwariant na typ docelowy.
variant_get(v, path, targetType)	Wyodrębnia podwariant z v zgodnie ze ścieżką, a następnie rzutuje podwariant na typ docelowy.
try_parse_json(col)	Analizuje kolumnę zawierającą ciąg JSON do typu VariantType.
to_variant_object(col)	Konwertuje kolumnę zawierającą zagnieżdżone dane wejściowe (tablica/mapa/struktura) na warianty, w których mapy i struktury są konwertowane na obiekty wariantów, które są nieurządkowane w przeciwieństwie do struktur SQL.

Funkcje XML

Funkcja	Description
from_xml(col, schema[, options])	Analizuje kolumnę zawierającą ciąg XML do wiersza z określonym schematem.
schema_of_xml(xml[, options])	Analizuje ciąg XML i wnioskuje jego schemat w formacie DDL.
to_xml(col[, options])	Konwertuje kolumnę zawierającą typ struktury na ciąg XML.
xpath(xml, path)	Zwraca tablicę ciągów wartości w węzłach xml, które są zgodne z wyrażeniem XPath.
xpath_boolean(xml, path)	Zwraca wartość true, jeśli wyrażenie XPath zwróci wartość true lub jeśli zostanie znaleziony pasujący węzeł.
xpath_double(xml, path)	Zwraca podwójną wartość, wartość zero, jeśli nie znaleziono dopasowania, lub NaN, jeśli dopasowanie zostanie znalezione, ale wartość jest nieliczbowa.
xpath_float(xml, path)	Zwraca wartość zmiennoprzecinkową: zero, jeśli nie znaleziono dopasowania, lub NaN, jeśli jest dopasowanie, ale wartość jest nieliczbowa.
xpath_int(xml, path)	Zwraca wartość całkowitą lub wartość zero, jeśli nie znaleziono dopasowania, lub zostanie znalezione dopasowanie, ale wartość jest nieliczbowa.
xpath_long(xml, path)	Zwraca wartość długiej liczby całkowitej lub wartość zero, jeśli nie znaleziono dopasowania, lub zostanie znalezione dopasowanie, ale wartość jest nieliczbowa.
xpath_number(xml, path)	Zwraca podwójną wartość, wartość zero, jeśli nie znaleziono dopasowania, lub NaN, jeśli dopasowanie zostanie znalezione, ale wartość jest nieliczbowa.
xpath_short(xml, path)	Zwraca krótką wartość całkowitą lub wartość zero, jeśli nie znaleziono dopasowania, lub zostanie znalezione dopasowanie, ale wartość jest nieliczbowa.
xpath_string(xml, path)	Zwraca zawartość tekstowa pierwszego węzła XML zgodnego z wyrażeniem XPath.

Funkcje adresu URL

Funkcja	Description
parse_url(url, partToExtract[, key])	Wyodrębnia określoną część z adresu URL.
try_parse_url(url, partToExtract[, key])	Spróbuj wykonać operację parse_url, ale jeśli nie można wykonać parsowania, zwróć wartość NULL zamiast zgłaszać błąd.
url_decode(str)	Dekoduje ciąg zakodowany w adresie URL w application/x-www-form-urlencoded formacie do oryginalnego formatu.
url_encode(str)	Koduje ciąg do ciągu zakodowanego w adresie URL w formacie "application/x-www-form-urlencoded".
try_url_decode(str)	Spróbuj wykonać operację url_decode , ale zwróć wartość NULL zamiast zgłaszać błąd, jeśli nie można wykonać dekodowania.

Różne funkcje

Funkcja	Description
aes_decrypt(input, key[, mode, padding, aad])	Zwraca odszyfrowaną wartość danych wejściowych przy użyciu AES w trybie z wypełnieniem.
aes_encrypt(input, key[, mode, padding, iv, aad])	Zwraca zaszyfrowaną wartość danych wejściowych przy użyciu AES w danym trybie z określonym wypełnieniem.
assert_true(col[, errMsg])	Zwraca wartość null, jeśli wprowadzona kolumna ma wartość true; zgłasza wyjątek z podanym komunikatem o błędzie.
bitmap_bit_position(col)	Zwraca położenie bitu dla danej kolumny wejściowej.
bitmap_bucket_number(col)	Zwraca numer zasobnika dla danej kolumny wejściowej.
bitmap_count(col)	Zwraca liczbę bitów ustawionych w wejściowej mapie bitowej.
current_catalog()	Zwraca bieżący wykaz.
current_database()	Zwraca bieżącą bazę danych.
current_schema()	Zwraca bieżący schemat.
current_user()	Zwraca bieżącego użytkownika.
hll_sketch_estimate(col)	Zwraca szacowaną liczbę unikatowych wartości, biorąc pod uwagę binarną reprezentację elementu Datasketches HllSketch.
hll_union(col1, col2[, allowDifferentLgConfigK])	Łączy dwie binarne reprezentacje obiektów Datasketches HllSketch przy użyciu obiektu Datasketches Union.
input_file_block_length()	Zwraca długość odczytywanego bloku lub -1, jeśli jest niedostępna.
input_file_block_start()	Zwraca przesunięcie początkowe bloku odczytywanego lub -1, jeśli nie jest dostępne.
input_file_name()	Tworzy kolumnę ciągu dla nazwy pliku bieżącego zadania platformy Spark.
java_method(*cols)	Wywołuje metodę przy użyciu refleksji.
monotonically_increasing_id()	Kolumna, która generuje monotonicznie rosnące 64-bitowe liczby całkowite.
raise_error(errMsg)	Zgłasza wyjątek z podanym komunikatem o błędzie.
reflect(*cols)	Wywołuje metodę przy użyciu refleksji.
session_user()	Zwraca nazwę użytkownika bieżącego kontekstu wykonywania.
spark_partition_id()	Kolumna identyfikatora partycji.
try_aes_decrypt(input, key[, mode, padding, aad])	Spróbuj wykonać operację aes_decrypt , ale zwróć wartość NULL zamiast zgłaszać błąd, jeśli nie można wykonać odszyfrowywania.
try_reflect(*cols)	Spróbuj wykonać operację reflect , ale zwróć wartość NULL zamiast zgłaszać błąd, jeśli metoda wywołania zgłosiła wyjątek.
typeof(col)	Zwraca ciąg typu w formacie DDL dla typu danych wejściowych.
user()	Zwraca bieżącego użytkownika.
version()	Zwraca wersję platformy Spark.

Funkcje UDF, UDTF, UDT

Funkcja	Description
call_udf(udfName, *cols)	Wywoływanie funkcji zdefiniowanej przez użytkownika.
pandas_udf([f, returnType, functionType])	Tworzy funkcję zdefiniowaną przez użytkownika biblioteki pandas (np.
udf([f, returnType, useArrow])	Tworzy funkcję zdefiniowaną przez użytkownika (UDF).
udtf([cls, returnType, useArrow])	Tworzy funkcję tabeli zdefiniowanej przez użytkownika (UDTF).
unwrap_udt(col)	Odpakuj kolumnę typu danych UDT do podstawowego typu.

Funkcje wyceniane w tabeli

Funkcja	Description
TableValuedFunction.collations()	Pobierz wszystkie sortowania ciągów Spark SQL.
TableValuedFunction.explode(collection)	Zwraca ramkę danych zawierającą nowy wiersz dla każdego elementu w danej tablicy lub mapie.
TableValuedFunction.explode_outer(collection)	Zwraca ramkę danych zawierającą nowy wiersz dla każdego elementu z pozycją w danej tablicy lub mapie.
TableValuedFunction.inline(input)	Eksploduje tablicę struktur w tabeli.
TableValuedFunction.inline_outer(input)	Eksploduje tablicę struktur w tabeli.
TableValuedFunction.json_tuple(input, *fields)	Tworzy nowy wiersz dla kolumny json zgodnie z podanymi nazwami pól.
TableValuedFunction.posexplode(collection)	Zwraca ramkę danych zawierającą nowy wiersz dla każdego elementu z pozycją w danej tablicy lub mapie.
TableValuedFunction.posexplode_outer(collection)	Zwraca ramkę danych zawierającą nowy wiersz dla każdego elementu z pozycją w danej tablicy lub mapie.
TableValuedFunction.range(start[, end, ...])	Utwórz ramkę danych z pojedynczą kolumną pyspark.sql.types.LongType o nazwie id zawierającą elementy z zakresu od początku do końca (wyłączność) z krokiem wartości kroku.
TableValuedFunction.sql_keywords()	Pobierz słowa kluczowe Spark SQL.
TableValuedFunction.stack(n, *fields)	Oddziela kolumnę col1, ..., colk na n wierszy.
TableValuedFunction.variant_explode(input)	Oddziela wariant obiektu/tablicy na wiele wierszy zawierających jego pola/elementy.
TableValuedFunction.variant_explode_outer(input)	Oddziela wariant obiektu/tablicy na wiele wierszy zawierających jego pola/elementy.