Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Halaman ini menyediakan daftar fungsi PySpark SQL yang tersedia di Databricks dengan tautan ke dokumentasi referensi yang sesuai.
Fungsi normal
| Function | Description |
|---|---|
broadcast(df) |
Menandai DataFrame sebagai cukup kecil untuk digunakan dalam broadcast join. |
call_function(funcName, *cols) |
Panggil fungsi SQL. |
col(col) |
Mengembalikan Kolom berdasarkan nama kolom yang diberikan.
column(col) juga diperbolehkan. |
lit(col) |
Membuat Kolom nilai harfiah. |
expr(str) |
Menguraikan ekspresi dalam bentuk string ke dalam kolom yang diwakilinya |
Mengurutkan fungsi
| Function | Description |
|---|---|
asc(col) |
Mengembalikan ekspresi pengurutan untuk kolom target dalam urutan naik. |
asc_nulls_first(col) |
Mengembalikan ekspresi pengurutan berdasarkan urutan naik dari nama kolom yang diberikan, dan nilai null dikembalikan sebelum nilai non-null. |
asc_nulls_last(col) |
Mengembalikan ekspresi pengurutan berdasarkan urutan naik dari nama kolom yang diberikan, dan nilai null muncul setelah nilai non-null. |
desc(col) |
Mengembalikan ekspresi pengurutan untuk kolom target dalam urutan menurun. |
desc_nulls_first(col) |
Mengembalikan ekspresi pengurutan berdasarkan urutan menurun dari nama kolom yang diberikan, dan nilai null muncul sebelum nilai non-null. |
desc_nulls_last(col) |
Mengembalikan ekspresi pengurutan berdasarkan urutan menurun dari nama kolom yang diberikan, dan nilai null muncul setelah nilai non-null. |
Fungsi kondisional
| Function | Description |
|---|---|
coalesce(*cols) |
Mengembalikan kolom pertama yang bukan null. |
ifnull(col1, col2) |
Mengembalikan col2 jika col1 kosong, atau col1 jika tidak. |
nanvl(col1, col2) |
Mengembalikan col1 jika bukan NaN, atau col2 jika col1 adalah NaN. |
nullif(col1, col2) |
Mengembalikan null jika col1 sama dengan col2, atau col1 jika tidak. |
nullifzero(col) |
Mengembalikan null jika col sama dengan nol, atau col jika tidak. |
nvl(col1, col2) |
Mengembalikan col2 jika col1 kosong, atau col1 jika tidak. |
nvl2(col1, col2, col3) |
Mengembalikan col2 jika col1 bukan null, atau col3 sebaliknya. |
when(condition, value) |
Mengevaluasi daftar kondisi dan mengembalikan salah satu dari beberapa kemungkinan ekspresi hasil. |
zeroifnull(col) |
Mengembalikan nol jika kolom itu kosong, atau kolom itu sebaliknya. |
Fungsi pencocokan pola
| Function | Description |
|---|---|
equal_null(col1, col2) |
Mengembalikan hasil yang sama dengan operator EQUAL(=) untuk operand non-null, tetapi mengembalikan true jika keduanya null, false jika salah satunya null. |
ilike(str, pattern[, escapeChar]) |
Mengembalikan true jika str cocok dengan pola dengan escape case-insensitively, null jika ada argumen null, false sebaliknya. |
isnan(col) |
Ekspresi yang mengembalikan hasil benar jika kolom berisi nilai NaN. |
isnotnull(col) |
Mengembalikan True jika col tidak null, atau False jika tidak. |
isnull(col) |
Ekspresi yang mengembalikan benar jika kolom kosong. |
like(str, pattern[, escapeChar]) |
Mengembalikan true jika str cocok dengan pola escape, null jika ada argumen null, false jika tidak. |
regexp(str, regexp) |
Mengembalikan nilai true jika str cocok dengan Java regex regexp, atau nilai false sebaliknya. |
regexp_like(str, regexp) |
Mengembalikan nilai true jika str cocok dengan Java regex regexp, atau nilai false sebaliknya. |
rlike(str, regexp) |
Mengembalikan nilai true jika str cocok dengan Java regex regexp, atau nilai false sebaliknya. |
Fungsi Matematika
| Function | Description |
|---|---|
abs(col) |
Menghitung nilai absolut kolom atau ekspresi yang diberikan. |
acos(col) |
Menghitung kosinus terbalik (juga dikenal sebagai arccosine) dari kolom atau ekspresi yang diberikan. |
acosh(col) |
Menghitung kosinus hiperbolik terbalik (juga dikenal sebagai arkosh) dari kolom atau ekspresi yang diberikan. |
asin(col) |
Menghitung sinus terbalik dari kolom input. |
asinh(col) |
Menghitung sinus hiperbolik terbalik dari kolom input. |
atan(col) |
Komputasi tangen terbalik dari kolom input. |
atan2(col1, col2) |
Menghitung sudut dalam radian antara sumbu x positif bidang dan titik yang diberikan oleh koordinat |
atanh(col) |
Menghitung tangen hiperbolik terbalik dari kolom input. |
bin(col) |
Mengembalikan representasi string dari nilai biner dari kolom yang diberikan. |
bround(col[, scale]) |
Bulatkan nilai yang diberikan untuk menskalakan tempat desimal menggunakan mode pembulatan HALF_EVEN jika skala >= 0 atau pada bagian integral saat skala < 0. |
cbrt(col) |
Menghitung akar kubus dari nilai yang diberikan. |
ceil(col[, scale]) |
Menghitung nilai pembulatan ke atas dari nilai yang diberikan. |
ceiling(col[, scale]) |
Menghitung nilai pembulatan ke atas dari nilai yang diberikan. |
conv(col, fromBase, toBase) |
Mengonversi angka dalam kolom string dari satu dasar ke basis lainnya. |
cos(col) |
Menghitung kosinus kolom input. |
cosh(col) |
Menghitung kosinus hiperbolik dari kolom masukan. |
cot(col) |
Menghitung kotangen dari kolom input. |
csc(col) |
Menghitung kosektan kolom input. |
degrees(col) |
Mengonversi sudut yang diukur dalam radian menjadi sudut yang kira-kira setara yang diukur dalam derajat. |
e() |
Mengembalikan angka Euler. |
exp(col) |
Menghitung eksponensial nilai yang diberikan. |
expm1(col) |
Menghitung eksponensial nilai yang diberikan dikurangi satu. |
factorial(col) |
Menghitung faktorial dari nilai yang diberikan. |
floor(col[, scale]) |
Menghitung lantai nilai yang diberikan. |
greatest(*cols) |
Mengembalikan nilai terbesar dari daftar nama kolom, mengabaikan nilai null. |
hex(col) |
Menghitung nilai heksa dari kolom yang diberikan, yang bisa berupa StringType, BinaryType, IntegerType atau LongType. |
hypot(col1, col2) |
Komputasi sqrt(a^2 + b^2) tanpa luapan perantara atau underflow. |
least(*cols) |
Mengembalikan nilai terkecil dari daftar nama kolom, melewati nilai null. |
ln(col) |
Mengembalikan logaritma alami argumen. |
log(arg1[, arg2]) |
Mengembalikan logaritma berbasis argumen pertama dari argumen kedua. |
log10(col) |
Menghitung logaritma dari nilai yang diberikan di Basis 10. |
log1p(col) |
Menghitung logaritma alami dari nilai yang diberikan ditambah satu. |
log2(col) |
Mengembalikan logaritma base-2 dari argumen. |
negate(col) |
Mengembalikan nilai negatif. |
negative(col) |
Mengembalikan nilai negatif. |
pi() |
Mengembalikan Pi. |
pmod(dividend, divisor) |
Mengembalikan nilai positif pembagi mod dividen. |
positive(col) |
Mengembalikan nilai. |
pow(col1, col2) |
Mengembalikan nilai argumen pertama yang dinaikkan ke kekuatan argumen kedua. |
radians(col) |
Mengonversi sudut yang diukur dalam derajat menjadi sudut yang kira-kira setara yang diukur dalam radian. |
rand([seed]) |
Menghasilkan kolom acak dengan sampel independen dan terdistribusi secara identik (i.i.d.) yang didistribusikan secara seragam dalam [0.0, 1.0). |
randn([seed]) |
Menghasilkan kolom acak dengan sampel independen dan terdistribusi secara identik (i.i.d.) dari distribusi normal standar. |
rint(col) |
Mengembalikan nilai ganda yang paling dekat dalam nilai dengan argumen dan sama dengan bilangan bulat matematika. |
round(col[, scale]) |
Bulatkan nilai yang diberikan untuk menskalakan tempat desimal menggunakan mode pembulatan HALF_UP jika skala >= 0 atau pada bagian integral saat skala < 0. |
sec(col) |
Menghitung nilai sekan dari kolom input. |
sign(col) |
Menghitung signum dari nilai yang diberikan. |
signum(col) |
Menghitung signum dari nilai yang diberikan. |
sin(col) |
Menghitung sinus dari kolom masukan. |
sinh(col) |
Menghitung nilai sinus hiperbolik dari kolom masukan. |
sqrt(col) |
Menghitung akar kuadrat dari nilai float yang ditentukan. |
tan(col) |
Menghitung tangen dari kolom input. |
tanh(col) |
Menghitung tangen hiperbolik kolom masukan. |
try_add(left, right) |
Mengembalikan hasil penjumlahan dari nilai kiri dan kanan dan hasilnya menjadi null ketika terjadi luapan. |
try_divide(left, right) |
Mengembalikan dividend/divisor. |
try_mod(left, right) |
Mengembalikan sisanya setelah dividen/pembagi. |
try_multiply(left, right) |
Mengembalikan hasil perkalian antara operand kiri dan operand kanan, dan hasilnya null jika terjadi overflow. |
try_subtract(left, right) |
Mengembalikan pengurangan kanan dari kiri dan jika terjadi overflow, hasilnya adalah null. |
unhex(col) |
Kebalikan bilangan heksadesimal. |
uniform(min, max[, seed]) |
Mengembalikan nilai acak dengan nilai yang independen dan terdistribusi identik (i.i.d.) dengan rentang angka yang ditentukan. |
width_bucket(v, min, max, numBucket) |
Mengembalikan nomor wadah (bucket) tempat nilai ekspresi ini akan jatuh setelah dievaluasi. |
Fungsi String
| Function | Description |
|---|---|
ascii(col) |
Menghitung nilai numerik dari karakter pertama kolom string. |
base64(col) |
Menghitung pengodean BASE64 kolom biner dan mengembalikannya sebagai kolom string. |
bit_length(col) |
Menghitung panjang bit untuk kolom string yang ditentukan. |
btrim(str[, trim]) |
Hapus karakter spasi awal dan akhir dari "str". |
char(col) |
Mengembalikan karakter ASCII yang memiliki nilai biner yang setara dengan kolom. |
char_length(str) |
Menghasilkan panjang karakter data string atau jumlah byte data biner. |
character_length(str) |
Menghasilkan panjang karakter data string atau jumlah byte data biner. |
chr(n) |
Mengembalikan karakter ASCII yang memiliki biner yang setara dengan n. |
collate(col, collation) |
Menandai kolom tertentu dengan pengurutan yang ditentukan. |
collation(col) |
Mengembalikan nama kolasi kolom tertentu. |
concat_ws(sep, *cols) |
Menggabungkan beberapa kolom string input bersama-sama ke dalam satu kolom string, menggunakan pemisah yang diberikan. |
contains(left, right) |
Mengembalikan boolean. |
decode(col, charset) |
Menghitung argumen pertama ke dalam string dari biner menggunakan set karakter yang disediakan (salah satu dari US-ASCII, , ISO-8859-1UTF-8, UTF-16BE, UTF-16LE, ). UTF-16UTF-32 |
elt(*inputs) |
Mengembalikan input n-th, misalnya, mengembalikan input2 saat n adalah 2. |
encode(col, charset) |
Menghitung argumen pertama ke dalam biner dari string menggunakan set karakter yang disediakan (salah satu dari US-ASCII, , ISO-8859-1UTF-8, UTF-16BE, UTF-16LE, UTF-16, UTF-32). |
endswith(str, suffix) |
Mengembalikan boolean. |
find_in_set(str, str_array) |
Mengembalikan indeks (berbasis 1) dari string yang diberikan (str) dalam daftar yang dibatasi koma (strArray). |
format_number(col, d) |
Memformatkan angka X ke format seperti #,--#,--#.--, dibulatkan ke d tempat desimal dengan mode pembulatan HALF_EVEN, dan memberikan hasilnya sebagai string. |
format_string(format, *cols) |
Memformat argumen dalam gaya cetak dan mengembalikan hasilnya sebagai kolom string. |
initcap(col) |
Terjemahkan huruf pertama dari setiap kata ke huruf besar dalam kalimat. |
instr(str, substr) |
Temukan posisi kemunculan pertama kolom substr dalam string yang diberikan. |
is_valid_utf8(str) |
Mengembalikan true jika input adalah string UTF-8 yang valid, jika tidak, mengembalikan false. |
lcase(str) |
Mengembalikan str dengan semua karakter diubah menjadi huruf kecil. |
left(str, len) |
Mengembalikan karakter lensa paling kiri (lensa dapat berupa jenis string) dari string str, jika lensa kurang atau sama dengan 0 hasilnya adalah string kosong. |
length(col) |
Menghitung panjang karakter data string atau jumlah byte data biner. |
levenshtein(left, right[, threshold]) |
Menghitung jarak Levenshtein dari dua string yang diberikan. |
locate(substr, str[, pos]) |
Temukan posisi kemunculan pertama substr dalam kolom string, setelah pos posisi. |
lower(col) |
Mengonversi ekspresi string menjadi huruf kecil. |
lpad(col, len, pad) |
Tambahkan padding di sebelah kiri kolom string hingga mencapai panjang yang ditentukan dengan menggunakan pad. |
ltrim(col[, trim]) |
Pangkas spasi dari ujung kiri untuk nilai string yang ditentukan. |
make_valid_utf8(str) |
Mengembalikan string baru di mana semua urutan byte UTF-8 yang tidak valid, jika ada, digantikan oleh karakter pengganti Unicode (U+FFFD). |
mask(col[, upperChar, lowerChar, digitChar, ...]) |
Menutupi nilai string yang diberikan. |
octet_length(col) |
Menghitung panjang byte untuk kolom string yang ditentukan. |
overlay(src, replace, pos[, len]) |
Overlay bagian yang ditentukan dari src dengan pengganti, dimulai dari posisi byte pos dari src dan berlanjut selama len byte. |
position(substr, str[, start]) |
Mengembalikan posisi kemunculan pertama substr dalam str setelah posisi start. |
printf(format, *cols) |
Memformat argumen dalam gaya cetak dan mengembalikan hasilnya sebagai kolom string. |
randstr(length[, seed]) |
Mengembalikan string dengan panjang yang ditentukan yang karakternya dipilih secara seragam secara acak dari kumpulan karakter berikut: 0-9, a-z, A-Z. |
regexp_count(str, regexp) |
Mengembalikan jumlah berapa kali pola reguler Java dicocokkan dalam string 'str'. |
regexp_extract(str, pattern, idx) |
Ekstrak grup tertentu yang cocok dengan regex Java regexp, dari kolom string yang ditentukan. |
regexp_extract_all(str, regexp[, idx]) |
Ekstrak semua string dalam variable 'str' yang cocok dengan regex Java dan sesuai dengan indeks grup dari regex tersebut. |
regexp_instr(str, regexp[, idx]) |
Mengembalikan posisi substring pertama dalam str yang cocok dengan regex Java sesuai dengan indeks grup regex. |
regexp_replace(string, pattern, replacement) |
Ganti semua substring dari nilai string yang ditentukan yang cocok dengan regexp dengan penggantian. |
regexp_substr(str, regexp) |
Mengembalikan substring pertama yang cocok dengan regexp regex Java dalam string str. |
repeat(col, n) |
Mengulangi kolom string n kali, dan mengembalikannya sebagai kolom string baru. |
replace(src, search[, replace]) |
Mengganti semua kemunculan hasil pencarian dengan hasil penggantian. |
right(str, len) |
Mengembalikan karakter lensa paling kanan (lensa dapat berupa jenis string) dari string str, jika lensa kurang atau sama dengan 0 hasilnya adalah string kosong. |
rpad(col, len, pad) |
Tambahkan padding ke kanan kolom string hingga mencapai panjang yang diinginkan. |
rtrim(col[, trim]) |
Pangkas spasi dari ujung kanan untuk nilai string yang ditentukan. |
sentences(string[, language, country]) |
Memisahkan string menjadi array kalimat-kalimat, di mana setiap kalimat adalah array kata-kata. |
soundex(col) |
Mengembalikan pengodean SoundEx untuk string |
split(str, pattern[, limit]) |
Membagi str di sekitar kecocokan pola yang diberikan. |
split_part(src, delimiter, partNum) |
Memecah str berdasarkan pembatas dan mengembalikan bagian yang diminta dari hasil pemecahan (menggunakan indeks 1). |
startswith(str, prefix) |
Mengembalikan boolean. |
substr(str, pos[, len]) |
Mengembalikan substring str yang dimulai dari pos dan memiliki panjang len, atau potongan array byte yang dimulai dari pos dan memiliki panjang len. |
substring(str, pos, len) |
Substring dimulai pada pos dan memiliki panjang len ketika str adalah tipe String, atau mengembalikan potongan array byte yang dimulai pada pos dalam byte dan memiliki panjang len ketika str adalah tipe Biner. |
substring_index(str, delim, count) |
Mengembalikan substring dari string str sebelum menghitung kemunculan delim pemisah. |
to_binary(col[, format]) |
Mengonversi col input menjadi nilai biner berdasarkan format yang disediakan. |
to_char(col, format) |
Mengonversi col ke string berdasarkan format . |
to_number(col, format) |
Konversi string 'col' menjadi angka berdasarkan format string 'format'. |
to_varchar(col, format) |
Mengonversi col ke string berdasarkan format . |
translate(srcCol, matching, replace) |
Ganti karakter apa pun di srcCol dengan karakter yang sesuai. |
trim(col[, trim]) |
Pangkas spasi dari kedua ujung untuk kolom string yang ditentukan. |
try_to_binary(col[, format]) |
Cobalah untuk melakukan to_binary operasi, tetapi kembalikan nilai NULL alih-alih meningkatkan kesalahan jika konversi tidak dapat dilakukan. |
try_to_number(col, format) |
Mengonversi string col menjadi angka berdasarkan string format format. |
try_validate_utf8(str) |
Mengembalikan nilai input jika sesuai dengan string UTF-8 yang valid, atau NULL sebaliknya. |
ucase(str) |
Mengembalikan str dengan semua karakter diubah menjadi huruf besar. |
unbase64(col) |
Mendekode kolom string yang dikodekan BASE64 dan mengembalikannya sebagai kolom biner. |
upper(col) |
Mengonversi ekspresi string menjadi huruf besar. |
validate_utf8(str) |
Mengembalikan nilai input jika sesuai dengan string UTF-8 yang valid, atau mengeluarkan kesalahan sebaliknya. |
Fungsi bitwise
| Function | Description |
|---|---|
bit_count(col) |
Mengembalikan jumlah bit yang diatur dalam argumen expr sebagai bilangan bulat 64-bit yang tidak ditandatangani, atau NULL jika argumen adalah NULL. |
bit_get(col, pos) |
Mengembalikan nilai bit (0 atau 1) pada posisi yang ditentukan. |
bitwise_not(col) |
Menghitung bitwise tidak. |
getbit(col, pos) |
Mengembalikan nilai bit (0 atau 1) pada posisi yang ditentukan. |
shiftleft(col, numBits) |
Geser nilai yang diberikan ke kiri sebanyak numBits. |
shiftright(col, numBits) |
(Ditandatangani) menggeser nilai numBits yang diberikan ke kanan. |
shiftrightunsigned(col, numBits) |
Unsigned menggeser nilai numBits yang diberikan ke kanan. |
Fungsi tanggal/waktu
| Function | Description |
|---|---|
add_months(start, months) |
Mengembalikan tanggal yang merupakan beberapa bulan setelah tanggal mulai. |
convert_timezone(sourceTz, targetTz, sourceTs) |
Mengonversi cap waktu sourceTs tanpa zona waktu dari zona waktu sourceTz ke targetTz. |
curdate() |
Mengembalikan tanggal saat ini di awal evaluasi kueri sebagai kolom DateType. |
current_date() |
Mengembalikan tanggal saat ini di awal evaluasi kueri sebagai kolom DateType. |
current_timestamp() |
Mengembalikan tanda waktu saat ini di awal evaluasi kueri sebagai kolom TimestampType. |
current_timezone() |
Mengembalikan zona waktu lokal sesi saat ini. |
date_add(start, days) |
Mengembalikan tanggal yang merupakan sejumlah hari setelah tanggal mulai. |
date_diff(end, start) |
Mengembalikan jumlah hari dari awal hingga akhir. |
date_format(date, format) |
Mengonversi tanggal/tanda waktu/string menjadi nilai string dalam format yang ditentukan oleh format tanggal yang diberikan oleh argumen kedua. |
date_from_unix_date(days) |
Buat tanggal dari jumlah hari sejak 1970-01-01. |
date_part(field, source) |
Mengekstrak bagian dari tanggal/tanda waktu atau sumber interval. |
date_sub(start, days) |
Mengembalikan tanggal yang merupakan sejumlah hari sebelum tanggal mulai. |
date_trunc(format, timestamp) |
Mengembalikan tanda waktu yang dipotong ke unit yang ditentukan oleh format. |
dateadd(start, days) |
Mengembalikan tanggal yang merupakan sejumlah hari setelah tanggal mulai. |
datediff(end, start) |
Mengembalikan jumlah hari dari awal hingga akhir. |
datepart(field, source) |
Mengekstrak bagian dari tanggal/tanda waktu atau sumber interval. |
day(col) |
Ekstrak hari bulan dari tanggal/tanda waktu tertentu sebagai bilangan bulat. |
dayname(col) |
Mengembalikan nama hari yang disingkat tiga huruf dari tanggal tertentu. |
dayofmonth(col) |
Ekstrak hari bulan dari tanggal/tanda waktu tertentu sebagai bilangan bulat. |
dayofweek(col) |
Ekstrak hari dalam seminggu dari tanggal/tanda waktu tertentu sebagai bilangan bulat. |
dayofyear(col) |
Ekstrak hari dalam setahun dari tanggal/tanda waktu tertentu sebagai bilangan bulat. |
extract(field, source) |
Mengekstrak bagian dari tanggal/tanda waktu atau sumber interval. |
from_unixtime(timestamp[, format]) |
Mengonversi jumlah detik dari unix epoch (1970-01-01 00:00:00 UTC) ke string yang mewakili tanda waktu saat itu di zona waktu sistem saat ini dalam format tertentu. |
from_utc_timestamp(timestamp, tz) |
Ini adalah fungsi umum untuk database yang mendukung TIMESTAMP WITHOUT TIMEZONE. |
hour(col) |
Ekstrak jam tanda waktu tertentu sebagai bilangan bulat. |
last_day(date) |
Mengembalikan hari terakhir pada bulan tempat tanggal yang diberikan berada. |
localtimestamp() |
Mengembalikan tanda waktu saat ini tanpa zona waktu di awal evaluasi kueri sebagai tanda waktu tanpa kolom zona waktu. |
make_date(year, month, day) |
Mengembalikan kolom dengan tanggal yang dibuat dari kolom tahun, bulan, dan hari. |
make_dt_interval([days, hours, mins, secs]) |
Buat durasi DayTimeIntervalType dari hari, jam, menit, dan detik. |
make_interval([years, months, weeks, days, ...]) |
Buat interval dari tahun, bulan, minggu, hari, jam, menit, dan detik. |
make_timestamp(years, months, days, hours, ...) |
Buat tanda waktu dari tahun, bulan, hari, jam, menit, detik, dan bidang zona waktu. |
make_timestamp_ltz(years, months, days, ...) |
Buat tanda waktu saat ini dengan zona waktu lokal dari tahun, bulan, hari, jam, menit, detik, dan bidang zona waktu. |
make_timestamp_ntz(years, months, days, ...) |
Buat tanggal-waktu lokal dari bidang tahun, bulan, hari, jam, menit, detik. |
make_ym_interval([years, months]) |
Buat interval tahun-bulan dari tahun dan bulan. |
minute(col) |
Ekstrak menit dari cap waktu yang diberikan sebagai bilangan bulat. |
month(col) |
Ekstrak bulan dari tanggal/tanda waktu tertentu sebagai bilangan bulat. |
monthname(col) |
Mengembalikan nama bulan yang disingkat tiga huruf dari tanggal yang diberikan. |
months_between(date1, date2[, roundOff]) |
Mengembalikan jumlah bulan antara tanggal1 dan tanggal2. |
next_day(date, dayOfWeek) |
Mengembalikan tanggal pertama yang lebih lambat dari nilai kolom tanggal berdasarkan argumen hari minggu kedua. |
now() |
Mengembalikan stempel waktu saat ini pada awal evaluasi kueri. |
quarter(col) |
Ekstrak kuartal dari tanggal/waktu yang diberikan sebagai bilangan bulat. |
second(col) |
Ekstrak detik dari tanggal tertentu sebagai bilangan bulat. |
session_window(timeColumn, gapDuration) |
Menghasilkan jendela sesi dengan kolom yang ditentukan oleh stempel waktu. |
time_diff(unit, start, end) |
Mengembalikan selisih antara dua kali, diukur dalam unit tertentu. |
time_from_micros(col) |
Membuat nilai TIME dari mikrostik sejak tengah malam. |
time_from_millis(col) |
Membuat nilai TIME dari milidetik sejak tengah malam. |
time_from_seconds(col) |
Membuat nilai TIME dari detik sejak tengah malam (mendukung detik pecahan). |
time_to_micros(col) |
Mengekstrak mikrostik dari nilai TIME. |
time_to_millis(col) |
Mengekstrak milidetik dari nilai TIME. |
time_to_seconds(col) |
Mengekstrak detik dari nilai TIME. |
time_trunc(unit, time) |
Mengembalikan waktu yang dipotong ke unit. |
timestamp_add(unit, quantity, ts) |
Mendapatkan perbedaan antara tanda waktu dalam unit yang ditentukan dengan memotong bagian pecahan. |
timestamp_diff(unit, start, end) |
Mendapatkan perbedaan antara tanda waktu dalam unit yang ditentukan dengan memotong bagian pecahan. |
timestamp_micros(col) |
Membuat tanda waktu dari jumlah mikrosekon sejak permulaan waktu UTC. |
timestamp_millis(col) |
Membuat tanda waktu dari jumlah milidetik sejak zaman UTC. |
timestamp_seconds(col) |
Mengonversi jumlah detik dari epoch Unix (1970-01-01T00:00:00Z) menjadi tanda waktu. |
to_date(col[, format]) |
Mengonversi Kolom menjadi pyspark.sql.type.DateType menggunakan format yang ditentukan secara opsional. |
to_time(str, format) |
Mengonversi kolom menjadi TimeType menggunakan format yang ditentukan secara opsional. |
to_timestamp(col[, format]) |
Mengonversi Kolom menjadi pyspark.sql.type.TimestampType menggunakan format yang ditentukan secara opsional. |
to_timestamp_ltz(timestamp[, format]) |
Mengurai tanda waktu dengan format ke tanda waktu dengan zona waktu. |
to_timestamp_ntz(timestamp[, format]) |
Memproses stempel waktu dari format tertentu ke stempel waktu tanpa zona waktu. |
to_unix_timestamp(timestamp[, format]) |
Mengembalikan stempel waktu UNIX dari waktu yang diberikan. |
to_utc_timestamp(timestamp, tz) |
Ini adalah fungsi umum untuk database yang mendukung TIMESTAMP WITHOUT TIMEZONE. |
trunc(date, format) |
Mengembalikan tanggal yang dipotong ke unit yang ditentukan oleh format. |
try_make_interval([years, months, weeks, ...]) |
Cobalah melakukan operasi make_interval, tetapi kembalikan nilai NULL alih-alih memunculkan kesalahan jika interval tidak dapat dibuat. |
try_make_timestamp(years, months, days, ...) |
Cobalah untuk membuat tanda waktu dari tahun, bulan, hari, jam, menit, detik, dan bidang zona waktu. |
try_make_timestamp_ltz(years, months, days, ...) |
Cobalah untuk membuat tanda waktu saat ini dengan zona waktu lokal dari tahun, bulan, hari, jam, menit, detik, dan bidang zona waktu. |
try_make_timestamp_ntz(years, months, days, ...) |
Cobalah untuk membuat tanggal-waktu lokal dari bidang tahun, bulan, hari, jam, menit, detik. |
try_to_time(str, format) |
Mengonversi kolom menjadi TimeType menggunakan format yang ditentukan secara opsional. |
try_to_timestamp(col[, format]) |
Mengurai kolom dalam format menjadi cap waktu. |
unix_date(col) |
Mengembalikan jumlah hari sejak 1970-01-01. |
unix_micros(col) |
Mengembalikan jumlah mikrodetik sejak 1970-01-01 00:00:00 UTC. |
unix_millis(col) |
Mengembalikan jumlah milidetik sejak 1970-01-01 00:00:00 UTC. |
unix_seconds(col) |
Mengembalikan jumlah detik sejak 1970-01-01 00:00:00 UTC. |
unix_timestamp([timestamp, format]) |
Konversi string waktu dengan pola tertentu ('yyyy-MM-dd HH:mm:ss', secara default) ke stempel waktu Unix (dalam detik), menggunakan zona waktu default dan lokal default, mengembalikan null jika gagal. |
weekday(col) |
Mengembalikan hari dalam seminggu untuk tanggal/tanda waktu (0 = Senin, 1 = Selasa, ..., 6 = Minggu). |
weekofyear(col) |
Ekstrak nomor minggu dari tanggal tertentu sebagai bilangan bulat. |
window(timeColumn, windowDuration[, ...]) |
Mengkategorikan baris ke dalam satu atau beberapa jendela waktu berdasarkan kolom yang ditentukan oleh penanda waktu. |
window_time(windowColumn) |
Menghitung waktu peristiwa dari kolom jendela. |
year(col) |
Ekstrak tahun dari tanggal/waktu yang diberikan sebagai integer. |
Fungsi hash
| Function | Description |
|---|---|
crc32(col) |
Menghitung nilai pemeriksaan redundansi siklik (CRC32) dari kolom biner dan mengembalikan nilainya sebagai bigint. |
hash(*cols) |
Menghitung kode hash kolom yang diberikan, dan mengembalikan hasilnya sebagai kolom int. |
md5(col) |
Menghitung ringkasan MD5 dan mengembalikan nilai sebagai string heksadesimal 32 karakter. |
sha(col) |
Mengembalikan nilai hash sha1 sebagai string heksadesimal dari kolom. |
sha1(col) |
Mengembalikan hasil string heksadesimal dari SHA-1. |
sha2(col, numBits) |
Mengembalikan hasil string heks dari kumpulan fungsi hash SHA-2 (SHA-224, SHA-256, SHA-384, dan SHA-512). |
xxhash64(*cols) |
Menghitung kode hash kolom yang diberikan menggunakan varian 64-bit dari algoritma xxHash, dan mengembalikan hasilnya sebagai kolom panjang. |
Fungsi pengumpulan
| Function | Description |
|---|---|
aggregate(col, initialValue, merge[, finish]) |
Menerapkan operator biner ke status awal dan semua elemen dalam array, dan menguranginya menjadi satu status. |
cardinality(col) |
Mengembalikan panjang array atau peta yang disimpan dalam kolom. |
concat(*cols) |
Menggabungkan beberapa kolom input bersama-sama ke dalam satu kolom. |
element_at(col, extraction) |
Mengembalikan elemen array pada indeks yang diberikan (berbasis 1). |
exists(col, f) |
Apakah predikat berlaku untuk satu atau lebih elemen dalam array. |
filter(col, f) |
Mengembalikan array elemen yang predikatnya ditahan dalam array tertentu. |
forall(col, f) |
Mengembalikan apakah predikat berlaku untuk setiap elemen dalam array. |
map_filter(col, f) |
Mengembalikan kolom peta baru yang pasangan kunci-nilainya memenuhi fungsi predikat tertentu. |
map_zip_with(col1, col2, f) |
Menggabungkan dua peta yang diberikan ke dalam satu peta dengan menerapkan fungsi ke pasangan kunci-nilai. |
reduce(col, initialValue, merge[, finish]) |
Menerapkan operator biner ke status awal dan semua elemen dalam array, dan menguranginya menjadi satu status. |
reverse(col) |
Mengembalikan string terbalik atau array dengan elemen dalam urutan terbalik. |
size(col) |
Mengembalikan panjang array atau peta yang disimpan dalam kolom. |
transform(col, f) |
Mengembalikan sebuah array dari elemen-elemen setelah menerapkan transformasi pada setiap elemen dalam array input. |
transform_keys(col, f) |
Menerapkan fungsi ke setiap pasangan kunci-nilai dalam peta dan mengembalikan peta dengan hasil aplikasi tersebut sebagai kunci baru untuk pasangan. |
transform_values(col, f) |
Menerapkan fungsi ke setiap pasangan kunci-nilai dalam peta dan mengembalikan peta dengan hasil aplikasi tersebut sebagai nilai baru untuk pasangan. |
try_element_at(col, extraction) |
Mengembalikan elemen array pada indeks yang diberikan (berbasis 1). |
zip_with(left, right, f) |
Gabungkan dua array yang diberikan ke dalam satu array per elemen menggunakan fungsi. |
Fungsi Array
| Function | Description |
|---|---|
array(*cols) |
Membuat kolom array baru dari kolom input atau nama kolom. |
array_append(col, value) |
Mengembalikan kolom array baru dengan menambahkan nilai ke col array yang ada. |
array_compact(col) |
Menghapus nilai null dari array. |
array_contains(col, value) |
Mengembalikan boolean yang menunjukkan apakah array berisi nilai yang diberikan: null jika array null, true jika array berisi nilai yang diberikan, dan false sebaliknya. |
array_distinct(col) |
Menghapus nilai duplikat dari array. |
array_except(col1, col2) |
Mengembalikan array baru yang berisi elemen yang ada di col1 tetapi tidak di col2, tanpa duplikat. |
array_insert(arr, pos, value) |
Menyisipkan item ke dalam array yang diberikan pada indeks array yang ditentukan. |
array_intersect(col1, col2) |
Mengembalikan array baru yang berisi persimpangan elemen di col1 dan col2, tanpa duplikat. |
array_join(col, delimiter[, null_replacement]) |
Mengembalikan kolom string dengan menggabungkan elemen kolom array input menggunakan pemisah. |
array_max(col) |
Mengembalikan nilai maksimum array. |
array_min(col) |
Mengembalikan nilai minimum dari array. |
array_position(col, value) |
Menemukan posisi kemunculan pertama dari nilai yang diberikan dalam array yang diberikan. |
array_prepend(col, value) |
Mengembalikan array yang berisi elemen yang diberikan sebagai elemen pertama dan elemen lainnya dari array asli. |
array_remove(col, element) |
Hapus semua elemen yang sama dengan elemen dari array yang diberikan. |
array_repeat(col, count) |
Membuat array yang berisi kolom yang diulang sejumlah kali. |
array_size(col) |
Mengembalikan jumlah total elemen dalam array. |
array_sort(col[, comparator]) |
Mengurutkan array input dalam urutan naik. |
array_union(col1, col2) |
Mengembalikan array baru yang berisi penyatuan elemen di col1 dan col2, tanpa duplikat. |
arrays_overlap(a1, a2) |
Mengembalikan kolom boolean yang menunjukkan apakah array input memiliki elemen non-null umum, mengembalikan true jika ya, null jika array tidak berisi elemen umum tetapi tidak kosong dan setidaknya salah satunya berisi elemen null, dan false sebaliknya. |
arrays_zip(*cols) |
Mengembalikan array gabungan dari struktur data di mana struktur data ke-N berisi semua nilai ke-N dari array input. |
flatten(col) |
Membuat array tunggal dari array. |
get(col, index) |
Mengembalikan elemen array pada indeks yang diberikan (berbasis 0). |
sequence(start, stop[, step]) |
Hasilkan urutan bilangan bulat dari awal hingga akhir, tahapan demi langkah. |
shuffle(col[, seed]) |
Menghasilkan permutasi acak dari array yang diberikan. |
slice(x, start, length) |
Mengembalikan kolom array baru dengan cara mengiris kolom array input mulai dari indeks awal hingga panjang tertentu. |
sort_array(col[, asc]) |
Mengurutkan array input dalam urutan naik atau turun sesuai dengan urutan alami elemen array. |
Fungsi struct
| Function | Description |
|---|---|
named_struct(*cols) |
Membuat struktur dengan nama dan nilai bidang yang diberikan. |
struct(*cols) |
Membuat kolom struct baru. |
Fungsi peta
| Function | Description |
|---|---|
create_map(*cols) |
Membuat kolom peta baru dari jumlah genap kolom input atau referensi kolom. |
map_concat(*cols) |
Mengembalikan persatuan semua peta yang diberikan. |
map_contains_key(col, value) |
Mengembalikan true jika peta berisi kunci. |
map_entries(col) |
Mengembalikan array yang tidak diurutkan dari semua entri dalam peta yang diberikan. |
map_from_arrays(col1, col2) |
Membuat peta baru dari dua array. |
map_from_entries(col) |
Mengubah array entri pasangan kunci-nilai (struktur dengan dua bidang) menjadi peta. |
map_keys(col) |
Mengembalikan array yang tidak diurutkan yang berisi kunci peta. |
map_values(col) |
Mengembalikan array yang tidak diurutkan yang berisi nilai peta. |
str_to_map(text[, pairDelim, keyValueDelim]) |
Mengonversi string menjadi peta setelah memisahkan teks menjadi pasangan kunci/nilai menggunakan pemisah. |
Fungsi agregat
| Function | Description |
|---|---|
any_value(col[, ignoreNulls]) |
Mengembalikan beberapa nilai kolom untuk sekelompok baris. |
approx_count_distinct(col[, rsd]) |
Mengembalikan Kolom baru, yang memperkirakan perkiraan jumlah elemen yang berbeda dalam kolom tertentu atau sekelompok kolom. |
approx_percentile(col, percentage[, accuracy]) |
Mengembalikan perkiraan persentil dari kol kolom numerik yang merupakan nilai terkecil dalam nilai kol yang diurutkan (diurutkan dari yang paling sedikit hingga terbesar) sehingga tidak lebih dari persentase nilai kol kurang dari nilai atau sama dengan nilai tersebut. |
approx_top_k(col, k, maxItemsTracked) |
Mengembalikan nilai item k teratas yang paling sering muncul dalam string, boolean, tanggal, tanda waktu, atau kol kolom numerik bersama dengan perkiraan jumlahnya. |
array_agg(col) |
Mengembalikan daftar objek yang mencakup duplikat. |
avg(col) |
Mengembalikan rata-rata nilai dalam grup. |
bit_and(col) |
Mengembalikan bitwise AND dari semua nilai input non-null, atau null jika tidak ada. |
bit_or(col) |
Mengembalikan bitwise OR dari semua nilai input non-null, atau null jika tidak ada. |
bit_xor(col) |
Mengembalikan XOR bitwise dari semua nilai input non-null, atau null jika tidak ada. |
bitmap_construct_agg(col) |
Mengembalikan bitmap dengan posisi bit yang ditetapkan dari semua nilai dalam kolom input. |
bitmap_or_agg(col) |
Mengembalikan bitmap yang merupakan hasil bitwise OR dari semua bitmap pada kolom input. |
bool_and(col) |
Mengembalikan `true` jika semua nilai pada `col` adalah `true`. |
bool_or(col) |
Mengembalikan benar jika setidaknya satu nilai col adalah benar. |
collect_list(col) |
Mengumpulkan nilai dari kolom ke dalam daftar, mempertahankan duplikat, dan mengembalikan daftar objek ini. |
collect_set(col) |
Mengumpulkan nilai dari kolom ke dalam satu set, menghilangkan duplikat, dan mengembalikan kumpulan objek ini. |
corr(col1, col2) |
Mengembalikan Kolom baru untuk Koefisien Korelasi Pearson untuk col1 dan col2. |
count(col) |
Mengembalikan jumlah item dalam grup. |
count_distinct(col, *cols) |
Mengembalikan Kolom baru untuk hitungan unik dari kolom atau kolom-kolom. |
count_if(col) |
Mengembalikan jumlah nilai TRUE untuk kolom. |
count_min_sketch(col, eps, confidence[, seed]) |
Mengembalikan count-min sketch dari kolom dengan esp, tingkat kepercayaan, dan nilai awal yang diberikan. |
covar_pop(col1, col2) |
Mengembalikan kolom baru untuk kovariansi populasi dari col1 dan col2. |
covar_samp(col1, col2) |
Mengembalikan Kolom baru untuk kovarians sampel col1 dan col2. |
every(col) |
Mengembalikan `true` jika semua nilai pada `col` adalah `true`. |
first(col[, ignorenulls]) |
Mengembalikan nilai pertama dalam grup. |
first_value(col[, ignoreNulls]) |
Mengembalikan nilai pertama col untuk sekelompok baris. |
grouping(col) |
Menunjukkan apakah kolom tertentu dalam GROUP BY daftar diagregasi atau tidak, mengembalikan 1 untuk agregat atau 0 untuk tidak diagregasi dalam tataan hasil. |
grouping_id(*cols) |
Mengembalikan tingkat pengelompokan, sama dengan |
histogram_numeric(col, nBins) |
Menghitung histogram pada 'col' numerik menggunakan nb bins. |
hll_sketch_agg(col[, lgConfigK]) |
Mengembalikan representasi biner yang dapat diperbarui dari Datasketches HllSketch yang dikonfigurasi dengan arg lgConfigK. |
hll_union_agg(col[, allowDifferentLgConfigK]) |
Mengembalikan representasi biner yang dapat diperbarui dari Datasketches HllSketch, yang dihasilkan dengan menggabungkan instans Datasketches HllSketch yang dibuat sebelumnya melalui instans Datasketches Union. |
kurtosis(col) |
Mengembalikan kurtosis nilai dalam grup. |
last(col[, ignorenulls]) |
Mengembalikan nilai terakhir dalam grup. |
last_value(col[, ignoreNulls]) |
Mengembalikan nilai terakhir col untuk sekelompok baris. |
listagg(col[, delimiter]) |
Mengembalikan perangkaian nilai input non-null, dipisahkan oleh pemisah. |
listagg_distinct(col[, delimiter]) |
Mengembalikan perangkaian nilai input non-null yang berbeda, dipisahkan oleh pemisah. |
max(col) |
Mengembalikan nilai maksimum ekspresi dalam grup. |
max_by(col, ord) |
Mengembalikan nilai dari parameter col yang terkait dengan nilai maksimum dari parameter ord. |
mean(col) |
Mengembalikan rata-rata nilai dalam grup. |
median(col) |
Mengembalikan median nilai dalam grup. |
min(col) |
Mengembalikan nilai minimum ekspresi dalam grup. |
min_by(col, ord) |
Mengembalikan nilai dari parameter kol yang terkait dengan nilai minimum dari parameter ord. |
mode(col[, deterministic]) |
Mengembalikan nilai yang paling sering dalam grup. |
percentile(col, percentage[, frequency]) |
Mengembalikan persentil yang tepat dari kolom numerik expr pada persentase yang diberikan dengan rentang nilai dalam [0.0, 1.0]. |
percentile_approx(col, percentage[, accuracy]) |
Mengembalikan perkiraan persentil dari kol kolom numerik yang merupakan nilai terkecil dalam nilai kol yang diurutkan (diurutkan dari yang paling sedikit hingga terbesar) sehingga tidak lebih dari persentase nilai kol kurang dari nilai atau sama dengan nilai tersebut. |
product(col) |
Menghasilkan hasil perkalian dari nilai-nilai dalam grup. |
regr_avgx(y, x) |
Mengembalikan rata-rata variabel independen untuk pasangan non-null dalam grup, di mana y adalah variabel dependen dan x adalah variabel independen. |
regr_avgy(y, x) |
Mengembalikan rata-rata variabel dependen untuk pasangan non-null dalam grup, di mana y adalah variabel dependen dan x adalah variabel independen. |
regr_count(y, x) |
Mengembalikan jumlah pasangan angka non-null dalam grup, di mana y adalah variabel dependen dan x adalah variabel independen. |
regr_intercept(y, x) |
Mengembalikan intersepsi baris regresi linier univariat untuk pasangan non-null dalam grup, di mana y adalah variabel dependen dan x adalah variabel independen. |
regr_r2(y, x) |
Mengembalikan koefisien penentuan untuk pasangan non-null dalam grup, di mana y adalah variabel dependen dan x adalah variabel independen. |
regr_slope(y, x) |
Mengembalikan kemiringan garis regresi linier untuk pasangan non-null dalam grup, di mana y adalah variabel dependen dan x adalah variabel independen. |
regr_sxx(y, x) |
Mengembalikan REGR_COUNT(y, x) * VAR_POP(x) untuk pasangan non-null dalam grup, di mana y adalah variabel dependen dan x adalah variabel independen. |
regr_sxy(y, x) |
Mengembalikan REGR_COUNT(y, x) * COVAR_POP(y, x) untuk pasangan non-null dalam grup, di mana y adalah variabel dependen dan x adalah variabel independen. |
regr_syy(y, x) |
Mengembalikan REGR_COUNT(y, x) * VAR_POP(y) untuk pasangan non-null dalam grup, di mana y adalah variabel dependen dan x adalah variabel independen. |
skewness(col) |
Mengembalikan kemencengan nilai dalam grup. |
some(col) |
Mengembalikan benar jika setidaknya satu nilai col adalah benar. |
std(col) |
Alias untuk stddev_samp. |
stddev(col) |
Alias untuk stddev_samp. |
stddev_pop(col) |
Mengembalikan simpantan baku populasi ekspresi dalam grup. |
stddev_samp(col) |
Mengembalikan standar deviasi sampel tidak bias dari ekspresi dalam sebuah grup. |
string_agg(col[, delimiter]) |
Mengembalikan perangkaian nilai input non-null, dipisahkan oleh pemisah. |
string_agg_distinct(col[, delimiter]) |
Mengembalikan perangkaian nilai input non-null yang berbeda, dipisahkan oleh pemisah. |
sum(col) |
Mengembalikan jumlah semua nilai dalam ekspresi. |
sum_distinct(col) |
Mengembalikan jumlah nilai yang berbeda dalam ekspresi. |
try_avg(col) |
Mengembalikan rata-rata yang dihitung dari nilai-nilai dalam satu grup, dan hasilnya adalah null jika terjadi overflow. |
try_sum(col) |
Mengembalikan total yang dihitung dari nilai grup dan hasilnya null ketika terjadi overflow. |
var_pop(col) |
Mengembalikan varian populasi nilai dalam grup. |
var_samp(col) |
Mengembalikan varians sampel nilai yang tidak bias dalam grup. |
variance(col) |
Alias untuk var_samp |
Fungsi jendela
| Function | Description |
|---|---|
cume_dist() |
Mengembalikan distribusi kumulatif nilai dalam partisi jendela, yaitu pecahan baris yang berada di bawah baris saat ini. |
dense_rank() |
Mengembalikan peringkat baris dalam partisi jendela, tanpa celah apa pun. |
lag(col[, offset, default]) |
Mengembalikan nilai yang merupakan baris offset sebelum baris saat ini, dan default jika ada kurang dari baris offset sebelum baris saat ini. |
lead(col[, offset, default]) |
Mengembalikan nilai yang merupakan baris offset setelah baris saat ini, dan default jika ada kurang dari baris offset setelah baris saat ini. |
nth_value(col, offset[, ignoreNulls]) |
Mengembalikan nilai yang merupakan baris offsetth dari bingkai jendela (dihitung dari 1), dan null jika ukuran bingkai jendela kurang dari baris offset. |
ntile(n) |
Mengembalikan id grup ntile (dari 1 hingga n inklusif) dalam partisi jendela yang diurutkan. |
percent_rank() |
Mengembalikan peringkat relatif (yaitu. |
rank() |
Mengembalikan peringkat baris dalam partisi jendela. |
row_number() |
Mengembalikan angka berurutan mulai dari 1 dalam partisi jendela. |
Fungsi generator
| Function | Description |
|---|---|
explode(col) |
Mengembalikan baris baru untuk setiap elemen dalam array atau peta yang diberikan. |
explode_outer(col) |
Mengembalikan baris baru untuk setiap elemen dalam array atau peta yang diberikan. |
inline(col) |
Meledakkan array struktur ke dalam tabel. |
inline_outer(col) |
Meledakkan array struktur ke dalam tabel. |
posexplode(col) |
Mengembalikan baris baru untuk setiap elemen dengan posisi dalam array atau peta yang diberikan. |
posexplode_outer(col) |
Mengembalikan baris baru untuk setiap elemen dengan posisi dalam array atau peta yang diberikan. |
stack(*cols) |
Memisahkan col1, ..., colk menjadi n baris. |
Fungsi transformasi partisi
| Function | Description |
|---|---|
partitioning.years(col) |
Transformasi untuk mengelompokkan data dari stempel waktu dan tanggal ke dalam tahun. |
partitioning.months(col) |
Transformasi untuk tanda waktu dan tanggal untuk membagi data menjadi bulan. |
partitioning.days(col) |
Transformasi untuk mempartisi data berdasarkan tanda waktu dan tanggal menjadi per hari. |
partitioning.hours(col) |
Sebuah transformasi untuk cap waktu untuk mempartisi data ke dalam jam. |
partitioning.bucket(numBuckets, col) |
Transformasi untuk tipe data apa pun yang dibagi berdasarkan hash dari kolom input. |
Fungsi geospasial H3
| Function | Description |
|---|---|
h3_boundaryasgeojson(col) |
Mengembalikan batas sel H3 dalam format GeoJSON |
h3_boundaryaswkb(col) |
Mengembalikan batas sel H3 dalam format WKB |
h3_boundaryaswkt(col) |
Mengembalikan batas sel H3 dalam format WKT |
h3_centerasgeojson(col) |
Mengembalikan pusat sel H3 dalam format GeoJSON |
h3_centeraswkb(col) |
Mengembalikan pusat sel H3 dalam format WKB |
h3_centeraswkt(col) |
Mengembalikan pusat sel H3 dalam format WKT |
h3_compact(col) |
Memampatkan set ID sel H3 pada input sebaik mungkin |
h3_coverash3(col1,col2) |
Mengembalikan array ID sel yang direpresentasikan sebagai bilangan bulat panjang, yang sesuai dengan segi enam atau segi lima resolusi yang ditentukan yang secara minimal mencakup geografi linier input atau areal |
h3_coverash3string(col1,col2) |
Mengembalikan array ID sel yang direpresentasikan sebagai string, yang mewakili segi enam atau segi lima pada resolusi yang ditentukan, yang mencakup secara minimal geografi linier atau area input. |
h3_distance(col1,col2) |
Mengembalikan jarak kisi antara dua ID sel H3 |
h3_h3tostring(col) |
Mengonversi ID sel H3 menjadi string yang mewakili ID sel sebagai string heksadesimal |
h3_hexring(col1,col2) |
Mengembalikan array ID sel H3 yang membentuk cincin heksagonal berongga yang berpusat di sel H3 asal dan berada pada jarak kisi k dari sel H3 asal |
h3_ischildof(col1,col2) |
Mengembalikan True jika ID sel H3 pertama adalah anak dari ID sel H3 kedua |
h3_ispentagon(col) |
Mengembalikan True jika ID sel H3 input mewakili segi lima |
h3_isvalid(col) |
Mengembalikan True jika input mewakili ID sel H3 yang valid |
h3_kring(col1,col2) |
Mengembalikan ID sel H3 yang berada dalam jarak (kisi) k dari ID sel asal |
h3_kringdistances(col1,col2) |
Mengembalikan semua ID sel H3 (direpresentasikan sebagai bilangan bulat atau string panjang) dalam jarak kisi k dari ID sel H3 asal, bersama dengan jaraknya dari ID sel H3 asal |
h3_longlatash3(col1,col2,col3) |
Mengembalikan ID sel H3 (sebagai BIGINT) yang sesuai dengan garis bujur dan garis lintang yang disediakan pada resolusi yang ditentukan |
h3_longlatash3string(col1,col2,col3) |
Mengembalikan ID sel H3 (sebagai string) yang sesuai dengan bujur dan garis lintang yang disediakan pada resolusi yang ditentukan |
h3_maxchild(col1,col2) |
Mengembalikan anak dari sel H3 input dengan nilai maksimum pada resolusi yang ditentukan |
h3_minchild(col1,col2) |
Mengembalikan anak dari nilai minimum sel H3 input pada resolusi yang ditentukan. |
h3_pointash3(col1,col2) |
Mengembalikan ID sel H3 (sebagai BIGINT) yang sesuai dengan titik yang disediakan pada resolusi yang ditentukan |
h3_pointash3string(col1,col2) |
Mengembalikan ID sel H3 (sebagai string) yang sesuai dengan titik yang disediakan pada resolusi yang ditentukan |
h3_polyfillash3(col1,col2) |
Mengembalikan array ID sel yang diwakili sebagai bilangan bulat panjang, yang sesuai dengan segi enam atau segi lima dengan resolusi yang ditentukan yang terletak dalam geografi areal masukan. |
h3_polyfillash3string(col1,col2) |
Menghasilkan array ID sel yang diwakili sebagai string, yang sesuai dengan segi enam atau segi lima dengan resolusi yang ditentukan yang berisi geografi masukan. |
h3_resolution(col) |
Mengembalikan resolusi ID sel H3 |
h3_stringtoh3(col) |
Mengubah ID sel H3 dari representasi string menjadi representasi bilangan bulat besar |
h3_tessellateaswkb(col1,col2) |
Mengembalikan array struct yang mewakili chip yang mencakup wilayah geografis pada resolusi yang ditentukan |
h3_tochildren(col1,col2) |
Mengembalikan ID sel anak H3 dari ID sel H3 input pada resolusi yang ditentukan |
h3_toparent(col1,col2) |
Mengembalikan ID sel H3 induk dari ID sel H3 input pada resolusi yang ditentukan |
h3_try_coverash3(col1,col2) |
Mengembalikan array ID sel yang direpresentasikan sebagai bilangan bulat panjang, yang sesuai dengan segi enam atau segi lima resolusi yang ditentukan yang secara minimal mencakup geografi linier input atau areal |
h3_try_coverash3string(col1,col2) |
Mengembalikan array ID sel yang direpresentasikan sebagai string, yang mewakili segi enam atau segi lima pada resolusi yang ditentukan, yang mencakup secara minimal geografi linier atau area input. |
h3_try_distance(col1,col2) |
Mengembalikan jarak kisi antara dua ID sel H3 dengan resolusi yang sama, atau None jika jarak jika tidak terdefinisi |
h3_try_polyfillash3(col1,col2) |
Mengembalikan array ID sel yang diwakili sebagai bilangan bulat panjang, yang sesuai dengan segi enam atau segi lima dengan resolusi yang ditentukan yang terletak dalam geografi areal masukan. |
h3_try_polyfillash3string(col1,col2) |
Menghasilkan array ID sel yang diwakili sebagai string, yang sesuai dengan segi enam atau segi lima dengan resolusi yang ditentukan yang berisi geografi masukan. |
h3_try_tessellateaswkb(col1,col2) |
Mengembalikan sebuah array dari struktur yang mewakili chip, yang mencakup geografi pada resolusi yang ditentukan, atau kosong jika geometri tidak valid. |
h3_try_validate(col) |
Mengembalikan nilai input jika merupakan sel H3 yang valid atau Tidak Ada sebaliknya |
h3_uncompact(col1,col2) |
Memperluas kumpulan ID sel H3 ke resolusi yang ditentukan |
h3_validate(col) |
Mengembalikan nilai input jika merupakan sel H3 yang valid atau mengeluarkan kesalahan jika tidak |
Fungsi geospasial ST
| Function | Description |
|---|---|
st_addpoint(col1,col2,col3) |
Menambahkan titik baru ke posisi ke-n pada linestring input Geografi atau Geometri |
st_area(col) |
Mengembalikan area dari geografi masukan atau geometri masukan |
st_azimuth(col1,col2) |
Mengembalikan azimuth berbasis utara dari titik pertama ke yang kedua dalam radian di [0, 2Ï€) |
st_asbinary(col1,col2) |
Mengembalikan nilai Geografi input atau Geometri dalam format WKB |
st_asewkb(col1,col2) |
Mengembalikan nilai Geometri input dalam format EWKB |
st_asewkt(col) |
Mengembalikan nilai Input Geografi atau Geometri dalam format EWKT |
st_asgeojson(col) |
Mengembalikan nilai Geografi atau Geometri input dalam format GeoJSON |
st_astext(col) |
Mengembalikan nilai Input Geografi atau Geometri dalam format WKT |
st_aswkb(col1,col2) |
Mengembalikan nilai Geografi input atau Geometri dalam format WKB |
st_aswkt(col) |
Mengembalikan nilai Input Geografi atau Geometri dalam format WKT |
st_buffer(col1,col2) |
Mengembalikan buffer dari geometri input dengan menggunakan radius yang ditentukan |
st_boundary(col) |
Mengembalikan batas geometri input sebagai geometri |
st_centroid(col) |
Mengembalikan sentroid geometri input sebagai geometri titik 2D |
st_closestpoint(col1,col2) |
Mengembalikan titik proyeksi 2D pada geometri pertama yang paling dekat dengan geometri kedua. |
st_concavehull(col1,col2,col3) |
Mengembalikan batas luar cekung dari geometri input sebagai geometri dengan menggunakan perbandingan panjang yang ditentukan |
st_contains(col1,col2) |
Mengembalikan True jika geometri pertama berisi geometri kedua |
st_convexhull(col) |
Mengembalikan lambung cembung geometri input sebagai geometri |
st_covers(col1,col2) |
Mengembalikan True jika geometri pertama mencakup geometri kedua |
st_difference(col1,col2) |
Mengembalikan perbedaan himpunan titik dari dua geometri input sebagai geometri 2D |
st_dimension(col) |
Menghasilkan dimensi topologi dari proyeksi 2D geometri masukan |
st_disjoint(col1,col2) |
Mengembalikan True jika dua geometri tidak bersinggungan |
st_distance(col1,col2) |
Mengembalikan jarak Kartesius 2D antara dua geometri input |
st_distancesphere(col1,col2) |
Mengembalikan jarak sferis (dalam meter) antara dua geometri titik, diukur pada bola dengan radius yang merupakan rata-rata radius Elipsoid WGS84. |
st_distancespheroid(col1,col2) |
Mengembalikan jarak geodesik (dalam meter) antara dua geometri titik pada elipsoid WGS84 |
st_dump(col) |
Mengembalikan array yang berisi geometri-geometri tunggal dari geometri input |
st_dwithin(col1,col2,col3) |
Mengembalikan True jika jarak Kartesius 2D antara dua geometri input lebih kecil dari atau sama dengan jarak input |
st_endpoint(col) |
Mengembalikan titik terakhir dari linestring input, atau None jika tidak ada |
st_envelope(col) |
Mengembalikan kotak pembatas minimum sejajar sumbu Kartesius 2D (amplop) dari geometri input yang tidak kosong, sebagai geometri |
st_envelope_agg(col) |
Mengembalikan bungkusan dari semua geometri dalam kolom, atau None jika kolom tidak memiliki baris, atau hanya berisi nilai None |
st_equals(col1,col2) |
Mengembalikan True jika dua geometri sama secara geometris |
st_exteriorring(col) |
Mengembalikan cincin eksterior (shell), sebagai linestring, dari nilai Geografi input atau Geometri yang mewakili poligon |
st_flipcoordinates(col) |
Menukar koordinat X dan Y dari geometri input |
st_geogfromgeojson(col) |
Mengurai deskripsi GeoJSON dan mengembalikan nilai Geografi yang sesuai |
st_geogfromtext(col) |
Mengurai deskripsi WKT dan mengembalikan nilai Geografi yang sesuai |
st_geogfromwkb(col) |
Mengurai deskripsi WKB input dan mengembalikan nilai Geografi yang sesuai |
st_geogfromewkt(col) |
Mengurai deskripsi Extended Well-Known Text (EWKT) dan mengembalikan nilai Geografi yang sesuai |
st_geogfromwkt(col) |
Mengurai deskripsi WKT dan mengembalikan nilai Geografi yang sesuai |
st_geohash(col1,col2) |
Mengembalikan geohash dari Geometry input |
st_geometryn(col1,col2) |
Mengembalikan elemen ke-n berbasis 1 dari multigeometri input, atau None jika tidak ada |
st_geometrytype(col) |
Mengembalikan jenis nilai Input Geografi atau Geometri sebagai string |
st_geomfromewkb(col) |
Mengurai deskripsi EWKB input dan mengembalikan nilai Geometri yang sesuai |
st_geomfromewkt(col) |
Mengurai deskripsi Extended Well-Known Text (EWKT) dan mengembalikan nilai Geometri yang sesuai |
st_geomfromgeohash(col) |
Mengembalikan kotak kisi geohash yang sesuai dengan nilai geohash input sebagai geometri poligon 2D |
st_geomfromgeojson(col) |
Mengurai deskripsi GeoJSON dan mengembalikan nilai Geometri yang sesuai |
st_geomfromtext(col1,col2) |
Mengurai deskripsi WKT dan mengembalikan nilai Geometri yang sesuai |
st_geomfromwkb(col1,col2) |
Mengurai deskripsi WKB input dan mengembalikan nilai Geometri yang sesuai |
st_geomfromwkt(col1,col2) |
Mengurai deskripsi WKT dan mengembalikan nilai Geometri yang sesuai |
st_intersection(col1,col2) |
Mengembalikan perpotongan point set dari dua geometri input sebagai geometri 2D |
st_intersects(col1,col2) |
Mengembalikan True jika dua geometri beririsan |
st_interiorringn(col1,col2) |
Mengembalikan cincin interior n-th dari poligon input sebagai linestring |
st_isempty(col) |
Mengembalikan True jika nilai Input Geografi atau Geometri tidak berisi titik yang tidak kosong |
st_isvalid(col) |
Mengembalikan True jika geometri input adalah geometri yang valid dalam arti OGC |
st_length(col) |
Mengembalikan panjang geometri input atau nilai geografi |
st_m(col) |
Mengembalikan koordinat M dari geometri titik input, atau None jika geometri titik input kosong atau jika tidak memiliki koordinat M |
st_makeline(col) |
Mengembalikan geometri linestring yang titik-titiknya adalah titik tidak kosong dari array input geometri, yang diharapkan menjadi titik, linestring, atau multipoint. |
st_makepolygon(col1,col2) |
Membuat poligon dari batas luar masukan dan array opsional batas dalam, yang diwakili sebagai linestring tertutup |
st_multi(col) |
Mengembalikan nilai Geografi input atau Geometri sebagai nilai multi geospasial yang setara, mempertahankan SRID asli |
st_ndims(col) |
Mengembalikan dimensi koordinat dari nilai Input Geografi atau Geometri |
st_npoints(col) |
Mengembalikan jumlah titik yang tidak kosong dalam nilai Input Geografi atau Geometri |
st_numgeometries(col) |
Mengembalikan jumlah geometri dalam geometri input |
st_numinteriorrings(col) |
Mengembalikan jumlah cincin interior poligon input |
st_perimeter(col) |
Mengembalikan perimeter geografi input atau geometri |
st_point(col1,col2,col3) |
Mengembalikan titik 2D Geometri dengan koordinat x dan y yang diberikan serta nilai SRID |
st_pointfromgeohash(col) |
Mengembalikan pusat kotak kisi geohash yang sesuai dengan nilai geohash input sebagai geometri titik 2D |
st_pointn(col1,col2) |
Mengembalikan titik ke-n yang dihitung mulai dari 1 dari linestring input, atau None jika tidak ada |
st_removepoint(col1,col2) |
Menghapus titik ke-n dari garis lintang input Geografi atau Geometri |
st_reverse(col) |
Membalikkan urutan simpul dalam nilai Input Geografi atau Geometri |
st_rotate(col1,col2) |
Memutar geometri input di sekitar sumbu Z dengan sudut rotasi yang diberikan (dalam radian) |
st_scale(col1,col2,col3,col4) |
Menskalakan geometri input dalam arah X, Y, dan Z (opsional) menggunakan faktor yang diberikan |
st_setpoint(col1,col2,col3) |
Mengatur titik ke-n dalam linestring input Geography atau Geometry |
st_setsrid(col1,col2) |
Mengembalikan nilai Geometri baru yang SRID-nya adalah nilai SRID yang ditentukan |
st_simplify(col1,col2) |
Menyederhanakan geometri input menggunakan algoritma Douglas-Peucker |
st_srid(col) |
Mengembalikan SRID dari nilai geospasial input |
st_startpoint(col) |
Mengembalikan titik pertama dari linestring input, atau None jika tidak ada |
st_touches(col1,col2) |
Mengembalikan True jika dua geometri saling bersentuh |
st_transform(col1,col2) |
Mengubah koordinat X dan Y dari geometri input ke sistem referensi koordinat (CRS) yang dijelaskan oleh nilai SRID yang disediakan |
st_translate(col1,col2,col3,col4) |
Menerjemahkan geometri input dalam arah X, Y, dan Z (opsional) menggunakan offset yang disediakan |
st_union(col1,col2) |
Mengembalikan himpunan titik hasil union dari dua geometri input sebagai geometri 2D |
st_union_agg(col) |
Mengembalikan union berdasarkan titik dari semua geometri dalam kolom, atau None jika kolom tidak memiliki baris, atau hanya berisi nilai None. |
st_within(col1,col2) |
Mengembalikan True jika geometri pertama berada dalam geometri kedua |
st_x(col) |
Mengembalikan koordinat X dari geometri titik input, atau None jika geometri titik input kosong |
st_xmax(col) |
Mengembalikan koordinat X maksimum geometri input, atau None jika geometri input kosong |
st_xmin(col) |
Mengembalikan koordinat X minimum dari geometri input, atau None jika geometri input kosong |
st_y(col) |
Mengembalikan koordinat Y dari geometri titik input, atau None jika geometri titik input kosong |
st_ymax(col) |
Mengembalikan koordinat Y maksimum geometri input, atau None jika geometri input kosong |
st_ymin(col) |
Mengembalikan koordinat Y minimum geometri input, atau None jika geometri input kosong |
st_z(col) |
Mengembalikan koordinat Z dari geometri titik input, atau None jika geometri titik input kosong atau jika tidak memiliki koordinat Z |
st_zmax(col) |
Mengembalikan koordinat Z maksimum geometri input, atau None jika geometri input kosong atau tidak berisi koordinat Z |
st_zmin(col) |
Mengembalikan koordinat Z minimum geometri input, atau None jika geometri input kosong atau tidak berisi koordinat Z |
to_geography(col) |
Mengurai nilai BINER atau string input dan mengembalikan nilai Geografi yang sesuai |
to_geometry(col) |
Mengurai nilai BINER atau string input dan mengembalikan nilai Geometri yang sesuai |
try_to_geography(col) |
Mengurai nilai BINER atau string input dan mengembalikan nilai Geografi yang sesuai, atau None jika input tidak valid |
try_to_geometry(col) |
Mengurai nilai BINER atau string input dan mengembalikan nilai Geometri yang sesuai, atau None jika input tidak valid |
Fungsi CSV
| Function | Description |
|---|---|
from_csv(col, schema[, options]) |
Mengurai kolom yang berisi string CSV ke dalam baris dengan skema yang ditentukan. |
schema_of_csv(csv[, options]) |
Mengurai string CSV dan menyimpulkan skemanya dalam format DDL. |
to_csv(col[, options]) |
Mengonversi kolom yang berisi StructType menjadi string CSV. |
Fungsi JSON
| Function | Description |
|---|---|
from_json(col, schema[, options]) |
Mengurai kolom yang berisi string JSON ke dalam MapType dengan StringType sebagai jenis kunci, StructType atau ArrayType dengan skema yang ditentukan. |
get_json_object(col, path) |
Mengekstrak objek json dari string json berdasarkan jalur json yang ditentukan, dan mengembalikan string json dari objek json yang diekstrak. |
json_array_length(col) |
Mengembalikan jumlah elemen dalam array JSON terluar. |
json_object_keys(col) |
Mengembalikan semua kunci objek JSON terluar sebagai array. |
json_tuple(col, *fields) |
Membuat baris baru untuk kolom json sesuai dengan nama bidang yang diberikan. |
schema_of_json(json[, options]) |
Mengurai string JSON dan menyimpulkan skemanya dalam format DDL. |
to_json(col[, options]) |
Mengonversi kolom yang berisi StructType, ArrayType, atau MapType menjadi string JSON. |
Fungsi variasi
| Function | Description |
|---|---|
is_variant_null(v) |
Periksa apakah nilai varian adalah varian null. |
parse_json(col) |
Mengurai kolom yang berisi string JSON ke dalam VariantType. |
schema_of_variant(v) |
Mengembalikan skema dalam format SQL dari sebuah varian. |
schema_of_variant_agg(v) |
Mengembalikan skema gabungan dalam format SQL kolom varian. |
try_variant_get(v, path, targetType) |
Mengekstrak sub-varian dari v sesuai dengan jalur, lalu mentransmisian sub-varian ke targetType. |
variant_get(v, path, targetType) |
Mengekstrak sub-varian dari v sesuai dengan jalur, lalu mentransmisian sub-varian ke targetType. |
try_parse_json(col) |
Mengurai kolom yang berisi string JSON ke dalam VariantType. |
to_variant_object(col) |
Mengonversi kolom yang berisi input berlapis (array/map/struct) menjadi varian di mana peta dan struktur dikonversi ke objek varian yang tidak diurutkan tidak seperti struct SQL. |
Fungsi XML
| Function | Description |
|---|---|
from_xml(col, schema[, options]) |
Mengurai kolom yang berisi string XML ke baris dengan skema yang ditentukan. |
schema_of_xml(xml[, options]) |
Mengurai string XML dan menyimpulkan skemanya dalam format DDL. |
to_xml(col[, options]) |
Mengonversi kolom yang berisi StructType menjadi string XML. |
xpath(xml, path) |
Mengembalikan array string dari nilai-nilai di dalam simpul xml yang sesuai dengan ekspresi XPath. |
xpath_boolean(xml, path) |
Mengembalikan nilai true jika ekspresi XPath mengevaluasi ke true, atau jika ditemukan simpul yang sesuai. |
xpath_double(xml, path) |
Mengembalikan nilai ganda, nilai nol jika tidak ada kecocokan yang ditemukan, atau NaN jika kecocokan ditemukan tetapi nilainya non-numerik. |
xpath_float(xml, path) |
Mengembalikan nilai float, nilai nol jika tidak ada kecocokan yang ditemukan, atau NaN jika kecocokan ditemukan tetapi nilainya non-numerik. |
xpath_int(xml, path) |
Mengembalikan nilai bilangan bulat, atau nilai nol jika tidak ada kecocokan yang ditemukan, atau kecocokan ditemukan tetapi nilainya non-numerik. |
xpath_long(xml, path) |
Mengembalikan nilai bilangan bulat panjang, atau nilai nol jika tidak ada kecocokan yang ditemukan, atau kecocokan ditemukan tetapi nilainya non-numerik. |
xpath_number(xml, path) |
Mengembalikan nilai ganda, nilai nol jika tidak ada kecocokan yang ditemukan, atau NaN jika kecocokan ditemukan tetapi nilainya non-numerik. |
xpath_short(xml, path) |
Mengembalikan nilai bilangan bulat pendek, atau nilai nol jika tidak ada kecocokan yang ditemukan, atau kecocokan ditemukan tetapi nilainya non-numerik. |
xpath_string(xml, path) |
Mengembalikan konten teks dari simpul xml pertama yang cocok dengan ekspresi XPath. |
Fungsi URL
| Function | Description |
|---|---|
parse_url(url, partToExtract[, key]) |
Mengekstrak bagian tertentu dari URL. |
try_parse_url(url, partToExtract[, key]) |
Cobalah untuk melakukan operasi parse_url, tetapi kembalikan nilai NULL alih-alih memunculkan kesalahan jika penguraian tidak dapat dilakukan. |
url_decode(str) |
Mendekode string yang dikodekan URL dalam application/x-www-form-urlencoded format ke format aslinya. |
url_encode(str) |
Mengodekan string ke dalam string yang dikodekan URL dalam format 'application/x-www-form-urlencoded'. |
try_url_decode(str) |
Cobalah untuk melakukan url_decode operasi, tetapi kembalikan nilai NULL alih-alih memunculkan error jika decoding tidak dapat dilakukan. |
Fungsi lain
| Function | Description |
|---|---|
aes_decrypt(input, key[, mode, padding, aad]) |
Mengembalikan nilai input yang didekripsi menggunakan AES dalam mode dengan padding. |
aes_encrypt(input, key[, mode, padding, iv, aad]) |
Mengembalikan nilai input terenkripsi menggunakan AES dalam mode tertentu dengan padding yang ditentukan. |
assert_true(col[, errMsg]) |
Mengembalikan null jika kolom input benar; jika tidak, lempar pengecualian dengan pesan kesalahan yang disediakan. |
bitmap_and_agg(col) |
Mengembalikan bitmap yang merupakan bitwise DAN dari semua bitmap dari kolom input. |
bitmap_bit_position(col) |
Mengembalikan posisi bit untuk kolom input yang diberikan. |
bitmap_bucket_number(col) |
Mengembalikan nomor wadah untuk kolom input yang diberikan. |
bitmap_count(col) |
Mengembalikan jumlah bit yang ditetapkan dalam bitmap input. |
current_catalog() |
Mengembalikan katalog kini. |
current_database() |
Mengembalikan database saat ini. |
current_schema() |
Mengembalikan skema saat ini. |
current_user() |
Mengembalikan pengguna saat ini. |
hll_sketch_estimate(col) |
Mengembalikan jumlah perkiraan nilai unik berdasarkan representasi biner dari Datasketches HllSketch. |
hll_union(col1, col2[, allowDifferentLgConfigK]) |
Menggabungkan dua representasi biner objek Datasketches HllSketch, menggunakan objek Datasketches Union. |
input_file_block_length() |
Mengembalikan panjang blok yang sedang dibaca, atau -1 jika tidak tersedia. |
input_file_block_start() |
Mengembalikan offset awal blok yang sedang dibaca, atau -1 jika tidak tersedia. |
input_file_name() |
Membuat kolom string untuk nama file tugas Spark saat ini. |
java_method(*cols) |
Memanggil metode dengan refleksi. |
kll_merge_agg_bigint(col[, k]) |
Fungsi agregat: menggabungkan representasi KllLongsSketch biner dan mengembalikan sketsa gabungan. |
kll_merge_agg_double(col[, k]) |
Fungsi agregat: menggabungkan representasi KllDoublesSketch biner dan mengembalikan sketsa gabungan. |
kll_merge_agg_float(col[, k]) |
Fungsi agregat: menggabungkan representasi KllFloatsSketch biner dan mengembalikan sketsa gabungan. |
kll_sketch_agg_bigint(col[, k]) |
Fungsi agregat: mengembalikan representasi biner ringkas dari Datasketches KllLongsSketch yang dibangun dengan nilai di kolom input. |
kll_sketch_agg_double(col[, k]) |
Fungsi agregat: mengembalikan representasi biner ringkas dari Datasketches KllDoublesSketch yang dibangun dengan nilai di kolom input. |
kll_sketch_agg_float(col[, k]) |
Fungsi agregat: mengembalikan representasi biner ringkas dari Datasketches KllFloatsSketch yang dibangun dengan nilai di kolom input. |
kll_sketch_get_n_bigint(col) |
Mengembalikan jumlah item yang dikumpulkan dalam sketsa bigint KLL. |
kll_sketch_get_n_double(col) |
Mengembalikan jumlah item yang dikumpulkan dalam sketsa ganda KLL. |
kll_sketch_get_n_float(col) |
Mengembalikan jumlah item yang dikumpulkan dalam sketsa float KLL. |
kll_sketch_get_quantile_bigint(sketch, rank) |
Mengekstrak nilai kuantil dari sketsa KLL bigint yang diberi nilai peringkat input. |
kll_sketch_get_quantile_double(sketch, rank) |
Mengekstrak nilai kuantil dari sketsa ganda KLL yang diberi nilai peringkat input. |
kll_sketch_get_quantile_float(sketch, rank) |
Mengekstrak nilai kuantil dari sketsa float KLL yang diberi nilai peringkat input. |
kll_sketch_get_rank_bigint(sketch, quantile) |
Mengekstrak nilai peringkat dari sketsa KLL bigint yang diberi nilai kuantil input. |
kll_sketch_get_rank_double(sketch, quantile) |
Mengekstrak nilai peringkat dari sketsa ganda KLL yang diberi nilai kuantil input. |
kll_sketch_get_rank_float(sketch, quantile) |
Mengekstrak nilai peringkat dari sketsa float KLL yang diberi nilai kuantil input. |
kll_sketch_merge_bigint(left, right) |
Menggabungkan dua buffer sketsa KLL bigint bersama-sama menjadi satu. |
kll_sketch_merge_double(left, right) |
Menggabungkan dua buffer sketsa ganda KLL menjadi satu. |
kll_sketch_merge_float(left, right) |
Menggabungkan dua buffer sketsa float KLL bersama-sama menjadi satu. |
kll_sketch_to_string_bigint(col) |
Mengembalikan string dengan informasi ringkasan yang dapat dibaca manusia tentang sketsa KLL bigint. |
kll_sketch_to_string_double(col) |
Mengembalikan string dengan informasi ringkasan yang dapat dibaca manusia tentang sketsa ganda KLL. |
kll_sketch_to_string_float(col) |
Mengembalikan string dengan informasi ringkasan yang dapat dibaca manusia tentang sketsa float KLL. |
monotonically_increasing_id() |
Menghasilkan bilangan bulat 64-bit yang meningkat secara monoton. |
raise_error(errMsg) |
Melempar pengecualian dengan pesan kesalahan yang telah disediakan. |
reflect(*cols) |
Memanggil metode dengan refleksi. |
session_user() |
Mengembalikan nama pengguna konteks eksekusi saat ini. |
spark_partition_id() |
Kolom untuk ID partisi. |
theta_difference(col1, col2) |
Mengembalikan perbedaan yang ditetapkan dari dua representasi biner objek Datasketches ThetaSketch (elemen dalam sketsa pertama tetapi tidak dalam detik), menggunakan objek Datasketches ANotB. |
theta_intersection(col1, col2) |
Mengembalikan persimpangan dua representasi biner objek Datasketches ThetaSketch, menggunakan objek Persimpangan Datasketches. |
theta_intersection_agg(col) |
Fungsi agregat: mengembalikan representasi biner ringkas dari Datasketches ThetaSketch yang merupakan persimpangan sketsa Theta di kolom input. |
theta_sketch_agg(col[, lgNomEntries]) |
Fungsi agregat: mengembalikan representasi biner ringkas dari Datasketches ThetaSketch dengan nilai dalam kolom input yang dikonfigurasi dengan entri nominal lgNomEntries. |
theta_sketch_estimate(col) |
Mengembalikan perkiraan jumlah nilai unik yang diberikan representasi biner dari Datasketches ThetaSketch. |
theta_union(col1, col2[, lgNomEntries]) |
Menggabungkan dua representasi biner objek Datasketches ThetaSketch, menggunakan objek Datasketches Union. |
theta_union_agg(col[, lgNomEntries]) |
Fungsi agregat: mengembalikan representasi biner ringkas dari Datasketches ThetaSketch yang merupakan penyatuan sketsa Theta di kolom input. |
try_aes_decrypt(input, key[, mode, padding, aad]) |
Coba lakukan operasi aes_decrypt, tetapi kembalikan nilai NULL alih-alih menghasilkan kesalahan jika dekripsi tidak dapat dilakukan. |
try_reflect(*cols) |
Cobalah untuk melakukan operasi reflect, tetapi kembalikan nilai NULL alih-alih memunculkan kesalahan jika metode yang dipanggil melemparkan pengecualian. |
typeof(col) |
Mengembalikan string jenis berformat DDL untuk jenis data input. |
user() |
Mengembalikan pengguna saat ini. |
uuid() |
Menghasilkan string pengenal unik universal (UUID). |
version() |
Mengembalikan versi Spark. |
Fungsi UDF, UDTF, UDT
| Function | Description |
|---|---|
call_udf(udfName, *cols) |
Panggil fungsi yang ditentukan pengguna. |
pandas_udf([f, returnType, functionType]) |
Membuat fungsi buatan pengguna Pandas (juga disebut. |
udf([f, returnType, useArrow]) |
Membuat fungsi yang ditentukan pengguna (UDF). |
udtf([cls, returnType, useArrow]) |
Membuat fungsi tabel yang ditentukan pengguna (UDTF). |
unwrap_udt(col) |
Mengurai kolom tipe data UDT ke tipe dasar yang mendasarinya. |
Fungsi bernilai tabel
| Function | Description |
|---|---|
TableValuedFunction.collations() |
Dapatkan semua kolase string Spark SQL. |
TableValuedFunction.explode(collection) |
Mengembalikan DataFrame yang berisi baris baru untuk setiap elemen dalam array atau peta yang diberikan. |
TableValuedFunction.explode_outer(collection) |
Mengembalikan DataFrame yang berisi baris baru untuk setiap elemen dengan posisi dalam array atau peta yang diberikan. |
TableValuedFunction.inline(input) |
Meledakkan array struktur ke dalam tabel. |
TableValuedFunction.inline_outer(input) |
Meledakkan array struktur ke dalam tabel. |
TableValuedFunction.json_tuple(input, *fields) |
Membuat baris baru untuk kolom json sesuai dengan nama bidang yang diberikan. |
TableValuedFunction.posexplode(collection) |
Mengembalikan DataFrame yang berisi baris baru untuk setiap elemen dengan posisi dalam array atau peta yang diberikan. |
TableValuedFunction.posexplode_outer(collection) |
Mengembalikan DataFrame yang berisi baris baru untuk setiap elemen dengan posisi dalam array atau peta yang diberikan. |
TableValuedFunction.python_worker_logs() |
Mengembalikan DataFrame log yang dikumpulkan dari pekerja Python. |
TableValuedFunction.range(start[, end, ...]) |
Buat DataFrame dengan kolom pyspark.sql.types.LongType tunggal bernama id, yang berisi elemen dalam rentang dari awal hingga akhir (eksklusif) dengan nilai langkah tertentu. |
TableValuedFunction.sql_keywords() |
Dapatkan kata kunci Spark SQL. |
TableValuedFunction.stack(n, *fields) |
Memisahkan col1, ..., colk menjadi n baris. |
TableValuedFunction.variant_explode(input) |
Memisahkan objek/array varian menjadi beberapa baris yang berisi bidang/elemennya. |
TableValuedFunction.variant_explode_outer(input) |
Memisahkan objek/array varian menjadi beberapa baris yang berisi bidang/elemennya. |