Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfada, Databricks'te kullanılabilen PySpark SQL işlevlerinin bir listesi ve ilgili başvuru belgelerinin bağlantıları sağlanır.
Normal işlevler
| İşlev | Description |
|---|---|
broadcast(df) |
DataFrame'i yayın birleşimlerinde kullanılacak kadar küçük olarak işaretler. |
call_function(funcName, *cols) |
SQL işlevini çağır. |
col(col) |
Verilen sütun adına göre bir Sütun döndürür. |
column(col) |
Verilen sütun adına göre bir Sütun döndürür. |
lit(col) |
Sabit değer içeren bir sütun oluşturur. |
expr(str) |
İfade dizisini temsil ettiği sütuna ayrıştırır |
Koşullu işlevler
| İşlev | Description |
|---|---|
coalesce(*cols) |
Null olmayan ilk sütunu döndürür. |
ifnull(col1, col2) |
Eğer sütun1 null ise sütun2, aksi takdirde sütun1 döndürülür. |
nanvl(col1, col2) |
NaN değilse sütun1'i, NaN ise sütun2'yi döndürür. |
nullif(col1, col2) |
Kolon1, kolon2'ye eşitse null döndürür; aksi takdirde kolon1'i döndürür. |
nullifzero(col) |
Eğer sütun sıfıra eşitse null döndürür, aksi takdirde sütunu döndürür. |
nvl(col1, col2) |
Eğer sütun1 null ise sütun2, aksi takdirde sütun1 döndürülür. |
nvl2(col1, col2, col3) |
Sütun1 null değilse col2'yi, aksi halde col3'ü döndürür. |
when(condition, value) |
Koşulların listesini değerlendirir ve birden çok olası sonuç ifadelerinden birini döndürür. |
zeroifnull(col) |
Sütun null ise sıfır döndürür, aksi takdirde sütunun kendisini döndürür. |
Desen eşleştirme işlevleri
| İşlev | Description |
|---|---|
equal_null(col1, col2) |
Null olmayan operandlar için EQUAL(=) işleciyle aynı sonucu verir, ancak her ikisi de null ise true, biri null ise false iade eder. |
ilike(str, pattern[, escapeChar]) |
Str, deseni kaçış karakterleriyle büyük/küçük harf duyarsızlığı ile eşleşirse true, argümanlardan biri null ise null, aksi takdirde false döndürür. |
isnan(col) |
Sütundaki bir değerin NaN olup olmadığını kontrol eden ve true döndüren bir ifade. |
isnotnull(col) |
Col null değilse true, aksi takdirde false döndürür. |
isnull(col) |
Sütun null olduğunda true döndüren ifade. |
like(str, pattern[, escapeChar]) |
Str deseni escape ile eşleştirirse true, bağımsız değişkenlerden biri null ise null, aksi takdirde false döndürür. |
regexp(str, regexp) |
Str, Java regex regexp ile eşleşiyorsa true, aksi takdirde false döndürür. |
regexp_like(str, regexp) |
Str, Java regex regexp ile eşleşiyorsa true, aksi takdirde false döndürür. |
rlike(str, regexp) |
Str, Java regex regexp ile eşleşiyorsa true, aksi takdirde false döndürür. |
Sıralama işlevleri
| İşlev | Description |
|---|---|
asc(col) |
Hedef sütun için artan düzende bir sıralama ifadesi döndürür. |
asc_nulls_first(col) |
Verilen sütun adının artan sırasına göre bir sıralama ifadesi döndürür ve null değerler, null olmayan değerlerden önce gelir. |
asc_nulls_last(col) |
Verilen sütun adının artan düzenine göre bir sıralama ifadesi döndürür ve null değerler, null olmayan değerlerden sonra gelir. |
desc(col) |
Hedef sütun için azalan düzende bir sıralama ifadesi döndürür. |
desc_nulls_first(col) |
Verilen sütun adının azalan düzenini temel alan bir sıralama ifadesi döndürür ve null değerler null olmayan değerlerden önce görünür. |
desc_nulls_last(col) |
Verilen sütun adının azalan sırasına göre bir sıralama ifadesi döndürür ve null değerler, null olmayan değerlerden sonra görünür. |
Matematiksel işlevler
| İşlev | Description |
|---|---|
abs(col) |
Verilen sütunun veya ifadenin mutlak değerini hesaplar. |
acos(col) |
Verilen sütun veya ifadenin ters kosinüsünü (arkkosinüsü olarak da bilinir) hesaplar. |
acosh(col) |
Verilen sütun veya ifadenin ters hiperbolik kosinüsünü (arcosh olarak da bilinir) hesaplar. |
asin(col) |
Giriş sütununun ters sinüsünü hesaplar. |
asinh(col) |
Giriş sütununun ters hiperbolik sinüsünü hesaplar. |
atan(col) |
Giriş sütununun ters tanjantını hesapla. |
atan2(col1, col2) |
Bir düzlemin pozitif x ekseni ile koordinatlar tarafından verilen nokta arasındaki radyan cinsinden açıyı hesaplama |
atanh(col) |
Giriş sütununun ters hiperbolik tanjantını hesaplar. |
bin(col) |
Verilen sütunun ikili değerinin dize gösterimini döndürür. |
bround(col[, scale]) |
Ölçek >= 0 ise HALF_EVEN yuvarlama yöntemi kullanılarak verilen değer ondalık basamaklara yuvarlanır veya ölçek < 0 olduğunda tam sayı kısmında yuvarlanır. |
cbrt(col) |
Verilen değerin küp kökünü hesaplar. |
ceil(col[, scale]) |
Verilen değerin tavanını hesaplar. |
ceiling(col[, scale]) |
Verilen değerin tavanını hesaplar. |
conv(col, fromBase, toBase) |
Dize sütunundaki bir sayıyı bir tabandan diğerine dönüştürün. |
cos(col) |
Giriş sütununun kosinüsünü hesaplar. |
cosh(col) |
Giriş sütununun hiperbolik kosinüsünü hesaplar. |
cot(col) |
Giriş sütununun kotanjantını hesaplar. |
csc(col) |
Giriş sütununun kosekantını hesaplar. |
degrees(col) |
Radyan cinsinden ölçülen açıyı, derece cinsinden ölçülen yaklaşık eşdeğer bir açıya dönüştürür. |
e() |
Euler sayısını döndürür. |
exp(col) |
Verilen değerin üstel değerini hesaplar. |
expm1(col) |
Verilen değerin bir eksi değerinin üstel değerini hesaplar. |
factorial(col) |
Verilen değerin faktöriyelini hesaplar. |
floor(col[, scale]) |
Verilen değerin tabanını hesaplar. |
greatest(*cols) |
Null değerleri atlayarak sütun adları listesinin en büyük değerini döndürür. |
hex(col) |
Verilen sütunun, StringType, BinaryType, IntegerType veya LongType olabilen onaltılık değerini hesaplar. |
hypot(col1, col2) |
sqrt(a^2 + b^2) Ara taşma veya yetersizlik olmadan işlemler. |
least(*cols) |
Null değerleri atlayarak sütun adları listesinin en küçük değerini döndürür. |
ln(col) |
Bağımsız değişkenin doğal logaritmasını geriye döndürür. |
log(arg1[, arg2]) |
İlk bağımsız değişkeni taban alarak, ikinci bağımsız değişkenin logaritmasını döndürür. |
log10(col) |
Temel 10'da verilen değerin logaritması hesaplanır. |
log1p(col) |
Verilen değerin bir fazlasının doğal logaritması hesaplanır. |
log2(col) |
Bu fonksiyon, bağımsız değişkenin 2 tabanında logaritmasını döndürür. |
negate(col) |
Negatif değeri döndürür. |
negative(col) |
Negatif değeri döndürür. |
pi() |
Pi sayısını döndürür. |
pmod(dividend, divisor) |
Kar payı mod böleninin pozitif değerini verir. |
positive(col) |
Değeri döndürür. |
pow(col1, col2) |
İkinci bağımsız değişkenin gücüne yükseltilen ilk bağımsız değişkenin değerini döndürür. |
power(col1, col2) |
İkinci bağımsız değişkenin gücüne yükseltilen ilk bağımsız değişkenin değerini döndürür. |
radians(col) |
Derece cinsinden ölçülen açıyı radyan cinsinden ölçülen yaklaşık eşdeğer bir açıya dönüştürür. |
rand([seed]) |
[0.0, 1.0) içinde tekdüzen dağıtılmış bağımsız ve aynı şekilde dağıtılmış (i.i.d.) örneklerle rastgele bir sütun oluşturur. |
randn([seed]) |
Standart normal dağılımdan bağımsız ve aynı şekilde dağıtılmış (i.i.d.) örnekler içeren rastgele bir sütun oluşturur. |
rint(col) |
Bağımsız değişkene en yakın değer olan ve matematik tamsayısına eşit olan çift değeri döndürür. |
round(col[, scale]) |
Ölçek >= 0 ise verilen değeri HALF_UP yuvarlama modunu kullanarak belirtilen ondalık basamak sayısına göre yuvarla veya ölçek < 0 olduğunda tamsayı kısmında yuvarla. |
sec(col) |
Giriş sütununun sekantını hesaplar. |
sign(col) |
Verilen değerin imzasını hesaplar. |
signum(col) |
Verilen değerin imzasını hesaplar. |
sin(col) |
Giriş sütununun sinüsünü hesaplar. |
sinh(col) |
Giriş sütununun hiperbolik sinüsünü hesaplar. |
sqrt(col) |
Belirtilen kayan değerin karekökünü hesaplar. |
tan(col) |
Giriş sütununun tanjantını hesaplar. |
tanh(col) |
Giriş sütununun hiperbolik tanjantını hesaplar. |
try_add(left, right) |
Sol ve sağ toplamını döndürür ve taşmada sonuç null olur. |
try_divide(left, right) |
Kar payı/bölen döndürür. |
try_mod(left, right) |
Bölüm/Divizör işleminden sonra kalan değeri döndürür. |
try_multiply(left, right) |
Sol, sağ ile çarpılır ve taşma durumunda sonuç null olur. |
try_subtract(left, right) |
"Sol değerden sağ değeri çıkarır ve taşma durumunda sonuç null olur." |
unhex(col) |
Onaltılık değerin tersi. |
uniform(min, max[, seed]) |
Belirtilen sayı aralığına sahip bağımsız ve aynı şekilde dağıtılmış (i.i.d.) değerlere sahip rastgele bir değer döndürür. |
width_bucket(v, min, max, numBucket) |
Bu ifadenin değerinin değerlendirildikten sonra düşeceği demet numarasını döndürür. |
Dize işlevleri
| İşlev | Description |
|---|---|
ascii(col) |
Dize sütununun ilk karakterinin sayısal değerini hesaplar. |
base64(col) |
İkili bir sütunun BASE64 kodlamasını hesaplar ve dize sütunu olarak döndürür. |
bit_length(col) |
Belirtilen dize sütunu için bit uzunluğunu hesaplar. |
btrim(str[, trim]) |
Başlangıçtaki ve sondaki boşluk karakterlerini str'den kaldırın. |
char(col) |
col'un ikili eşdeğeri olan ASCII karakterini döndürür. |
char_length(str) |
Dize verilerinin karakter uzunluğunu veya ikili veri bayt sayısını döndürür. |
character_length(str) |
Dize verilerinin karakter uzunluğunu veya ikili veri bayt sayısını döndürür. |
collate(col, collation) |
Belirli bir sütunu belirtilen harmanlamayla işaretler. |
collation(col) |
Belirli bir sütunun harmanlama adını döndürür. |
concat_ws(sep, *cols) |
Verilen ayırıcıyı kullanarak birden çok giriş dizesi sütununu tek bir dize sütununa birleştirir. |
contains(left, right) |
Boole değerini döndürür. |
decode(col, charset) |
Sağlanan karakter kümesini (, US-ASCIIISO-8859-1, UTF-8UTF-16BE, UTF-16LEUTF-16UTF-32) kullanarak ilk bağımsız değişkeni ikili bir dizede hesaplar. |
elt(*inputs) |
n'inci girdiyi döndürür. Örneğin, n 2 olduğunda girdi2'yi döndürür. |
encode(col, charset) |
Sağlanan karakter kümesini (, US-ASCII, ISO-8859-1, , UTF-8UTF-16BE, UTF-16LEUTF-16UTF-32) kullanarak ilk bağımsız değişkeni bir dizeden ikili olarak hesaplar. |
endswith(str, suffix) |
Boole değerini döndürür. |
find_in_set(str, str_array) |
Virgülle ayrılmış listede (strArray) verilen dizenin (str) dizinini (1 tabanlı) döndürür. |
format_number(col, d) |
X sayısını, HALF_EVEN yuvarlama modu ile d ondalık basamağa yuvarlayarak #,--#,--#.-- biçiminde biçimlendirir ve sonucu bir dize olarak geri döndürür. |
format_string(format, *cols) |
Bağımsız değişkenleri printf stilinde biçimlendirip sonucu dize sütunu olarak döndürür. |
initcap(col) |
Her sözcüğün ilk harfini tümcedeki büyük harfe çevirin. |
instr(str, substr) |
Verilen dizede alt dize sütununun ilk oluşumunun konumunu bulun. |
is_valid_utf8(str) |
Giriş geçerli bir UTF-8 dizesiyse true döndürür, aksi takdirde false döndürür. |
lcase(str) |
Tüm karakterlerin küçük harfe değiştirildiği str döndürür. |
left(str, len) |
Dize str'in en soldaki len (len dize türü olabilir) karakterlerini döndürür, ancak len 0'dan küçük veya 0'a eşitse, sonuç boş bir dizgidir. |
length(col) |
Dize verilerinin karakter uzunluğunu veya ikili veri bayt sayısını hesaplar. |
levenshtein(left, right[, threshold]) |
Verilen iki dizenin Levenshtein mesafesini hesaplar. |
locate(substr, str[, pos]) |
Konum pos'tan sonra, bir dize sütunundaki alt dizenin ilk meydana gelişinin konumunu belirleyin. |
lower(col) |
Dize ifadesini küçük harfe dönüştürür. |
lpad(col, len, pad) |
Dize sütununu belirli uzunlukta olacak şekilde sola doldur. |
ltrim(col[, trim]) |
Belirtilen dize değeri için sol uçtan boşlukları kırpın. |
make_valid_utf8(str) |
Varsa tüm geçersiz UTF-8 bayt dizilerinin Unicode değiştirme karakteri (U+FFFD) ile değiştirildiği yeni bir dize döndürür. |
mask(col[, upperChar, lowerChar, digitChar, ...]) |
Verilen dize değerini maskeler. |
octet_length(col) |
Belirtilen dize sütunu için bayt uzunluğunu hesaplar. |
overlay(src, replace, pos[, len]) |
src'nin belirtilen bölümünü, src'nin bayt konumundan başlayarak ve uzunluk baytları için ilerleterek değiştirin. |
position(substr, str[, start]) |
Konum başlangıcından sonra str'de alt dizenin ilk oluşumunun konumunu döndürür. |
printf(format, *cols) |
Bağımsız değişkenleri printf stilinde biçimlendirip sonucu dize sütunu olarak döndürür. |
randstr(length[, seed]) |
Belirtilen uzunluğa sahip ve karakterleri 0-9, a-z, A-Z havuzundan rastgele seçilmiş bir dize döndürür. |
regexp_count(str, regexp) |
Java regex deseni regexp'in dize str'inde kaç kez eşleştirildiğinin sayısını döndürür. |
regexp_extract(str, pattern, idx) |
Belirtilen dize sütunundan Java regex regexp ile eşleşen belirli bir grubu ayıklayın. |
regexp_extract_all(str, regexp[, idx]) |
Java regex regexp ile eşleşen ve regex grup indeksine karşılık gelen str'de bulunan tüm dizeleri ayıklayın. |
regexp_instr(str, regexp[, idx]) |
Java regex regex regexp ile eşleşen ve regex grup dizinine karşılık gelen str içindeki ilk alt dizenin konumunu döndürür. |
regexp_replace(string, pattern, replacement) |
Belirtilen dize değerindeki regexp ile eşleşen tüm alt dizeleri, verilen yeni değerle değiştirin. |
regexp_substr(str, regexp) |
Dize str içinde Java regex regexp ile eşleşen ilk alt dizgiyi döndürür. |
repeat(col, n) |
Bir dize sütununu n kez yineler ve bunu yeni bir dize sütunu olarak döndürür. |
replace(src, search[, replace]) |
Aramanın geçen her yerini değiştir ile değiştirir. |
right(str, len) |
Dize str'inden en sağdaki uzunluğu (uzunluk bir dize türü olabilir) karakterleri döndürür. Eğer uzunluk 0'dan küçük veya 0'a eşitse, sonuç boş bir dizedir. |
rpad(col, len, pad) |
Dize sütununu, tuş takımıyla genişlik uzunluğuna sağ tuş takımıyla yazın. |
rtrim(col[, trim]) |
Belirtilen dize değeri için sağ uçtan boşlukları kırpın. |
sentences(string[, language, country]) |
Bir dizeyi cümle dizilerine böler; burada her cümle bir sözcük dizisidir. |
soundex(col) |
Bir dize için SoundEx kodlamasını verir |
split(str, pattern[, limit]) |
Verilen desenin eşleşmeleri etrafında str böler. |
split_part(src, delimiter, partNum) |
str'yi bir sınırlayıcı ile bölerek istenen parçayı (1 tabanlı) döndürür. |
startswith(str, prefix) |
Boole değerini döndürür. |
substr(str, pos[, len]) |
"str'de pos'ta başlayan ve uzunluğu len olan alt dizgiyi veya byte dizisinin pos'ta başlayan ve uzunluğu len olan dilimini döndürür." |
substring(str, pos, len) |
Alt dize, str String türündeyse 'pos' konumunda başlar ve uzunluğu 'len' kadardır veya str Binary türündeyse 'pos' konumundan başlayarak uzunluğu 'len' olan bayt dizisi dilimini döndürür. |
substring_index(str, delim, count) |
Dize str'inden, sınırlayıcı delim'in belirtilen sayıda geçişi öncesindeki alt dizeyi döndürür. |
to_binary(col[, format]) |
Giriş sütununu sağlanan biçime göre ikili değere dönüştürür. |
to_char(col, format) |
Sütunu biçime göre bir dizeye çevirin. |
to_number(col, format) |
'col' dizesini 'format' dize biçimine göre bir sayıya dönüştürün. |
to_varchar(col, format) |
Sütunu biçime göre bir dizeye çevirin. |
translate(srcCol, matching, replace) |
srcCol içindeki herhangi bir karakteri eşleşen bir karakterle çevirin. |
trim(col[, trim]) |
Belirtilen dize sütunu için her iki uçtan boşlukları kırpın. |
try_to_binary(col[, format]) |
İşlemi gerçekleştirmeyi to_binary deneyin, ancak dönüştürme gerçekleştirilemiyorsa hata oluşturmak yerine NULL değer döndürün. |
try_to_number(col, format) |
Dizeyi col dize formatı format temel alınarak bir sayıya dönüştürün. |
try_validate_utf8(str) |
Geçerli bir UTF-8 dizesine karşılık geliyorsa giriş değerini veya aksi takdirde NULL değerini döndürür. |
ucase(str) |
Tüm karakterlerin büyük harfe değiştirildiği str döndürür. |
unbase64(col) |
BASE64 kodlanmış dize sütununu çözer ve ikili sütun olarak döndürür. |
upper(col) |
Dize ifadesini büyük harfe dönüştürür. |
validate_utf8(str) |
Geçerli bir UTF-8 dizesine karşılık geliyorsa veya aksi takdirde bir hata yayarsa giriş değerini döndürür. |
Bit düzeyinde işlevler
| İşlev | Description |
|---|---|
bit_count(col) |
Bağımsız değişken expr içinde ayarlandığı bit sayısını işaretsiz 64 bit tamsayı olarak döndürür, veya bağımsız değişken NULL ise NULL değerini döndürür. |
bit_get(col, pos) |
Belirtilen konumdaki bitin (0 veya 1) değerini döndürür. |
bitwise_not(col) |
Bit düzeyinde işlem yapılmaz. |
getbit(col, pos) |
Belirtilen konumdaki bitin (0 veya 1) değerini döndürür. |
shiftleft(col, numBits) |
Verilen değer numBit'lerini sola kaydırma. |
shiftright(col, numBits) |
(İmzalı) verilen numBits değerini sağa kaydırma. |
shiftrightunsigned(col, numBits) |
İşaretsiz, verilen numBits değerini sağa kaydırıyor. |
Tarih/saat işlevleri
| İşlev | Description |
|---|---|
add_months(start, months) |
Başladıktan aylar sonra olan tarihi döndürür. |
convert_timezone(sourceTz, targetTz, sourceTs) |
sourceTz saat diliminden sourceTz saat dilimindeki saat dilimi sourceT'leri olmadan zaman damgasını targetTz'a dönüştürür. |
curdate() |
Sorgu değerlendirmesinin başlangıcındaki geçerli tarihi DateType sütunu olarak döndürür. |
current_date() |
Sorgu değerlendirmesinin başlangıcındaki geçerli tarihi DateType sütunu olarak döndürür. |
current_timestamp() |
Sorgu değerlendirmesinin başlangıcında geçerli zaman damgasını TimestampType sütunu olarak döndürür. |
current_timezone() |
Geçerli oturumun yerel saat dilimini döndürür. |
date_add(start, days) |
Başladıktan günler sonra gelen tarihi döndürür. |
date_diff(end, start) |
Baştan sona gün sayısını döndürür. |
date_format(date, format) |
Bir tarih/zaman damgası/dizeyi, ikinci bağımsız değişken tarafından verilen tarih biçimiyle belirtilen biçimdeki bir dize değerine dönüştürür. |
date_from_unix_date(days) |
1970-01-01'den bu yana olan gün sayısından tarih oluşturun. |
date_part(field, source) |
Tarih/zaman damgası veya aralık kaynağının bir bölümünü ayıklar. |
date_sub(start, days) |
Başlamadan günler önce olan tarihi döndürür. |
date_trunc(format, timestamp) |
Format tarafından belirtilen birime kesilen zaman damgasını döndürür. |
dateadd(start, days) |
Başladıktan günler sonra gelen tarihi döndürür. |
datediff(end, start) |
Baştan sona gün sayısını döndürür. |
datepart(field, source) |
Tarih/zaman damgası veya aralık kaynağının bir bölümünü ayıklar. |
day(col) |
Belirli bir tarih/zaman damgasının ayın gününü tamsayı olarak ayıklayın. |
dayname(col) |
Verilen tarihten itibaren üç harfli kısaltılmış gün adını döndürür. |
dayofmonth(col) |
Belirli bir tarih/zaman damgasının ayın gününü tamsayı olarak ayıklayın. |
dayofweek(col) |
Belirli bir tarih/zaman damgasından haftanın gününü bir tamsayı olarak ayıklayın. |
dayofyear(col) |
Belirtilen tarih/zaman damgasının yılın hangi günü olduğunu tamsayı olarak çıkartın. |
extract(field, source) |
Tarih/zaman damgası veya aralık kaynağının bir bölümünü ayıklar. |
from_unixtime(timestamp[, format]) |
Saniye sayısını unix dönemden (1970-01-01 00:00:00 UTC) verilen biçimde geçerli sistem saat diliminde o anın zaman damgasını temsil eden bir dizeye dönüştürür. |
from_utc_timestamp(timestamp, tz) |
Bu, TIMESTAMP OLMADAN TIMEZONE destekleyen veritabanları için yaygın bir işlevdir. |
hour(col) |
Belirli bir zaman etiketinin saatlerini tamsayı olarak çıkarın. |
last_day(date) |
Verilen tarihin ait olduğu ayın son gününü döndürür. |
localtimestamp() |
Sorgu değerlendirmesinin başlangıcında saat dilimi olmadan geçerli zaman damgasını saat dilimi sütunu olmayan bir zaman damgası olarak döndürür. |
make_date(year, month, day) |
Yıl, ay ve gün sütunlarından oluşturulmuş bir tarih içeren bir sütun döndürür. |
make_dt_interval([days, hours, mins, secs]) |
Gün, saat, dakika ve saniye cinsinden DayTimeIntervalType süresi yapın. |
make_interval([years, months, weeks, days, ...]) |
Yıllar, aylar, haftalar, günler, saatler, dakikalar ve sn cinsinden aralıklar belirleyin. |
make_timestamp(years, months, days, hours, ...) |
Yıl, ay, gün, saat, dakika, saniye ve saat dilimi alanlarından zaman damgası oluşturun. |
make_timestamp_ltz(years, months, days, ...) |
Yıl, ay, gün, saat, dakika, saniye ve saat dilimi alanlarından yerel saat dilimiyle geçerli zaman damgasını oluşturun. |
make_timestamp_ntz(years, months, days, ...) |
Yıl, ay, gün, saat, dakika, sn alanlarından yerel tarih-saat oluşturun. |
make_ym_interval([years, months]) |
Yıl ve aydan yıl-ay aralığı oluşturun. |
minute(col) |
Belirli bir zaman damgasının dakikalarını tamsayı olarak ayıklayın. |
month(col) |
Belirli bir tarih/zaman damgasının ayını tamsayı olarak ayıklayın. |
monthname(col) |
Verilen tarihten üç harfli kısaltılmış ay adını döndürür. |
months_between(date1, date2[, roundOff]) |
Tarih1 ile tarih2 arasındaki ay sayısını döndürür. |
next_day(date, dayOfWeek) |
İkinci hafta günü argümanına göre tarih sütunu değerinden daha sonraki ilk tarihi döndürür. |
now() |
Sorgu değerlendirmesinin başlangıcında geçerli zaman damgasını döndürür. |
quarter(col) |
Belirli bir tarih/zaman damgasının üç aylık dönemini tamsayı olarak ayıklayın. |
second(col) |
Belirli bir tarihin saniyelerini tamsayı olarak ayıklayın. |
session_window(timeColumn, gapDuration) |
Belirli bir zaman damgası sütunu verilen oturum penceresi oluşturur. |
timestamp_add(unit, quantity, ts) |
Kesir bölümünü keserek belirtilen birimlerdeki zaman damgaları arasındaki farkı alır. |
timestamp_diff(unit, start, end) |
Kesir bölümünü keserek belirtilen birimlerdeki zaman damgaları arasındaki farkı alır. |
timestamp_micros(col) |
UTC döneminin bu yana mikrosaniye sayısından zaman damgası oluşturur. |
timestamp_millis(col) |
UTC döneminin bu yana geçen milisaniye sayısından zaman damgası oluşturur. |
timestamp_seconds(col) |
Unix dönemi (1970-01-01T00:00:00Z) saniye sayısını zaman damgasına dönüştürür. |
to_date(col[, format]) |
İsteğe bağlı olarak belirtilen biçimi kullanarak bir Sütunu pyspark.sql.types.DateType'a dönüştürür. |
to_timestamp(col[, format]) |
İsteğe bağlı olarak belirtilen biçimi kullanarak bir Sütunu pyspark.sql.types.TimestampType'a dönüştürür. |
to_timestamp_ltz(timestamp[, format]) |
Biçime göre zaman damgasını saat dilimli bir zaman damgasına ayrıştırıyor. |
to_timestamp_ntz(timestamp[, format]) |
Formatına göre zaman damgasını saat dilimsiz bir zaman damgasına ayrıştırıyor. |
to_unix_timestamp(timestamp[, format]) |
Verilen saatin UNIX zaman damgasını döndürür. |
to_utc_timestamp(timestamp, tz) |
Bu, TIMESTAMP OLMADAN TIMEZONE destekleyen veritabanları için yaygın bir işlevdir. |
trunc(date, format) |
Tarihi, belirtilen biçim birimine göre keserek döndürür. |
try_make_interval([years, months, weeks, ...]) |
bir make_interval işlem gerçekleştirmeyi deneyin, ancak aralık oluşturulamazsa hata oluşturmak yerine NULL değer döndürün. |
try_make_timestamp(years, months, days, ...) |
Yıl, ay, gün, saat, dakika, saniye ve saat dilimi alanlarından zaman damgası oluşturmayı deneyin. |
try_make_timestamp_ltz(years, months, days, ...) |
Yıl, ay, gün, saat, dakika, saniye ve saat dilimi alanlarından yerel saat dilimiyle geçerli zaman damgasını oluşturmayı deneyin. |
try_make_timestamp_ntz(years, months, days, ...) |
Yıllardan, aylardan, günlerden, saatlerden, dakikalardan, saniye alanlarından yerel tarih-saat oluşturmayı deneyin. |
try_to_timestamp(col[, format]) |
Biçimiyle birlikte sütunu bir zaman damgasına ayrıştırıyor. |
unix_date(col) |
1970-01-01'den bu yana olan gün sayısını verir. |
unix_micros(col) |
1970-01-01 00:00:00 UTC'den bu yana mikrosaniye sayısını döndürür. |
unix_millis(col) |
1970-01-01 00:00:00 UTC'den bu yana geçen milisaniye sayısını verir. |
unix_seconds(col) |
1970-01-01 00:00:00 UTC'den bu yana olan saniye sayısını verir. |
unix_timestamp([timestamp, format]) |
Verilen desene ('yyyy-MM-dd HH:mm:ss', varsayılan olarak) sahip zaman dizesini Unix zaman damgasına (saniye cinsinden) dönüştürün; varsayılan saat dilimini ve varsayılan yerel ayarı kullanarak başarısız olursa null döndürür. |
weekday(col) |
Tarih/zaman damgası için haftanın gününü döndürür (0 = Pazartesi, 1 = Salı, ..., 6 = Pazar). |
weekofyear(col) |
Belirli bir tarihin hafta sayısını tamsayı olarak ayıklayın. |
window(timeColumn, windowDuration[, ...]) |
Belirtilen sütunda yer alan bir zaman damgasına göre satırları bir veya daha fazla zaman penceresine gruplayabilirsiniz. |
window_time(windowColumn) |
Olay zamanını bir pencere sütunundan hesaplar. |
year(col) |
Belirtilen bir tarih/zaman damgasının yılını tamsayı olarak çıkarın. |
Hash fonksiyonları
| İşlev | Description |
|---|---|
crc32(col) |
İkili sütunun döngüsel yedeklilik denetim değerini (CRC32) hesaplar ve değeri bigint olarak döndürür. |
hash(*cols) |
Verilen sütunların karma kodunu hesaplar ve sonucu int sütunu olarak döndürür. |
md5(col) |
MD5 özetini hesaplar ve değeri 32 karakterlik onaltılık dize olarak döndürür. |
sha(col) |
Bir sha1 karma değerini, sütunun onaltılık dizesi olarak döndürür. |
sha1(col) |
SHA-1'in onaltılık dize sonucunu döndürür. |
sha2(col, numBits) |
SHA-2 karma işlevleri ailesinin (SHA-224, SHA-256, SHA-384 ve SHA-512) onaltılık dize sonucunu döndürür. |
xxhash64(*cols) |
xxHash algoritmasının 64 bit değişkenini kullanarak verilen sütunların karma kodunu hesaplar ve sonucu uzun bir sütun olarak döndürür. |
Koleksiyon işlevleri
| İşlev | Description |
|---|---|
aggregate(col, initialValue, merge[, finish]) |
İlk duruma ve dizideki tüm öğelere ikili işleç uygular ve bunu tek bir duruma küçültür. |
array_sort(col[, comparator]) |
Giriş dizisini artan düzende sıralar. |
cardinality(col) |
Sütunda depolanan dizi veya haritanın uzunluğunu döndürür. |
concat(*cols) |
Birden çok giriş sütununu tek bir sütunda birleştirir. |
element_at(col, extraction) |
Verilen dizideki (1 tabanlı) indekste bulunan öğeyi döndürür. |
exists(col, f) |
Bir önermenin, dizideki bir veya daha fazla öğe için geçerli olup olmadığını döndürür. |
filter(col, f) |
Bir koşulun belirli bir dizide barındırıldığı bir öğe dizisi döndürür. |
forall(col, f) |
Bir önermenin dizideki her öğe için geçerli olup olmadığını döndürür. |
map_filter(col, f) |
Yeni bir harita sütununu, anahtar-değer çiftleri belirtilen bir predikat fonksiyonunu karşıladığında döndürür. |
map_zip_with(col1, col2, f) |
Anahtar-değer çiftlerine bir işlev uygulayarak verilen iki eşlemeyi tek bir eşlemede birleştirir. |
reduce(col, initialValue, merge[, finish]) |
İlk duruma ve dizideki tüm öğelere ikili işleç uygular ve bunu tek bir duruma küçültür. |
reverse(col) |
Ters sıralanmış bir dize veya öğeleri ters sırada olan bir dizi döndürür. |
size(col) |
Sütunda depolanan dizi veya haritanın uzunluğunu döndürür. |
transform(col, f) |
Giriş dizisindeki her öğeye bir dönüştürme uyguladıktan sonra bir öğe dizisi döndürür. |
transform_keys(col, f) |
Bir eşlemedeki her anahtar-değer çiftine bir işlev uygular ve çiftler için yeni anahtarlar olarak bu uygulamaların sonuçlarını içeren bir harita döndürür. |
transform_values(col, f) |
Bir eşlemedeki her anahtar-değer çiftine bir işlev uygular ve bu uygulamaların sonuçlarını çiftler için yeni değerler olarak içeren bir eşleme döndürür. |
try_element_at(col, extraction) |
Verilen (1 tabanlı) indisteki dizinin öğesini döndürür. |
zip_with(left, right, f) |
İşlev kullanarak belirli iki diziyi (öğe açısından) tek bir dizide birleştirin. |
Dizi işlevleri
| İşlev | Description |
|---|---|
array(*cols) |
Giriş sütunlarından veya sütun adlarından yeni bir dizi sütunu oluşturur. |
array_append(col, value) |
Mevcut dizi sütununa değer ekleyerek yeni bir dizi sütunu döndürür. |
array_compact(col) |
Diziden null değerleri kaldırır. |
array_contains(col, value) |
Dizinin verilen değeri içerip içermediğini belirten bir boole değeri döndürür: dizi null ise null, dizi verilen değeri içeriyorsa true ve aksi takdirde false. |
array_distinct(col) |
Diziden yinelenen değerleri kaldırır. |
array_except(col1, col2) |
Col1'de bulunan ancak col2'de bulunmayan öğeleri içeren, yinelenmeyen yeni bir dizi döndürür. |
array_insert(arr, pos, value) |
Belirtilen dizi dizininde belirli bir diziye öğe ekler. |
array_intersect(col1, col2) |
Sütun1 ve sütun2 içindeki öğelerin kesişimini içeren yeni bir dizi döndürür, yinelemeler olmadan. |
array_join(col, delimiter[, null_replacement]) |
Sınırlayıcıyı kullanarak giriş dizisi sütununun öğelerini birleştirerek bir dize sütunu döndürür. |
array_max(col) |
Dizinin en büyük değerini döndürür. |
array_min(col) |
Dizinin en düşük değerini döndürür. |
array_position(col, value) |
Verilen dizide verilen değerin ilk oluşumunun konumunu bulur. |
array_prepend(col, value) |
Verilen öğeyi ilk öğe olarak ve özgün dizideki öğelerin geri kalanını içeren bir dizi döndürür. |
array_remove(col, element) |
Verilen diziden öğeye eşit olan tüm öğeleri kaldırın. |
array_repeat(col, count) |
Bir sütunun birden fazla kez yinelendiği bir dizi oluşturur. |
array_size(col) |
Dizideki öğelerin toplam sayısını döndürür. |
array_union(col1, col2) |
Sütun1 ve sütun2 içindeki öğelerin birleşimini içeren yeni bir dizi döndürür, yinelemeler olmadan. |
arrays_overlap(a1, a2) |
Giriş dizilerinin ortak, null olmayan öğeleri olup olmadığını gösteren bir boolean sütunu döndürür; ortak öğeler varsa true, diziler ortak öğeler içermiyorsa ama boş değilse ve en az biri null öğe içeriyorsa null, aksi halde false döndürür. |
arrays_zip(*cols) |
Giriş dizilerinin tüm N. değerlerini içeren N. yapıyı barındıran birleştirilmiş bir yapı dizisi döndürür. |
flatten(col) |
Diziler dizisinden tek bir dizi oluşturur. |
get(col, index) |
Belirtilen (0 tabanlı) indekste yer alan dizinin elemanını döndürür. |
sequence(start, stop[, step]) |
Baştan sona, adım adım artan bir tamsayı dizisi oluşturun. |
shuffle(col[, seed]) |
Verilen dizi için rastgele permütasyon oluşturur. |
slice(x, start, length) |
Giriş dizisi sütununu bir başlangıç dizininden belirli bir uzunluğa dilimleyerek yeni bir dizi sütunu döndürür. |
sort_array(col[, asc]) |
Giriş dizisini, dizi öğelerinin doğal düzenine göre artan veya azalan düzende sıralar. |
Yapı işlevleri
| İşlev | Description |
|---|---|
named_struct(*cols) |
Verilen alan adları ve değerleriyle bir yapı oluşturur. |
struct(*cols) |
Yeni bir yapı sütunu oluşturur. |
Haritalandırma işlevleri
| İşlev | Description |
|---|---|
create_map(*cols) |
Eşit sayıda giriş sütunu veya sütun referanslarından yeni bir harita sütunu oluşturur. |
map_concat(*cols) |
Verilen tüm haritaların birleşimini döndürür. |
map_contains_key(col, value) |
Haritada anahtar varsa true döner. |
map_entries(col) |
Verilen eşlemedeki tüm girdilerden oluşan sıralanmamış bir dizi döndürür. |
map_from_arrays(col1, col2) |
İki diziyle yeni bir harita oluşturur. |
map_from_entries(col) |
Anahtar-değer çifti girdilerinden oluşan bir diziyi (iki alanlı yapılar) bir eşlem haline dönüştürür. |
map_keys(col) |
Eşlemenin anahtarlarını içeren sıralanmamış bir dizi döndürür. |
map_values(col) |
Haritanın değerlerini içeren sırasız bir dizi döndürür. |
str_to_map(text[, pairDelim, keyValueDelim]) |
Sınırlayıcıları kullanarak metni anahtar/değer çiftlerine böldükten sonra bir dizeyi eşlem içine dönüştürür. |
Toplama işlevleri
| İşlev | Description |
|---|---|
any_value(col[, ignoreNulls]) |
Bir grup satır için sütunun bir değerini döndürür. |
approx_count_distinct(col[, rsd]) |
Belirtilen sütundaki veya sütun grubundaki öğelerin yaklaşık ayrı sayısını tahmin eden yeni bir Sütun döndürür. |
approx_percentile(col, percentage[, accuracy]) |
Sıralı sütun değerlerindeki en küçük değer olan (en küçükten en büyüğe doğru sıralanmış) sayısal sütun sütununun yaklaşık yüzdebirlik değerini verir; böylece sütun değerlerinin yüzdesi bu değerden küçük veya bu değere eşit olmaz. |
array_agg(col) |
Yinelenenleri olan nesnelerin listesini döndürür. |
avg(col) |
Bir gruptaki değerlerin ortalamasını döndürür. |
bit_and(col) |
Null olmayan tüm giriş değerlerinin bit düzeyinde AND değerini döndürür; eğer böyle bir değer yoksa null döndürülecektir. |
bit_or(col) |
Null olmayan tüm giriş değerlerinin bit düzeyinde VEYA işlemini veya hiçbiri yoksa null değerini döndürür. |
bit_xor(col) |
Null olmayan tüm giriş değerlerinin bit düzeyinde XOR değerini döndürür, eğer yoksa null döndürür. |
bitmap_construct_agg(col) |
Giriş sütunundaki tüm değerlerden bitlerin konumlarının ayarlandığı bir bit eşlem döndürür. |
bitmap_or_agg(col) |
Giriş sütunundaki tüm bit eşlemlerin bit düzeyinde OR olan bir bit eşlem döndürür. |
bool_and(col) |
Tüm sütun değerleri true ise true döndürür. |
bool_or(col) |
En az bir sütun değeri doğruysa, doğru döndürür. |
collect_list(col) |
Bir sütundaki değerleri bir listeye toplar, yinelenenleri korur ve bu nesne listesini döndürür. |
collect_set(col) |
Bir sütundaki değerleri bir kümeye toplayarak yinelenenleri ortadan kaldırır ve bu nesne kümesini döndürür. |
corr(col1, col2) |
Sütun1 ve sütun2 için Pearson Korelasyon Katsayısı'na ait yeni bir sütunu döndürür. |
count(col) |
Gruptaki öğelerin sayısını döndürür. |
count_distinct(col, *cols) |
Farklı sütun veya sütun sayısı için yeni bir Sütun döndürür. |
count_if(col) |
Sütundaki DOĞRU değerlerinin sayısını geri döndürür. |
count_min_sketch(col, eps, confidence[, seed]) |
esp, confidence ve seed parametreleri verilen bir sütunun sayım-taslağını döndürür. |
covar_pop(col1, col2) |
Sütun1 ve sütun2'nin popülasyon kovaryansı için yeni bir Sütun döndürür. |
covar_samp(col1, col2) |
Sütun1 ve sütun2'nin örnek kovaryansı için yeni bir Sütun döndürür. |
every(col) |
Tüm sütun değerleri true ise true döndürür. |
first(col[, ignorenulls]) |
Gruptaki ilk değeri döndürür. |
first_value(col[, ignoreNulls]) |
Bir satır grubu için ilk sütun değerini döndürür. |
grouping(col) |
Bir listedeki belirtilen sütunun GROUP BY toplanıp toplanmadığını gösterir, toplanmış için 1 veya sonuç kümesinde toplanmaması için 0 döndürür. |
grouping_id(*cols) |
Gruplandırma düzeyini verir; eşittir |
histogram_numeric(col, nBins) |
Nb bölmelerini kullanarak sayısal 'sütun' üzerindeki histogramı hesaplar. |
hll_sketch_agg(col[, lgConfigK]) |
lgConfigK arg ile yapılandırılan Datasketches HllSketch'in güncelleştirilebilir ikili gösterimini döndürür. |
hll_union_agg(col[, allowDifferentLgConfigK]) |
Datasketches Union örneği aracılığıyla daha önce oluşturulmuş Datasketches HllSketch örneklerini birleştirerek oluşturulan Datasketches HllSketch'in güncelleştirilebilir ikili gösterimini döndürür. |
kurtosis(col) |
Bir gruptaki değerlerin basıklık (kurtosis) değerini verir. |
last(col[, ignorenulls]) |
Gruptaki son değeri döndürür. |
last_value(col[, ignoreNulls]) |
Bir satır grubu için sütunun son değerini döndürür. |
listagg(col[, delimiter]) |
Sınırlayıcı ile ayrılan null değerler haricindeki giriş değerlerinin birleştirilmiş halini döndürür. |
listagg_distinct(col[, delimiter]) |
"Özgün ve null olmayan giriş değerlerini sınırlayıcı ile birleştirerek döndürür." |
max(col) |
Bir gruptaki ifadenin en büyük değerini döndürür. |
max_by(col, ord) |
Ord parametresindeki en büyük değerle ilişkili olan sütun (col) parametresinden değeri döndürür. |
mean(col) |
Bir gruptaki değerlerin ortalamasını döndürür. |
median(col) |
Bir gruptaki değerlerin ortanca değerini döndürür. |
min(col) |
Bir gruptaki ifadenin en düşük değerini döndürür. |
min_by(col, ord) |
Ord parametresindeki en düşük değerle ilişkili sütun parametresindeki değeri döndürür. |
mode(col[, deterministic]) |
Gruptaki en sık kullanılan değeri döndürür. |
percentile(col, percentage[, frequency]) |
[0,0, 1,0] değer aralığına sahip verilen yüzdelerde sayısal sütun ifadelerinin tam yüzde birlik değerlerini döndürür. |
percentile_approx(col, percentage[, accuracy]) |
Sıralı sütun değerlerindeki en küçük değer olan (en küçükten en büyüğe doğru sıralanmış) sayısal sütun sütununun yaklaşık yüzdebirlik değerini verir; böylece sütun değerlerinin yüzdesi bu değerden küçük veya bu değere eşit olmaz. |
product(col) |
Bir gruptaki değerlerin çarpımını döndürür. |
regr_avgx(y, x) |
Bir gruptaki null olmayan çiftler için bağımsız değişkenin ortalamasını döndürür; burada y bağımlı değişkendir ve x bağımsız değişkendir. |
regr_avgy(y, x) |
Bir gruptaki null olmayan çiftler için bağımlı değişkenin ortalamasını döndürür; burada y bağımlı değişkendir ve x bağımsız değişkendir. |
regr_count(y, x) |
Bir gruptaki null olmayan sayı çiftlerinin sayısını döndürür; burada y bağımlı değişkendir ve x bağımsız değişkendir. |
regr_intercept(y, x) |
Bir gruptaki null olmayan çiftler için tek değişkenli doğrusal regresyon çizgisinin kesme noktasını döndürür; burada y bağımlı değişkendir ve x bağımsız değişkendir. |
regr_r2(y, x) |
Bir gruptaki null olmayan çiftler için belirleme katsayısını verir; burada y bağımlı değişkendir ve x bağımsız değişkendir. |
regr_slope(y, x) |
Bir gruptaki null olmayan çiftler için doğrusal regresyon çizgisinin eğimini verir; burada y bağımlı değişkendir ve x bağımsız değişkendir. |
regr_sxx(y, x) |
Bir gruptaki null olmayan çiftler için REGR_COUNT(y, x) * VAR_POP(x) döndürür; burada y bağımlı değişkendir ve x bağımsız değişkendir. |
regr_sxy(y, x) |
Bir gruptaki null olmayan çiftler için REGR_COUNT(y, x) * COVAR_POP(y, x) döndürür; burada y bağımlı değişkendir ve x bağımsız değişkendir. |
regr_syy(y, x) |
Bir gruptaki null olmayan çiftler için REGR_COUNT(y, x) * VAR_POP(y) döndürür; burada y bağımlı değişkendir ve x bağımsız değişkendir. |
skewness(col) |
Bir gruptaki değerlerin çarpıklığını döndürür. |
some(col) |
En az bir sütun değeri doğruysa, doğru döndürür. |
std(col) |
Diğer ad için stddev_samp. |
stddev(col) |
Diğer ad için stddev_samp. |
stddev_pop(col) |
Bir gruptaki ifadenin popülasyon standart sapmasını hesaplar ve döndürür. |
stddev_samp(col) |
Bu fonksiyon, bir gruptaki ifadenin sapmasız örnek standart sapmasını döndürür. |
string_agg(col[, delimiter]) |
Sınırlayıcı ile ayrılan null değerler haricindeki giriş değerlerinin birleştirilmiş halini döndürür. |
string_agg_distinct(col[, delimiter]) |
"Özgün ve null olmayan giriş değerlerini sınırlayıcı ile birleştirerek döndürür." |
sum(col) |
İfadedeki tüm değerlerin toplamını döndürür. |
sum_distinct(col) |
İfadedeki ayrı değerlerin toplamını döndürür. |
try_avg(col) |
Bir grubun değerlerinden hesaplanan ortalamayı döndürür ve taşma durumunda sonuç null olur. |
try_sum(col) |
Bir grubun değerlerinden hesaplanan toplamı döndürür ve taşma durumu olduğunda sonuç null olur. |
var_pop(col) |
Bir gruptaki değerlerin popülasyon varyansını döndürür. |
var_samp(col) |
Bir gruptaki değerlerin sapmasız örnek varyansını döndürür. |
variance(col) |
Diğer ad var_samp |
Pencere işlevleri
| İşlev | Description |
|---|---|
cume_dist() |
Bir pencere bölümü içindeki değerlerin toplu dağılımını, yani geçerli satırın altındaki satırların kesirini döndürür. |
dense_rank() |
Herhangi bir boşluk olmadan bir pencere bölümü içindeki satırların derecesini döndürür. |
lag(col[, offset, default]) |
Geçerli satırdan önceki ofset satırındaki değeri döndürür ve eğer geçerli satırdan önce ofsetten daha az satır varsa varsayılan değeri döndürür. |
lead(col[, offset, default]) |
Geçerli satırdan sonraki satırları kaydıran değeri ve geçerli satırdan sonra daha az kaydırma satırı varsa varsayılan değeri döndürür. |
nth_value(col, offset[, ignoreNulls]) |
Pencere çerçevesinin öteleme satırının (1'den başlayarak) değerini döndürür; eğer pencere çerçevesinin boyutu öteleme satırlarından küçükse null döndürür. |
ntile(n) |
Sıralı bir pencere bölümündeki ntile grubunun kimliğini (1'den n'e kadar dahil) döndürür. |
percent_rank() |
Göreli dereceyi verir (yani, örn.) |
rank() |
Bir pencere bölümü içindeki satırların sıralamasını döndürür. |
row_number() |
Pencere bölümü içinde 1'den başlayan sıralı bir sayı döndürür. |
Oluşturucu işlevleri
| İşlev | Description |
|---|---|
explode(col) |
Verilen dizideki veya eşlemedeki her öğe için yeni bir satır döndürür. |
explode_outer(col) |
Verilen dizideki veya eşlemedeki her öğe için yeni bir satır döndürür. |
inline(col) |
Bir yapı dizisini bir tabloya ayrıştırır. |
inline_outer(col) |
Bir yapı dizisini bir tabloya ayrıştırır. |
posexplode(col) |
Verilen dizide veya eşlemede konumu olan her öğe için yeni bir satır döndürür. |
posexplode_outer(col) |
Verilen dizide veya eşlemede konumu olan her öğe için yeni bir satır döndürür. |
stack(*cols) |
Sütun1, ..., sütunlarını n satıra ayırır. |
Bölüm dönüştürme işlevleri
| İşlev | Description |
|---|---|
partitioning.years(col) |
Zaman damgaları ve tarihler için verileri yıllara bölmek amacıyla bir dönüşüm. |
partitioning.months(col) |
Verileri aylara bölmek için zaman damgaları ve tarihler için bir dönüşüm. |
partitioning.days(col) |
Verileri günlere bölmek için zaman damgaları ve tarihler için dönüştürme. |
partitioning.hours(col) |
Zaman damgalarının verileri saatlere bölmeye yönelik dönüşümü. |
partitioning.bucket(numBuckets, col) |
Giriş sütununun karmasıyla bölümleyen herhangi bir veri türü için bir dönüştürme. |
H3 jeo-uzamsal işlevleri (Databricks)
| İşlev | Description |
|---|---|
h3_boundaryasgeojson(col) |
GeoJSON biçiminde bir H3 hücresinin sınırını verir |
h3_boundaryaswkb(col) |
WKB biçiminde bir H3 hücresinin sınırını verir |
h3_boundaryaswkt(col) |
WKT biçiminde bir H3 hücresinin sınırını verir |
h3_centerasgeojson(col) |
GeoJSON biçiminde bir H3 hücresinin merkezini verir |
h3_centeraswkb(col) |
WKB biçiminde bir H3 hücresinin merkezini verir |
h3_centeraswkt(col) |
Bir H3 hücresinin merkezini WKT biçiminde verir |
h3_compact(col) |
H3 hücre kimliklerinin giriş kümesini mümkün olduğunca sıkıştırıyor |
h3_coverash3(col1,col2) |
Belirtilen çözünürlüğün altıgenlerine veya beşgenlerine karşılık gelen uzun tamsayılar olarak temsil edilen hücre kimlikleri dizisini verir. Bu dizi, giriş doğrusal veya areal coğrafyasını minimum düzeyde kapsar |
h3_coverash3string(col1,col2) |
Belirtilen çözünürlükteki altıgen veya beşgenlere karşılık gelen ve metin olarak temsil edilen hücre kimliklerinin bir dizisini döndürür; bu dizi, verilen doğrusal veya alan coğrafyasını en az kapsayacak şekilde hazırlanmıştır. |
h3_distance(col1,col2) |
İki H3 hücre kimliği arasındaki ızgara uzaklığını verir |
h3_h3tostring(col) |
H3 hücre kimliğini, hücre kimliğini bir onaltılık dize olarak temsil eden bir dizeye dönüştürür. |
h3_hexring(col1,col2) |
Merkez H3 hücresinde ortalanmış ve merkez H3 hücresinden k kılavuz uzaklığında yer alan boş bir altıgen halka oluşturan H3 hücre kimliklerinin bir dizisini döndürür. |
h3_ischildof(col1,col2) |
Birinci H3 hücre kimliği ikinci H3 hücre kimliğinin çocuk öğesiyse, True değerini döndürür. |
h3_ispentagon(col) |
Eğer giriş H3 hücre kimliği bir beşgeni temsil ediyorsa True geri döner. |
h3_isvalid(col) |
Eğer giriş geçerli bir H3 hücre kimliğini temsil ediyorsa, True döndürür. |
h3_kring(col1,col2) |
Kaynak hücre kimliğinin k (kılavuz) uzaklığındaki H3 hücre kimliklerini verir |
h3_kringdistances(col1,col2) |
Kaynak H3 hücre kimliğinden k ızgara mesafesi içindeki tüm H3 hücre kimliklerini (uzun tamsayılar veya dizeler olarak gösterilir) ve her birinin kaynak H3 hücre kimliğinden olan uzaklıklarını döndürür. |
h3_longlatash3(col1,col2,col3) |
Belirtilen çözünürlükte sağlanan boylam ve enlem ile ilgili H3 hücre kimliğini (BIGINT olarak) verir |
h3_longlatash3string(col1,col2,col3) |
Belirtilen çözünürlükte sağlanan boylam ve enlem ile ilgili H3 hücre kimliğini (dize olarak) döndürür |
h3_maxchild(col1,col2) |
Belirtilen çözünürlükte giriş H3 hücresinin en yüksek değere sahip alt öğesini döndürür. |
h3_minchild(col1,col2) |
Belirtilen çözünürlükteki giriş H3 hücresinin en düşük değerine sahip alt hücresini döndürür. |
h3_pointash3(col1,col2) |
Belirtilen çözünürlükte sağlanan noktaya karşılık gelen H3 hücre kimliğini (BIGINT olarak) döndürür |
h3_pointash3string(col1,col2) |
Belirtilen çözünürlükte sağlanan noktaya karşılık gelen H3 hücre kimliğini (dize olarak) döndürür |
h3_polyfillash3(col1,col2) |
Belirtilen çözünürlükteki alan coğrafyası tarafından kapsanan altıgen veya beşgenlerden oluşan, uzun tamsayılar olarak temsil edilen hücre kimlikleri dizisini döndürür. |
h3_polyfillash3string(col1,col2) |
Giriş areal coğrafyası tarafından kapsanan belirli çözünürlükteki altıgen veya beşgenlere karşılık gelen, dize olarak temsil edilmiş hücre kimlikleri dizisini döndürür. |
h3_resolution(col) |
H3 hücre kimliğinin çözünürlüğünü verir |
h3_stringtoh3(col) |
Dize gösterimi H3 hücre kimliğini büyük tamsayı gösterimine dönüştürür |
h3_tessellateaswkb(col1,col2) |
Belirtilen çözünürlükte coğrafyayı kapsayan yongaları temsil eden bir yapı dizisi döndürür |
h3_tochildren(col1,col2) |
Belirtilen çözünürlükte giriş H3 hücre kimliğinin çocuk H3 hücre kimliklerini döndürür |
h3_toparent(col1,col2) |
Belirtilen çözünürlükteki giriş H3 hücre kimliğinin ebeveyn H3 hücre kimliğini verir. |
h3_try_coverash3(col1,col2) |
Belirtilen çözünürlüğün altıgenlerine veya beşgenlerine karşılık gelen uzun tamsayılar olarak temsil edilen hücre kimlikleri dizisini verir. Bu dizi, giriş doğrusal veya areal coğrafyasını minimum düzeyde kapsar |
h3_try_coverash3string(col1,col2) |
Belirtilen çözünürlükteki altıgen veya beşgenlere karşılık gelen ve metin olarak temsil edilen hücre kimliklerinin bir dizisini döndürür; bu dizi, verilen doğrusal veya alan coğrafyasını en az kapsayacak şekilde hazırlanmıştır. |
h3_try_distance(col1,col2) |
Aynı çözünürlükte iki H3 hücre kimlikleri arasındaki kılavuz mesafesini veya None tanımlanmamışsa uzaklığı verir |
h3_try_polyfillash3(col1,col2) |
Belirtilen çözünürlükteki alan coğrafyası tarafından kapsanan altıgen veya beşgenlerden oluşan, uzun tamsayılar olarak temsil edilen hücre kimlikleri dizisini döndürür. |
h3_try_polyfillash3string(col1,col2) |
Giriş areal coğrafyası tarafından kapsanan belirli çözünürlükteki altıgen veya beşgenlere karşılık gelen, dize olarak temsil edilmiş hücre kimlikleri dizisini döndürür. |
h3_try_tessellateaswkb(col1,col2) |
Belirtilen çözünürlükte coğrafyayı kapsayan yongaları temsil eden bir yapı dizisi veya geometri geçersizse null döndürür |
h3_try_validate(col) |
Geçerli bir H3 hücresiyse giriş değerini döndürür, aksi takdirde None döndürür. |
h3_uncompact(col1,col2) |
H3 hücre kimliklerinin giriş kümesini belirtilen çözünürlüğe göre açma veya genişletme |
h3_validate(col) |
Geçerli bir H3 hücresi ise giriş değerini verir, aksi takdirde bir hata bildirir. |
ST jeo-uzamsal işlevleri (Databricks)
| İşlev | Description |
|---|---|
st_addpoint(col1,col2,col3) |
Giriş linestring içindeki n'inci pozisyona yeni bir nokta ekler Geography veya Geometry |
st_area(col) |
Giriş coğrafyasının veya geometrisinin alanını verir |
st_azimuth(col1,col2) |
radyan cinsinden ilk noktadan ikinciye kadar kuzey tabanlı azimut değerini verir [0, 2π) |
st_asbinary(col1,col2) |
Giriş Coğrafya veya Geometri değerini WKB biçiminde verir |
st_asewkb(col1,col2) |
EWKB biçimindeki giriş Geometrisi değerini verir |
st_asewkt(col) |
EWKT biçiminde Coğrafya veya Geometri giriş değerini verir |
st_asgeojson(col) |
GeoJSON formatında Coğrafya veya Geometri değerini geri döndürür. |
st_astext(col) |
Giriş Coğrafya veya Geometri değerini WKT biçiminde verir |
st_aswkb(col1,col2) |
Giriş Coğrafya veya Geometri değerini WKB biçiminde verir |
st_aswkt(col) |
Giriş Coğrafya veya Geometri değerini WKT biçiminde verir |
st_buffer(col1,col2) |
Giriş geometrisinin belirtilen yarıçapı kullanarak arabelleğini döndürür |
st_boundary(col) |
Giriş geometrisinin sınırını geometri olarak verir |
st_centroid(col) |
Giriş geometrisinin merkez noktasını 2B nokta geometrisi olarak verir |
st_closestpoint(col1,col2) |
İkinci geometriye en yakın ilk geometrideki bir noktanın 2B projeksiyonunu verir |
st_concavehull(col1,col2,col3) |
Belirtilen uzunluk oranını kullanarak giriş geometrisinin konka gövdesini geometri olarak verir |
st_contains(col1,col2) |
İlk geometri ikinci geometriyi içeriyorsa verir True |
st_convexhull(col) |
Giriş geometrisinin dışbükey gövdesini geometri olarak verir |
st_covers(col1,col2) |
İlk geometri ikinci geometriyi kaplıyorsa verir True |
st_difference(col1,col2) |
İki giriş geometrisinin nokta kümesi farkını 2B geometri olarak verir. |
st_dimension(col) |
Giriş geometrisinin 2B projeksiyonunun topolojik boyutunu verir |
st_disjoint(col1,col2) |
Geometriler birbirinden ayrı olduğunda True döner |
st_distance(col1,col2) |
İki giriş geometrisi arasındaki 2B Kartezyen mesafeyi verir |
st_distancesphere(col1,col2) |
Yarıçapı WGS84 elipsoidinin ortalama yarıçapı olan bir küre üzerinde ölçülen iki nokta geometrisi arasındaki küresel uzaklığı (metre cinsinden) verir |
st_distancespheroid(col1,col2) |
WGS84 elipsoid üzerinde iki nokta geometrisi arasındaki jeodezik uzaklığı (metre cinsinden) verir |
st_dump(col) |
Giriş geometrisindeki tek geometrileri içeren bir dizi döndürür |
st_dwithin(col1,col2,col3) |
İki giriş geometrisi arasındaki 2B Kartezyen uzaklığı giriş uzaklığından küçük veya buna eşitse verir True |
st_endpoint(col) |
Giriş satır dizesinin son noktasını veya None mevcut değilse verir |
st_envelope(col) |
Boş olmayan giriş geometrisinin 2D Kartezyen eksene hizalı minimum sınırlayıcı kutusunu geometri olarak döndürür. |
st_envelope_agg(col) |
Sütundaki tüm geometrilerin kapsamını döndürür veya sütun sıfır satır içeriyorsa ya da yalnızca None değerler barındırıyorsa None döndürür. |
st_equals(col1,col2) |
True iki geometri geometrik olarak eşitse döndürür |
st_exteriorring(col) |
Çokgeni temsil eden giriş Coğrafyası veya Geometri değerinin dış halkasını (kabuk) çizgi dizesi olarak verir |
st_flipcoordinates(col) |
Giriş geometrisinin X ve Y koordinatlarını değiştirir |
st_geogfromgeojson(col) |
GeoJSON açıklamasını ayrıştırarak karşılık gelen Coğrafya değerini döndürür |
st_geogfromtext(col) |
WKT açıklamasını ayrıştırarak karşılık gelen Coğrafya değerini döndürür |
st_geogfromwkb(col) |
Giriş WKB açıklamasını ayrıştırır ve karşılık gelen Coğrafya değerini döndürür |
st_geogfromwkt(col) |
WKT açıklamasını ayrıştırarak karşılık gelen Coğrafya değerini döndürür |
st_geohash(col1,col2) |
Giriş Geometri'nin geohash değerini döndürür |
st_geometryn(col1,col2) |
1 tabanlı n. öğeyi veya bu öğe yoksa None değerini döndürür. |
st_geometrytype(col) |
Giriş Coğrafya veya Geometri değerinin türünü dize olarak verir |
st_geomfromewkb(col) |
Giriş EWKB açıklamasını ayrıştırır ve karşılık gelen Geometri değerini döndürür |
st_geomfromgeohash(col) |
Giriş geohash değerine karşılık gelen geohash ızgara kutusunu 2B çokgen geometri olarak verir |
st_geomfromgeojson(col) |
GeoJSON açıklamasını ayrıştırarak karşılık gelen Geometri değerini verir |
st_geomfromtext(col1,col2) |
WKT açıklamasını ayrıştırarak karşılık gelen Geometri değerini verir |
st_geomfromwkb(col1,col2) |
Giriş WKB açıklamasını ayrıştırır ve karşılık gelen Geometri değerini döndürür |
st_geomfromwkt(col1,col2) |
WKT açıklamasını ayrıştırarak karşılık gelen Geometri değerini verir |
st_intersection(col1,col2) |
İki girdi geometrisinin nokta kümesi kesişimini 2B geometri olarak verir |
st_intersects(col1,col2) |
İki geometri kesişirse True döndürür |
st_isempty(col) |
Boş olmayan noktalar içermiyorsa, giriş |
st_isvalid(col) |
Giriş geometrisi OGC anlamda geçerli bir geometriyse verir True |
st_length(col) |
Giriş geometrisi veya coğrafya değerinin uzunluğunu verir |
st_m(col) |
Giriş noktası geometrisinin M koordinatını veya None giriş noktası geometrisi boşsa veya M koordinatı yoksa verir |
st_makeline(col) |
Girdisindeki geometrilerin nokta, çizgi dizisi veya çoklu nokta olması beklenen geometri dizisinde, boş olmayan noktaların bir doğru parçası geometrisini döndürür. |
st_makepolygon(col1,col2) |
Giriş dış sınırından ve kapalı çizgi dizeleri olarak temsil edilen isteğe bağlı iç sınır dizisinden çokgen oluşturur |
st_multi(col) |
Giriş Coğrafya veya Geometri değerini eşdeğer bir çoklu coğrafi değer olarak döndürür ve orijinal SRID'yi korur. |
st_ndims(col) |
Giriş Coğrafya veya Geometri değerinin koordinat boyutunu verir |
st_npoints(col) |
Giriş Coğrafyası veya Geometri değerinde boş olmayan noktaların sayısını verir |
st_numgeometries(col) |
Giriş geometrisindeki geometri sayısını verir |
st_perimeter(col) |
Giriş coğrafyasının veya geometrisinin çevresini verir |
st_point(col1,col2,col3) |
Verilen x ve y koordinatlarına ve SRID değerine sahip bir 2B nokta Geometrisi döndürür |
st_pointfromgeohash(col) |
Giriş geohash değerine karşılık gelen geohash ızgara kutusunun merkezini iki boyutlu nokta geometrisi olarak döndürür |
st_pointn(col1,col2) |
Giriş çizgisel dizisinin 1 tabanlı n'inci noktasını veya mevcut değilse None döndürür |
st_removepoint(col1,col2) |
Giriş linestring Geography veya Geometry üzerinden n'inci noktayı kaldırır. |
st_reverse(col) |
Giriş Coğrafyası veya Geometri değerinde köşelerin sırasını tersine çevirir |
st_rotate(col1,col2) |
Giriş geometrisini verilen döndürme açısına göre (radyan cinsinden) Z ekseni çevresinde döndürür |
st_scale(col1,col2,col3,col4) |
Verilen faktörleri kullanarak X, Y ve Z (isteğe bağlı) yönlerinde giriş geometrisini ölçeklendirir |
st_setpoint(col1,col2,col3) |
Girdi linestringi coğrafya veya geometri içinde n'inci noktayı ayarlar. |
st_setsrid(col1,col2) |
Belirtilen SRID değerine sahip yeni bir Geometri değeri döndürür. |
st_simplify(col1,col2) |
Douglas-Peucker algoritmasını kullanarak giriş geometrisini basitleştirir |
st_srid(col) |
Giriş jeo-uzamsal değerinin SRID değerini verir |
st_startpoint(col) |
Giriş satır dizesinin ilk noktasını veya None yoksa verir |
st_touches(col1,col2) |
İki geometri birbirine dokunursa True döner. |
st_transform(col1,col2) |
Giriş geometrisinin X ve Y koordinatlarını, sağlanan SRID değeri tarafından açıklanan koordinat başvuru sistemine (CRS) dönüştürür |
st_translate(col1,col2,col3,col4) |
Sağlanan uzaklıkları kullanarak X, Y ve Z (isteğe bağlı) yönlerinde giriş geometrisini çevirir |
st_union(col1,col2) |
İki giriş geometrisinin nokta kümesi birleşimini 2B geometri olarak verir |
st_union_agg(col) |
Sütundaki tüm geometrilerin nokta açısından birleşimini verir veya None sütunda sıfır satır varsa veya yalnızca None değerler içeriyorsa |
st_within(col1,col2) |
İlk geometri ikinci geometri içindeyse verir True |
st_x(col) |
Giriş noktası geometrisinin X koordinatını veya None giriş noktası geometrisi boşsa verir |
st_xmax(col) |
Giriş geometrisinin maksimum X koordinatını veya None giriş geometrisi boşsa verir |
st_xmin(col) |
Giriş geometrisinin en düşük X koordinatını veya None giriş geometrisi boşsa verir |
st_y(col) |
Giriş noktası geometrisinin Y koordinatını veya None giriş noktası geometrisi boşsa verir |
st_ymax(col) |
Giriş geometrisinin maksimum Y koordinatını veya None giriş geometrisi boşsa verir |
st_ymin(col) |
Giriş geometrisinin en düşük Y koordinatını veya None giriş geometrisi boşsa verir |
st_z(col) |
Giriş noktası geometrisinin Z koordinatını veya None giriş noktası geometrisi boşsa veya Z koordinatı yoksa verir |
st_zmax(col) |
Giriş geometrisinin maksimum Z koordinatını verir veya None giriş geometrisi boşsa veya Z koordinatları içermiyorsa |
st_zmin(col) |
Giriş geometrisinin en düşük Z koordinatını verir veya None giriş geometrisi boşsa veya Z koordinatları içermiyorsa |
to_geography(col) |
İKILI veya dize değerini ayrıştırıp karşılık gelen Coğrafya değerini döndürür |
to_geometry(col) |
İKILI veya dize değerini ayrıştırıp karşılık gelen Geometri değerini verir |
try_to_geography(col) |
giriş BINARY veya dize değerini ayrıştırıp karşılık gelen Coğrafya değerini döndürür veya None giriş geçersizse |
try_to_geometry(col) |
Girişteki BINARY veya string değerini ayrıştırarak ilgili Geometri değerini döndürür veya giriş geçersizse None değerini döndürür. |
CSV işlevleri
| İşlev | Description |
|---|---|
from_csv(col, schema[, options]) |
CSV dizesi içeren bir sütunu belirtilen şemaya sahip bir satıra ayrıştırıyor. |
schema_of_csv(csv[, options]) |
CSV dizesini ayrıştırıp şemasını DDL biçiminde çıkartır. |
to_csv(col[, options]) |
StructType içeren bir sütunu CSV dizesine dönüştürür. |
JSON işlevleri
| İşlev | Description |
|---|---|
from_json(col, schema[, options]) |
JSON dizesi içeren bir sütunu, anahtar türü StringType olan bir MapType'a ve belirtilen şemaya göre StructType veya ArrayType'a dönüştürüyor. |
get_json_object(col, path) |
Json nesnesini belirtilen json yoluna göre bir json dizesinden ayıklar ve ayıklanan json nesnesinin json dizesini döndürür. |
json_array_length(col) |
En dıştaki JSON dizisindeki öğelerin sayısını döndürür. |
json_object_keys(col) |
En dıştaki JSON nesnesinin tüm anahtarlarını dizi olarak döndürür. |
json_tuple(col, *fields) |
Verilen alan adlarına göre bir json sütunu için yeni bir satır oluşturur. |
schema_of_json(json[, options]) |
Bir JSON dizesini ayrıştırıp şemasını DDL biçiminde çıkartır. |
to_json(col[, options]) |
StructType, ArrayType veya MapType içeren bir sütunu JSON dizesine dönüştürür. |
Değişken işlevleri
| İşlev | Description |
|---|---|
is_variant_null(v) |
Değişken değerin değişken null olup olmadığını denetleyin. |
parse_json(col) |
JSON dizesi içeren bir sütunu VariantType olarak ayrıştırıyor. |
schema_of_variant(v) |
Şemayı bir değişkenin SQL biçiminde döndürür. |
schema_of_variant_agg(v) |
Birleştirilmiş şemayı bir değişken sütununun SQL biçiminde döndürür. |
try_variant_get(v, path, targetType) |
V'den yola göre bir alt değişken ayıklar ve ardından alt değişkeni targetType'a yayınlar. |
variant_get(v, path, targetType) |
V'den yola göre bir alt değişken ayıklar ve ardından alt değişkeni targetType'a yayınlar. |
try_parse_json(col) |
JSON dizesi içeren bir sütunu VariantType olarak ayrıştırıyor. |
to_variant_object(col) |
İç içe girişler (dizi/eşleme/yapı) içeren bir sütunu, eşlemelerin ve yapıların SQL yapılarından farklı olarak sıralanmamış olan değişken nesnelere dönüştürüldüğü bir değişkene dönüştürür. |
XML işlevleri
| İşlev | Description |
|---|---|
from_xml(col, schema[, options]) |
XML dizesi içeren bir sütunu belirtilen şemaya sahip bir satıra ayrıştırıyor. |
schema_of_xml(xml[, options]) |
Xml dizesini ayrıştırıp şemasını DDL biçiminde çıkartır. |
to_xml(col[, options]) |
StructType içeren bir sütunu XML dizesine dönüştürür. |
xpath(xml, path) |
Xml düğümleri içinde XPath ifadesiyle eşleşen bir değer dizesi dizisi döndürür. |
xpath_boolean(xml, path) |
XPath ifadesi true olarak değerlendirilirse veya eşleşen bir düğüm bulunursa true döndürür. |
xpath_double(xml, path) |
Çift bir değer, eşleşme bulunamazsa sıfır değerini veya eşleşme bulunursa ancak değer sayısal değilse NaN değerini döndürür. |
xpath_float(xml, path) |
Bir kayan değer, eşleşme bulunmazsa sıfır değerini veya eşleşme bulunursa ancak değer sayısal değilse NaN değerini döndürür. |
xpath_int(xml, path) |
Bir tamsayı değeri veya eşleşme bulunamazsa sıfır değerini döndürür ya da eşleşme bulunur ancak değer sayısal değildir. |
xpath_long(xml, path) |
Uzun bir tamsayı değeri veya eşleşme bulunmazsa sıfır değerini döndürür veya eşleşme bulunur ancak değer sayısal değildir. |
xpath_number(xml, path) |
Çift bir değer, eşleşme bulunamazsa sıfır değerini veya eşleşme bulunursa ancak değer sayısal değilse NaN değerini döndürür. |
xpath_short(xml, path) |
Kısa bir tamsayı değeri veya eşleşme bulunamazsa sıfır değerini döndürür veya eşleşme bulunur ancak değer sayısal değildir. |
xpath_string(xml, path) |
XPath ifadesiyle eşleşen ilk xml düğümünün metin içeriğini döndürür. |
URL işlevleri
| İşlev | Description |
|---|---|
parse_url(url, partToExtract[, key]) |
Belirtilen bir bölümü URL'den ayıklar. |
try_parse_url(url, partToExtract[, key]) |
İşlemi gerçekleştirmeyi parse_url deneyin, ancak ayrıştırma gerçekleştirilemiyorsa hata oluşturmak yerine NULL değer döndürün. |
url_decode(str) |
URL ile kodlanmış bir dizenin application/x-www-form-urlencoded kodunu özgün biçimine göre çözer. |
url_encode(str) |
Bir dizeyi URL ile kodlanmış bir dizeye 'application/x-www-form-urlencoded' biçiminde kodlar. |
try_url_decode(str) |
İşlemi gerçekleştirmeyi url_decode deneyin, ancak kod çözme gerçekleştirilemiyorsa hata oluşturmak yerine NULL değer döndürün. |
Çeşitli işlevler
| İşlev | Description |
|---|---|
aes_decrypt(input, key[, mode, padding, aad]) |
Doldurma modunda AES kullanarak girişin şifresi çözülmüş bir değer döndürür. |
aes_encrypt(input, key[, mode, padding, iv, aad]) |
Belirtilen doldurma ile verilen modda AES kullanan şifrelenmiş bir giriş değeri döndürür. |
assert_true(col[, errMsg]) |
Giriş sütunu doğruysa null döndürür; aksi takdirde, sağlanan hata mesajıyla bir özel durum oluşturur. |
bitmap_bit_position(col) |
Verilen giriş sütunu için bit konumunu döndürür. |
bitmap_bucket_number(col) |
Verilen giriş sütunu için kova numarasını döndürür. |
bitmap_count(col) |
Giriş bit eşlemindeki küme bitlerinin sayısını döndürür. |
current_catalog() |
Geçerli kataloğu döndürür. |
current_database() |
Geçerli veritabanını döndürür. |
current_schema() |
Geçerli şemayı döndürür. |
current_user() |
Geçerli kullanıcıyı döndürür. |
hll_sketch_estimate(col) |
Datasketches HllSketch'in ikili temsili dikkate alınarak tahmin edilen benzersiz değer sayısını döndürür. |
hll_union(col1, col2[, allowDifferentLgConfigK]) |
Datasketches Union nesnesi kullanarak Datasketches HllSketch nesnelerinin iki ikili gösterimini birleştirir. |
input_file_block_length() |
Okunan bloğun uzunluğunu döndürür veya kullanılamıyorsa -1. |
input_file_block_start() |
Okunan bloğun başlangıç uzaklığını döndürür veya başlangıç uzaklığı mevcut değilse -1 döner. |
input_file_name() |
Geçerli Spark görevinin dosya adı için bir dize sütunu oluşturur. |
java_method(*cols) |
Yansımalı bir yöntemi çağırır. |
monotonically_increasing_id() |
Monoton olarak artan 64 bit tamsayılar oluşturan bir sütun. |
raise_error(errMsg) |
Sağlanan hata iletisiyle bir özel durum oluşturur. |
reflect(*cols) |
Yansımalı bir yöntemi çağırır. |
session_user() |
Geçerli yürütme bağlamının kullanıcı adını döndürür. |
spark_partition_id() |
Bölüm kimliği sütunu. |
try_aes_decrypt(input, key[, mode, padding, aad]) |
İşlemi gerçekleştirmeyi aes_decrypt deneyin, ancak şifre çözme gerçekleştirilemiyorsa hata oluşturmak yerine NULL değer döndürün. |
try_reflect(*cols) |
bir reflect işlem gerçekleştirmeyi deneyin, ancak çağırma yöntemi özel durum oluşturduysa hata oluşturmak yerine NULL değer döndürün. |
typeof(col) |
Girişin veri türü için DDL biçimli tür dizesi döndürür. |
user() |
Geçerli kullanıcıyı döndürür. |
version() |
Spark sürümünü döndürür. |
UDF, UDTF, UDT işlevleri
| İşlev | Description |
|---|---|
call_udf(udfName, *cols) |
Kullanıcı tanımlı bir işlevi çağır. |
pandas_udf([f, returnType, functionType]) |
Pandas kullanıcı tanımlı fonksiyon oluşturur (örn. |
udf([f, returnType, useArrow]) |
Kullanıcı tanımlı bir işlev (UDF) oluşturur. |
udtf([cls, returnType, useArrow]) |
Kullanıcı tanımlı tablo işlevi (UDTF) oluşturur. |
unwrap_udt(col) |
UDT veri türü sütununu temel alınan türüne çıkarın. |
Tablo değerli fonksiyonlar
| İşlev | Description |
|---|---|
TableValuedFunction.collations() |
Tüm Spark SQL dize harmanlamalarını alın. |
TableValuedFunction.explode(collection) |
Verilen dizideki veya eşlemedeki her öğe için yeni bir satır içeren bir DataFrame döndürür. |
TableValuedFunction.explode_outer(collection) |
Verilen dizide veya eşlemede konumu olan her öğe için yeni bir satır içeren bir DataFrame döndürür. |
TableValuedFunction.inline(input) |
Bir yapı dizisini bir tabloya ayrıştırır. |
TableValuedFunction.inline_outer(input) |
Bir yapı dizisini bir tabloya ayrıştırır. |
TableValuedFunction.json_tuple(input, *fields) |
Verilen alan adlarına göre bir json sütunu için yeni bir satır oluşturur. |
TableValuedFunction.posexplode(collection) |
Verilen dizide veya eşlemede konumu olan her öğe için yeni bir satır içeren bir DataFrame döndürür. |
TableValuedFunction.posexplode_outer(collection) |
Verilen dizide veya eşlemede konumu olan her öğe için yeni bir satır içeren bir DataFrame döndürür. |
TableValuedFunction.range(start[, end, ...]) |
Başlangıç ve bitiş (hariç) arasında adım değeriyle adımlanan bir aralıktaki öğeleri içeren, id adında tek bir pyspark.sql.types.LongType sütununa sahip bir DataFrame oluşturun. |
TableValuedFunction.sql_keywords() |
Spark SQL anahtar sözcüklerini alın. |
TableValuedFunction.stack(n, *fields) |
Sütun1, ..., sütunlarını n satıra ayırır. |
TableValuedFunction.variant_explode(input) |
Değişken nesneyi/diziyi, alanlarını/öğelerini içeren birden çok satıra ayırır. |
TableValuedFunction.variant_explode_outer(input) |
Değişken nesneyi/diziyi, alanlarını/öğelerini içeren birden çok satıra ayırır. |