Functions 類別

定義

DataFrame 作業可用的函式。

public static class Functions
type Functions = class
Public Class Functions
繼承
Functions

方法

Abs(Column)

計算絕對值。

Acos(Column)

以弧度為單位的 column 反余弦值,就像 由 計算一 java.lang.Math.acos 樣。

Acos(String)

以弧度為單位的 columnName 反余弦值,就像 由 計算一 java.lang.Math.acos 樣。

AddMonths(Column, Column)

傳回 之後 startDatenumMonths 日期。

AddMonths(Column, Int32)

傳回 之後 startDatenumMonths 日期。

ApproxCountDistinct(Column)

傳回群組中相異專案的近似數目。

ApproxCountDistinct(Column, Double)

傳回群組中相異專案的近似數目。

ApproxCountDistinct(String)

傳回群組中相異專案的近似數目。

ApproxCountDistinct(String, Double)

傳回群組中相異專案的近似數目。

Array(Column[])

建立新的陣列資料行。 輸入資料行必須具有相同的資料類型。

Array(String, String[])

建立新的陣列資料行。 輸入資料行必須具有相同的資料類型。

ArrayContains(Column, Object)

如果陣列為 null,則傳回 null;如果陣列包含 value ,則傳回 true;否則傳回 false。

ArrayDistinct(Column)

從陣列中移除重複的值。

ArrayExcept(Column, Column)

傳回 中 col1 專案陣列,但不在 中 col2 傳回 ,而不重複專案。 結果中的元素順序不具決定性。

ArrayIntersect(Column, Column)

傳回指定兩個數組交集中元素的陣列,不重複。

ArrayJoin(Column, String)

使用 delimiter 串連 的專案 column

ArrayJoin(Column, String, String)

使用 delimiter 串連 的專案 column 。 Null 值會取代為 nullReplacement

ArrayMax(Column)

傳回陣列中的最大值。

ArrayMin(Column)

傳回陣列中的最小值。

ArrayPosition(Column, Object)

尋找指定陣列中第一個出現值的位置。 如果其中一個引數為 Null,則傳回 null。

ArrayRemove(Column, Object)

從指定的陣列中移除等於 元素的所有專案。

ArrayRepeat(Column, Column)

建立陣列, left 其中包含引數重複引數所 right 指定的次數。

ArrayRepeat(Column, Int32)

建立陣列, left 其中包含重複的 count 引數次數。

ArraySort(Column)

以遞增順序排序輸入陣列。 輸入陣列的專案必須是可排序的。 Null 元素會放在傳回陣列的結尾。

ArraysOverlap(Column, Column)

如果 a1a2 在通用中至少有一個非 Null 元素,則傳回 true。 如果不是 且兩個數組都是非空白的,而且其中任何陣列都包含 Null,則會傳回 null。 否則會傳回 false。

ArraysZip(Column[])

傳回結構合併陣列,其中第 N 個結構包含輸入陣列的所有 N 個值。

ArrayUnion(Column, Column)

傳回指定兩個數組之聯集中元素的陣列,不重複。

Asc(String)

根據資料行的遞增順序傳回排序運算式。

Ascii(Column)

計算字串資料行第一個字元的數值,並以 int 資料行傳回結果。

AscNullsFirst(String)

根據資料行的遞增順序傳回排序運算式,並在非 Null 值之前傳回 Null 值。

AscNullsLast(String)

根據資料行的遞增順序傳回排序運算式,而 Null 值會出現在非 Null 值之後。

Asin(Column)

以弧度為單位的 column 反正弦值,就像 由 計算一 java.lang.Math.asin 樣。

Asin(String)

以弧度為單位的 columnName 反正弦值,就像 由 計算一 java.lang.Math.asin 樣。

Atan(Column)

以弧度為單位的 column 反正切值,就像 由 計算一 java.lang.Math.atan 樣。

Atan(String)

以弧度為單位的 columnName 反正切值,就像 由 計算一 java.lang.Math.atan 樣。

Atan2(Column, Column)

針對指定的 xy 計算 atan2。

Atan2(Column, Double)

針對指定的 xy 計算 atan2。

Atan2(Column, String)

針對指定的 xy 計算 atan2。

Atan2(Double, Column)

針對指定的 xy 計算 atan2。

Atan2(Double, String)

針對指定的 xy 計算 atan2。

Atan2(String, Column)

針對指定的 xy 計算 atan2。

Atan2(String, Double)

針對指定的 xy 計算 atan2。

Atan2(String, String)

針對指定的 xy 計算 atan2。

Avg(Column)

傳回群組中的值的平均值。

Avg(String)

傳回群組中的值的平均值。

Base64(Column)

計算二進位資料行的 BASE64 編碼,並將它當做字串資料行傳回。

Bin(Column)

運算式,傳回指定 long 資料行之二進位值的字串表示。 例如,bin (「12」) 會傳回 「1100」。

Bin(String)

運算式,傳回指定 long 資料行之二進位值的字串表示。 例如,bin (「12」) 會傳回 「1100」。

BitwiseNOT(Column)

計算位 NOT。

Broadcast(DataFrame)

將 DataFrame 標示為小到足以用於廣播聯結。

Bround(Column)

傳回四捨五入為 0 個小數位數的值 column ,其HALF_EVEN四捨五入模式。

Bround(Column, Int32)

傳回四捨五入為 scale 小數位數的值 column ,其HALF_EVEN四捨五入模式。

Bucket(Column, Column)

輸入資料行雜湊分割之任何類型的轉換。

Bucket(Int32, Column)

輸入資料行雜湊分割之任何類型的轉換。

CallUDF(String, Column[])

呼叫透過 SparkSession.Udf () 註冊的使用者定義函式。Register () 。

Cbrt(Column)

計算指定資料行的 Cube 根目錄。

Cbrt(String)

計算指定資料行的 Cube 根目錄。

Ceil(Column)

計算指定值的上限。

Ceil(String)

計算指定值的上限。

Coalesce(Column[])

傳回不是 Null 的第一個資料行,如果所有輸入都是 Null,則傳回 null。

Col(String)

根據指定的資料行名稱傳回 Column。 Column () 的別名。

CollectList(Column)

傳回具有重複專案的物件清單。

CollectList(String)

傳回具有重複專案的物件清單。

CollectSet(Column)

傳回一組已排除重複專案的物件。

CollectSet(String)

傳回一組已排除重複專案的物件。

Column(String)

根據指定的資料行名稱傳回 Column。

Concat(Column[])

將多個輸入資料行串連成單一資料行。

ConcatWs(String, Column[])

使用指定的分隔符號,將多個輸入字串資料行串連成單一字串資料行。

Conv(Column, Int32, Int32)

將字串資料行中的數位從一個基底轉換成另一個基底。

Corr(Column, Column)

傳回兩個數據行的 Pearson 相互關聯係數。

Corr(String, String)

傳回兩個數據行的 Pearson 相互關聯係數。

Cos(Column)

計算角度的余弦值,就像計算依據 java.lang.Math.cos

Cos(String)

計算角度的余弦值,就像計算依據 java.lang.Math.cos

Cosh(Column)

計算角度的雙曲余弦值,就像計算者一樣 java.lang.Math.cosh

Cosh(String)

計算角度的雙曲余弦值,就像計算者一樣 java.lang.Math.cosh

Count(Column)

傳回群組中的項目數。

Count(String)

傳回群組中的項目數。

CountDistinct(Column, Column[])

傳回群組中相異專案的數目。

CountDistinct(String, String[])

傳回群組中相異專案的數目。

CovarPop(Column, Column)

傳回兩個數據行的母體共變數。

CovarPop(String, String)

傳回兩個數據行的母體共變數。

CovarSamp(Column, Column)

傳回兩個數據行的範例共變數。

CovarSamp(String, String)

傳回兩個數據行的範例共變數。

Crc32(Column)

計算二進位資料行 (CRC32) 迴圈備援檢查值,並以 Bigint 傳回值。

CumeDist()

Window 函式:傳回視窗分割區內值的累計分佈,也就是目前資料列下方的資料列分數。

CurrentDate()

傳回目前日期做為日期資料行。

CurrentRow()

Window 函式:傳回代表視窗分割中目前資料列的特殊框架界限。

CurrentTimestamp()

以時間戳記資料行的形式傳回目前的時間戳記。

DateAdd(Column, Column)

傳回 之後天數 startdays 日期。

DateAdd(Column, Int32)

傳回 之後天數 startdays 日期。

DateDiff(Column, Column)

傳回從 startend 的天數。

DateFormat(Column, String)

使用第二個引數所指定之日期格式所指定的格式,將日期/時間戳記/字串轉換為字串的值。

DateSub(Column, Column)

傳回日期,該日期是 days 之前的 start 天數。

DateSub(Column, Int32)

傳回日期,該日期是 days 之前的 start 天數。

DateTrunc(String, Column)

傳回截斷為格式所指定單位的時間戳記。

DayOfMonth(Column)

從指定的日期/時間戳記/字串擷取月份的日期做為整數。

DayOfWeek(Column)

從指定的日期/時間戳記/字串中擷取星期幾作為整數。

DayOfYear(Column)

從指定的日期/時間戳記/字串擷取年份的日期做為整數。

Days(Column)

將時間戳記和日期分割成天數的時間戳記和日期轉換。

Decode(Column, String)

使用提供的字元集,將第一個引數從二進位檔計算為字串, (其中一個 'US-ASCII'、'ISO-8859-1'、'UTF-8'、'UTF-16BE'、'UTF-16LE'、'UTF-16')

Degrees(Column)

將以弧度為單位的角度轉換為以度為單位測量的近似相等角度。

Degrees(String)

將以弧度為單位的角度轉換為以度為單位測量的近似相等角度。

DenseRank()

Window 函式:傳回視窗資料分割內資料列的排名,而不會有任何間距。

Desc(String)

根據資料行的遞減順序傳回排序運算式。

DescNullsFirst(String)

根據資料行的遞減順序傳回排序運算式,並在非 Null 值之前傳回 Null 值。

DescNullsLast(String)

根據資料行的遞減順序傳回排序運算式,而 Null 值會出現在非 Null 值之後。

ElementAt(Column, Object)

如果資料行是陣列,則傳回中 value 指定索引處的陣列專案。 如果資料行是對應,則傳回中 value 指定索引鍵的值。

Encode(Column, String)

使用提供的字元集 (其中一個 'US-ASCII'、'ISO-8859-1'、'UTF-8'、'UTF-16BE'、'UTF-16LE'、'UTF-16LE'、'UTF-16') ,從字串計算第一個引數為二進位檔

Exp(Column)

計算指定值的指數。

Exp(String)

計算指定值的指數。

Explode(Column)

為指定陣列或對應資料行中的每個專案建立新的資料列。

ExplodeOuter(Column)

為指定陣列或對應資料行中的每個專案建立新的資料列。 不同于分解 () ,如果陣列/map 為 null 或空白,則會產生 null。

Expm1(Column)

計算指定值的指數減一。

Expm1(String)

計算指定值的指數減一。

Expr(String)

將運算式字串剖析為它所代表的資料行。

Factorial(Column)

計算指定值的乘積。

First(Column, Boolean)

傳回群組中資料行的第一個值。

First(String, Boolean)

傳回群組中資料行的第一個值。

Flatten(Column)

從陣列陣列建立單一陣列。 如果巢狀陣列的結構比兩個層級更深,則只會移除一個巢狀層級。

Floor(Column)

計算指定值的底板。

Floor(String)

計算指定值的底板。

FormatNumber(Column, Int32)

將指定的數值 column 格式化為格式,例如 '#,#,###.##',四捨五入為具有HALF_EVEN四捨五入模式的指定 d 小數位數,並以字串資料行形式傳回結果。

FormatString(String, Column[])

格式化 printf 樣式的引數,並以字串資料行傳回結果。

FromCsv(Column, Column, Dictionary<String,String>)

將包含 CSV 字串的資料行剖析成 StructType 具有指定架構的 。

FromCsv(Column, StructType, Dictionary<String,String>)

將包含 CSV 字串的資料行剖析成 StructType 具有指定架構的 。

FromJson(Column, Column, Dictionary<String,String>)

使用指定的架構,將包含 JSON 字串的資料 StructType 行剖析為 StructTypeArrayType 的 。

FromJson(Column, String, Dictionary<String,String>)

使用指定的架構,將包含 JSON 字串的資料 StructType 行剖析為 StructTypeArrayType 的 。

FromUnixTime(Column)

將 UNIX epoch (1970-01-01-01 00:00:00 UTC) 的秒數轉換為字串,代表目前系統時區中該時間的時間戳記,其預設格式為 「yyyy-MM-dd HH:mm:ss」。

FromUnixTime(Column, String)

將 UNIX epoch (1970-01-01-01 00:00:00 UTC) 的秒數轉換為字串,代表目前系統時區中具有指定格式的時間戳記。

FromUtcTimestamp(Column, Column)

假設有類似 '2017-07-14 02:40:00.0' 的時間戳記,請將它解譯為 UTC 的時間,並將該時間轉譯為指定時區中的時間戳記。 例如,'GMT+1' 會產生 '2017-07-14 03:40:00.0'。

FromUtcTimestamp(Column, String)

假設有類似 '2017-07-14 02:40:00.0' 的時間戳記,請將它解譯為 UTC 的時間,並將該時間轉譯為指定時區中的時間戳記。 例如,'GMT+1' 會產生 '2017-07-14 03:40:00.0'。

GetJsonObject(Column, String)

根據指定的路徑從 JSON 字串擷取 JSON 物件,並傳回所擷取 JSON 物件的 JSON 字串。

Greatest(Column[])

傳回值清單的最大值,略過 Null 值。

Greatest(String, String[])

傳回資料行名稱清單的最大值,略過 Null 值。

Grouping(Column)

指出是否匯總 GROUP BY 清單中的指定資料行,針對匯總傳回 1,或針對結果集中未匯總傳回 0。

Grouping(String)

指出是否匯總 GROUP BY 清單中的指定資料行,針對匯總傳回 1,或針對結果集中未匯總傳回 0。

GroupingId(Column[])

傳回群組中相異專案的數目。

GroupingId(String, String[])

傳回群組中相異專案的數目。

Hash(Column[])

計算指定資料行的雜湊碼,並以 int 資料行傳回結果。

Hex(Column)

計算指定資料行的十六進位值。

Hour(Column)

從指定的日期/時間戳記/字串擷取小時作為整數。

Hours(Column)

時間戳記將資料分割成小時數的轉換。

Hypot(Column, Column)

sqrt(a^2^ + b^2^)不含中繼溢位或下溢的計算。

Hypot(Column, Double)

sqrt(a^2^ + b^2^)不含中繼溢位或下溢的計算。

Hypot(Column, String)

sqrt(a^2^ + b^2^)不含中繼溢位或下溢的計算。

Hypot(Double, Column)

sqrt(a^2^ + b^2^)不含中繼溢位或下溢的計算。

Hypot(Double, String)

sqrt(a^2^ + b^2^)不含中繼溢位或下溢的計算。

Hypot(String, Column)

sqrt(a^2^ + b^2^)不含中繼溢位或下溢的計算。

Hypot(String, Double)

sqrt(a^2^ + b^2^)不含中繼溢位或下溢的計算。

Hypot(String, String)

sqrt(a^2^ + b^2^)不含中繼溢位或下溢的計算。

InitCap(Column)

將每個單字的第一個字母轉換成大寫,以傳回新的字串資料行。 單字是以空白字元分隔。

InputFileName()

為目前 Spark 工作的檔案名建立字串資料行。

Instr(Column, String)

找出指定子字串第一次出現的位置。

IsNaN(Column)

傳回 true 差異資料行為 NaN。

IsNull(Column)

傳回 true 差異,資料行為 null。

JsonTuple(Column, String[])

根據指定的功能變數名稱建立 JSON 資料行的新資料列。

Kurtosis(Column)

傳回群組中值的 kurt中。

Kurtosis(String)

傳回群組中值的 kurt中。

Lag(Column, Int32, Object)

Window 函式:傳回目前資料列之前 'offset' 資料列的值,如果目前資料列之前小於 'offset' 資料列,則傳回 null。 例如,其中一個的 'offset' 會傳回視窗分割中任何指定點的上一個資料列。

Lag(String, Int32, Object)

Window 函式:傳回目前資料列之前 'offset' 資料列的值,如果目前資料列之前小於 'offset' 資料列,則傳回 null。 例如,其中一個的 'offset' 會傳回視窗分割中任何指定點的上一個資料列。

Last(Column, Boolean)

傳回群組中資料行的最後一個值。

Last(String, Boolean)

傳回群組中資料行的最後一個值。

LastDay(Column)

傳回指定日期所屬月份的最後一天。

Lead(Column, Int32, Object)

Window 函式:傳回目前資料列之後'offset' 資料列的值,如果目前資料列之後小於 'offset' 資料列,則傳回 null。 例如,其中一個的 'offset' 會傳回視窗分割中任何指定點的下一個資料列。

Lead(String, Int32, Object)

Window 函式:傳回目前資料列之後'offset' 資料列的值,如果目前資料列之後小於 'offset' 資料列,則傳回 null。 例如,其中一個的 'offset' 會傳回視窗分割中任何指定點的下一個資料列。

Least(Column[])

傳回值清單的最小值,略過 Null 值。

Least(String, String[])

傳回值清單的最小值,略過 Null 值。

Length(Column)

計算指定字串的字元長度或二進位字串的位元組數目。

Levenshtein(Column, Column)

計算兩個指定字串資料行的 Levenshtein 距離。

Lit(Object)

建立常值的資料行。

Locate(String, Column)

找出指定子字串第一次出現的位置。

Locate(String, Column, Int32)

從指定位置位移開始,找出指定子字串第一次出現的位置。

Log(Column)

計算指定值的自然對數。

Log(Double, Column)

計算第二個引數的第一個引數基底對數。

Log(Double, String)

計算第二個引數的第一個引數基底對數。

Log(String)

計算指定值的自然對數。

Log10(Column)

計算基底 10 中指定值的對數。

Log10(String)

計算基底 10 中指定值的對數。

Log1p(Column)

計算指定值的自然對數加上一。

Log1p(String)

計算指定值的自然對數加上一。

Log2(Column)

計算基底 2 中指定資料行的對數。

Log2(String)

計算基底 2 中指定資料行的對數。

Lower(Column)

將字串資料行轉換成小寫。

Lpad(Column, Int32, String)

將字串資料行向左鍵,並填補指定的長度 len 。 如果字串資料行超過 len ,則傳回值會縮短為 len 字元。

Ltrim(Column)

修剪指定字串資料行左端的空格。

Ltrim(Column, String)

從指定字串資料行的左端修剪指定的字元字串。

Map(Column[])

建立新的地圖資料行。

MapConcat(Column[])

傳回所有指定對應的聯集。

MapEntries(Column)

傳回指定對應中所有專案的未排序陣列。

MapFromArrays(Column, Column)

建立新的地圖資料行。 第一個資料行中的陣列用於索引鍵。 第二個數據行中的陣列用於值。 索引鍵陣列中的所有元素不應為 null。

MapFromEntries(Column)

傳回從指定專案陣列建立的對應。

MapKeys(Column)

傳回未排序的陣列,其中包含地圖的索引鍵。

MapValues(Column)

傳回未排序的陣列,其中包含地圖的值。

Max(Column)

傳回群組中資料行的最大值。

Max(String)

傳回群組中資料行的最大值。

Md5(Column)

計算二進位資料行的 MD5 摘要,並以 32 個字元十六進位字串傳回值。

Mean(Column)

傳回群組中資料行的平均值。

Mean(String)

傳回群組中資料行的平均值。

Min(Column)

傳回群組中資料行的最小值。

Min(String)

傳回群組中資料行的最小值。

Minute(Column)

從指定的日期/時間戳記/字串擷取分鐘數作為整數。

MonotonicallyIncreasingId()

產生單調遞增 64 位整數的資料行運算式。

Month(Column)

從指定的日期/時間戳記/字串中,將月份擷取為整數。

Months(Column)

時間戳記和日期的轉換,可將資料分割成月。

MonthsBetween(Column, Column)

傳回日期 endstasrt 之間的月份數。

MonthsBetween(Column, Column, Boolean)

傳回日期 endstart 之間的月份數。 如果 roundOff 設定為 true,則結果會四捨五入為 8 位數,否則不會四捨五入。

NaNvl(Column, Column)

如果 col1 不是 NaN,則傳回 col1,如果 col1 為 NaN,則傳回 col2。

Negate(Column)

一元減號,也就是否定運算式。

NextDay(Column, String)

指定日期資料行時,會傳回第一個日期,其晚于星期幾指定日期資料行的值。

Not(Column)

布林運算式的反轉,也就是 NOT。

Ntile(Int32)

Window 函式:將 ntile 群組識別碼 (從 1 傳回到 n 已排序視窗分割中的內含) 。 例如,如果 n 為 4,則資料列的第一季會取得值 1、第二季會取得 2、第三季會取得 3,最後一季會取得 4。

Overlay(Column, Column, Column)

以 重迭的指定部分 srcreplace ,從 的 src 位元組位置 pos 開始。

Overlay(Column, Column, Column, Column)

將 的指定部分 srcreplace 迭為 ,從 的 src 位元組位置 pos 開始,並繼續進行 len 位元組。

PercentRank()

Window 函式:傳回相對順位 (,也就是視窗分割區內資料列的百分位數) 。

Pmod(Column, Column)

傳回除數除數的正值。

PosExplode(Column)

為具有指定陣列或對應資料行中位置的每個元素建立新的資料列。

PosExplodeOuter(Column)

為具有指定陣列或對應資料行中位置的每個元素建立新的資料列。 不同于 Posexplode () ,如果陣列/map 為 null 或空白,則會產生資料列 (null、null) 。

Pow(Column, Column)

傳回第一個引數的值,這個引數會引發為第二個引數的乘冪。

Pow(Column, Double)

傳回第一個引數的值,這個引數會引發為第二個引數的乘冪。

Pow(Column, String)

傳回第一個引數的值,這個引數會引發為第二個引數的乘冪。

Pow(Double, Column)

傳回第一個引數的值,這個引數會引發為第二個引數的乘冪。

Pow(Double, String)

傳回第一個引數的值,這個引數會引發為第二個引數的乘冪。

Pow(String, Column)

傳回第一個引數的值,這個引數會引發為第二個引數的乘冪。

Pow(String, Double)

傳回第一個引數的值,這個引數會引發為第二個引數的乘冪。

Pow(String, String)

傳回第一個引數的值,這個引數會引發為第二個引數的乘冪。

Quarter(Column)

從指定的日期/時間戳記/字串中,將季擷取為整數。

Radians(Column)

將以度為單位的角度轉換為以弧度測量的近似相等角度。

Radians(String)

將以度為單位的角度轉換為以弧度測量的近似相等角度。

Rand()

從 U[0.0, 1.0] 產生具有獨立且相同分佈 (i.d.) 樣本的亂數據行。

Rand(Int64)

從 U[0.0, 1.0] 產生具有獨立且相同分佈 (i.d.) 樣本的亂數據行。

Randn()

從標準常態分佈產生具有獨立且完全相同分佈 (i.d.) 樣本的亂數據行。

Randn(Int64)

從標準常態分佈產生具有獨立且完全相同分佈 (i.d.) 樣本的亂數據行。

Rank()

Window 函式:傳回視窗資料分割內資料列的排名。

RegexpExtract(Column, String, Int32)

從指定的字串資料行擷取與 JAVA RegEx 相符的特定群組。

RegexpReplace(Column, Column, Column)

以指定的取代字串取代模式的所有指定字串值子字串。

RegexpReplace(Column, String, String)

以指定的取代字串取代模式的所有指定字串值子字串。

Repeat(Column, Int32)

重複字串資料行 n 時間,並將它當做新的字串資料行傳回。

Reverse(Column)

反轉字串資料行,並將它當做新的字串資料行傳回。

Rint(Column)

傳回最接近引數值的雙精度浮點數,且等於數學整數。

Rint(String)

傳回最接近引數值的雙精度浮點數,且等於數學整數。

Round(Column)

傳回四捨五入為 0 個小數位數的值 column ,其HALF_UP四捨五入模式。

Round(Column, Int32)

傳回四捨五入為 scale 小數位數的值 column ,其HALF_UP四捨五入模式。

RowNumber()

Window 函式:傳回從視窗分割區內 1 開始的序號。

Rpad(Column, Int32, String)

以滑鼠右鍵按一下字串資料行,並將填補到指定的長度 len 。 如果字串資料行超過 len ,則傳回值會縮短為 len 字元。

Rtrim(Column)

修剪指定字串值的右端空格。

Rtrim(Column, String)

從指定字串資料行的右端修剪指定的字元字串。

SchemaOfCsv(Column)

剖析 CSV 字串,並以 DDL 格式推斷其架構。

SchemaOfCsv(Column, Dictionary<String,String>)

剖析 CSV 字串,並以 DDL 格式推斷其架構。

SchemaOfCsv(String)

剖析 CSV 字串,並以 DDL 格式推斷其架構。

SchemaOfJson(Column)

剖析 JSON 字串,並以 DDL 格式推斷其架構。

SchemaOfJson(Column, Dictionary<String,String>)

剖析 JSON 字串,並以 DDL 格式推斷其架構。

SchemaOfJson(String)

剖析 JSON 字串,並以 DDL 格式推斷其架構。

Second(Column)

從指定的日期/時間戳記/字串擷取秒數作為整數。

Sequence(Column, Column)

從開始到停止產生整數序列,如果 start 小於或等於 stop,則遞增 1,否則為 -1。

Sequence(Column, Column, Column)

產生從 startstop 的整數序列,以 遞增。 step

Sha1(Column)

計算二進位資料行的 SHA-1 摘要,並以 40 個字元十六進位字串傳回值。

Sha2(Column, Int32)

計算二進位資料行的 SHA-2 系列雜湊函式,並將值當做十六進位字串傳回。

ShiftLeft(Column, Int32)

將指定的值 numBits 向左移。

ShiftRight(Column, Int32)

(帶正負號) 將指定的值 numBits 向右移位。

ShiftRightUnsigned(Column, Int32)

不帶正負號將指定的值 numBits 向右移位。

Shuffle(Column)

傳回指定陣列的隨機排列。

Signum(Column)

計算指定值的符號。

Signum(String)

計算指定值的符號。

Sin(Column)

計算角度的正弦值,就像 由 計算一 java.lang.Math.sin 樣。

Sin(String)

計算角度的正弦值,就像 由 計算一 java.lang.Math.sin 樣。

Sinh(Column)

計算角度的雙曲正弦值,就像 由 計算一 java.lang.Math.sin 樣。

Sinh(String)

計算角度的雙曲正弦值,就像 由 計算一 java.lang.Math.sin 樣。

Size(Column)

傳回陣列或對應的長度。

Skewness(Column)

傳回群組中值的扭曲性。

Skewness(String)

傳回群組中值的扭曲性。

Slice(Column, Int32, Int32)

傳回陣列,其中包含索引 (中的所有 column 專案,如果 start 為負數) , length 則傳回 start 陣列。

SortArray(Column, Boolean)

以遞增 (預設) 或遞減順序排序指定資料行的輸入陣列,這是陣列元素的自然順序。

Soundex(Column)

傳回指定之運算式的 soundex 程式碼。

SparkPartitionId()

資料分割識別碼。

Split(Column, String)

使用正則運算式模式分割字串。

Split(Column, String, Int32)

將 str 四處分割為指定模式的相符專案。

Sqrt(Column)

計算指定浮點值的平方根。

Sqrt(String)

計算指定浮點值的平方根。

Stddev(Column)

StddevSamp () 的別名。

Stddev(String)

StddevSamp () 的別名。

StddevPop(Column)

傳回群組中運算式的母體標準差。

StddevPop(String)

傳回群組中運算式的母體標準差。

StddevSamp(Column)

傳回群組中運算式的範例標準差。

StddevSamp(String)

傳回群組中運算式的範例標準差。

Struct(Column[])

建立組成多個輸入資料行的新結構資料行。

Struct(String, String[])

建立組成多個輸入資料行的新結構資料行。

Substring(Column, Int32, Int32)

從指定長度的指定位置開始,傳回位元組陣列的子字串 (或配量) 。

SubstringIndex(Column, String, Int32)

傳回指定字串中的子字串,再 count 出現指定的分隔符號。

Sum(Column)

傳回運算式中所有值的總和。

Sum(String)

傳回運算式中所有值的總和。

SumDistinct(Column)

傳回運算式中相異值的總和。

SumDistinct(String)

傳回運算式中相異值的總和。

Tan(Column)

計算指定值的正切值,就像 由 java.lang.Math.tan 計算一樣。

Tan(String)

計算指定值的正切值,就像 由 java.lang.Math.tan 計算一樣。

Tanh(Column)

計算指定值的雙曲正切值,就像 由 java.lang.Math.tanh 計算一樣。

Tanh(String)

計算指定值的雙曲正切值,就像 由 java.lang.Math.tanh 計算一樣。

ToCsv(Column)

使用指定的架構,將包含 StructType 的資料行轉換成 CSV 字串。

ToCsv(Column, Dictionary<String,String>)

使用指定的架構,將包含 StructType 的資料行轉換成 CSV 字串。

ToDate(Column)

將資料行 DateType 轉換成 ,方法是將規則 DateType 轉換成 。

ToDate(Column, String)

將資料行轉換成 DateType 具有指定格式的 。

ToJson(Column, Dictionary<String,String>)

將包含 StructTypeArrayTypeMapTypeStructType 或 的資料 MapTypeArrayType 行轉換成 JSON 字串。

ToTimestamp(Column)

將規則 TimestampType 轉換成 ,以秒為單位,將時間字串轉換成 Unix 時間戳記) (。

ToTimestamp(Column, String)

使用指定的格式,將時間字串轉換成 Unix 時間戳記 (秒) 。

ToUtcTimestamp(Column, Column)

假設有 '2017-07-14 02:40:00.0' 的時間戳記,請將它解譯為指定時區的時間,並以 UTC 表示該時間。 例如,'GMT+1' 會產生 '2017-07-14 01:40:00.0'。

ToUtcTimestamp(Column, String)

假設有 '2017-07-14 02:40:00.0' 的時間戳記,請將它解譯為指定時區的時間,並以 UTC 表示該時間。 例如,'GMT+1' 會產生 '2017-07-14 01:40:00.0'。

Translate(Column, String, String)

依指定的 replaceString ,轉譯任何與資料行中指定 matchingString 相符的字元。

Trim(Column)

修剪指定字串資料行兩端的空格。

Trim(Column, String)

從指定字串資料行的兩端修剪指定的字元。

Trunc(Column, String)

傳回截斷為格式所指定單位的日期。

Udf(Func<Row>, StructType)

從指定的委派建立 UDF。

Udf<A1,RT>(Func<A1,RT>)

從指定的委派建立 UDF。

Udf<T>(Func<T,Row>, StructType)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5,T6,T7,T8,T9,T10,TResult>(Func<T1,T2,T3,T4,T5,T6,T7,T8,T9,T10,TResult>)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5,T6,T7,T8,T9,T10>(Func<T1,T2,T3,T4,T5,T6,T7,T8,T9,T10,Row>, StructType)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5,T6,T7,T8,T9,TResult>(Func<T1,T2,T3,T4,T5,T6,T7,T8,T9,TResult>)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5,T6,T7,T8,T9>(Func<T1,T2,T3,T4,T5,T6,T7,T8,T9,Row>, StructType)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5,T6,T7,T8,TResult>(Func<T1,T2,T3,T4,T5,T6,T7,T8,TResult>)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5,T6,T7,T8>(Func<T1,T2,T3,T4,T5,T6,T7,T8,Row>, StructType)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5,T6,T7,TResult>(Func<T1,T2,T3,T4,T5,T6,T7,TResult>)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5,T6,T7>(Func<T1,T2,T3,T4,T5,T6,T7,Row>, StructType)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5,T6,TResult>(Func<T1,T2,T3,T4,T5,T6,TResult>)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5,T6>(Func<T1,T2,T3,T4,T5,T6,Row>, StructType)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5,TResult>(Func<T1,T2,T3,T4,T5,TResult>)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,T5>(Func<T1,T2,T3,T4,T5,Row>, StructType)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4,TResult>(Func<T1,T2,T3,T4,TResult>)

從指定的委派建立 UDF。

Udf<T1,T2,T3,T4>(Func<T1,T2,T3,T4,Row>, StructType)

從指定的委派建立 UDF。

Udf<T1,T2,T3,TResult>(Func<T1,T2,T3,TResult>)

從指定的委派建立 UDF。

Udf<T1,T2,T3>(Func<T1,T2,T3,Row>, StructType)

從指定的委派建立 UDF。

Udf<T1,T2,TResult>(Func<T1,T2,TResult>)

從指定的委派建立 UDF。

Udf<T1,T2>(Func<T1,T2,Row>, StructType)

從指定的委派建立 UDF。

Udf<TResult>(Func<TResult>)

從指定的委派建立 UDF。

Unbase64(Column)

解碼 BASE64 編碼字串資料行,並將其傳回為二進位資料行。

UnboundedFollowing()

Window 函式:傳回代表視窗分割中最後一列的特殊框架界限。

UnboundedPreceding()

Window 函式:傳回代表視窗分割區中第一列的特殊框架界限。

Unhex(Column)

反十六進位。 將每一組字元解譯為十六進位數位,並轉換成數位的位元組表示。

UnixTimestamp()

以秒為單位傳回目前的 Unix 時間戳記 () 。

UnixTimestamp(Column)

使用預設時區和預設地區設定,將格式為 yyyy-MM-dd HH:mm:ss 的時間字串,以秒為單位 () (。

UnixTimestamp(Column, String)

將具有指定格式的時間字串轉換為 Unix 時間戳記, (秒) 。

Upper(Column)

將字串資料行轉換成大寫。

Variance(Column)

VarSamp () 的別名。

Variance(String)

VarSamp () 的別名。

VarPop(Column)

傳回群組中值的母體變異數。

VarPop(String)

傳回群組中值的母體變異數。

VarSamp(Column)

傳回群組中值的不偏差變異數。

VarSamp(String)

傳回群組中值的不偏差變異數。

WeekOfYear(Column)

從指定的日期/時間戳記/字串中擷取周數做為整數。

When(Column, Object)

評估條件,並傳回多個可能的結果運算式之一。 如果未在結尾定義,則會針對不相符的條件傳回 null。

Window(Column, String)

指定資料行的時間戳記,產生輪轉時間範圍。

Window(Column, String, String)

指定時間戳記資料行,將資料列貯體化成一或多個時間範圍。

Window(Column, String, String, String)

指定時間戳記資料行,將資料列貯體化成一或多個時間範圍。

XXHash64(Column[])

使用 xxHash 演算法的 64 位變異來計算指定資料行的雜湊碼,並將結果傳回為長資料行。

Year(Column)

從指定的日期/時間戳記/字串中擷取年份為整數。

Years(Column)

時間戳記和日期的轉換,可將資料分割成年份。

適用於