DataFrame クラス
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
名前付き列に編成されたデータの分散コレクション。
public sealed class DataFrametype DataFrame = classPublic NotInheritable Class DataFrame- 継承
-
DataFrame
プロパティ
| 名前 | 説明 |
|---|---|
| Item[String] |
列名に基づいて列を選択します。 |
メソッド
| 名前 | 説明 |
|---|---|
| Agg(Column, Column[]) |
グループを含まない |
| Alias(String) |
エイリアス が設定された新しい |
| As(String) |
エイリアス が設定された新しい |
| Cache() |
この DataFrame は、既定のストレージ レベルのMEMORY_AND_DISKで保持します。 |
| Checkpoint(Boolean) |
この |
| Coalesce(Int32) |
要求されるパーティションの数が少ない場合に、正確に |
| Col(String) |
列名に基づいて列を選択します。 |
| Collect() |
この |
| ColRegex(String) |
正規表現として指定された列名に基づいて列を選択します。 |
| Columns() |
すべての列名を返します。 |
| Count() |
|
| CreateGlobalTempView(String) |
指定した名前を使用してグローバル一時ビューを作成します。 この一時ビューの有効期間は、この Spark アプリケーションに関連付けられています。 |
| CreateOrReplaceGlobalTempView(String) |
指定した名前を使用してグローバル一時ビューを作成または置換します。 この一時ビューの有効期間は、この Spark アプリケーションに関連付けられています。 |
| CreateOrReplaceTempView(String) |
指定した名前を使用して、ローカルの一時ビューを作成または置換します。 この一時ビューの有効期間は、この |
| CreateTempView(String) |
指定した名前を使用してローカルの一時ビューを作成します。 この一時ビューの有効期間は、この |
| CrossJoin(DataFrame) |
別の |
| Cube(Column[]) |
指定した列を使用して、現在の |
| Cube(String, String[]) |
指定した列を使用して、現在の |
| Describe(String[]) |
count、mean、stddev、min、max など、数値列と文字列列の基本統計を計算します。列が指定されていない場合、この関数はすべての数値列または文字列列の統計を計算します。 |
| Distinct() |
この |
| Drop(Column) |
列が削除された新しい |
| Drop(String[]) |
列が削除された新しい |
| DropDuplicates() |
この |
| DropDuplicates(String, String[]) |
列のサブセットのみを考慮して、重複する行が削除された新しい |
| DTypes() |
すべての列名とそのデータ型をタプルの IEnumerable として返します。 |
| Except(DataFrame) |
この |
| ExceptAll(DataFrame) |
この |
| Explain(Boolean) |
デバッグ目的でプラン (論理および物理) をコンソールに出力します。 |
| Explain(String) |
指定された explain モードで指定された形式でプラン (論理および物理) を出力します。 |
| Filter(Column) |
指定された条件を使用して行をフィルター処理します。 |
| Filter(String) |
指定された SQL 式を使用して行をフィルター処理します。 |
| First() |
最初の行を返します。 Alis for Head(). |
| GroupBy(Column[]) |
指定した列を使用して DataFrame をグループ化し、それらに対して集計を実行できるようにします。 |
| GroupBy(String, String[]) |
指定した列を使用して DataFrame をグループ化します。 |
| Head() |
最初の行を返します。 |
| Head(Int32) |
最初の |
| Hint(String, Object[]) |
現在の |
| Intersect(DataFrame) |
この |
| IntersectAll(DataFrame) |
重複を保持しながら、この |
| IsEmpty() |
この DataFrame が空の場合は true を返します。 |
| IsLocal() |
Collect() メソッドと Take() メソッドを Spark Executor なしでローカルで実行できる場合は true を返します。 |
| IsStreaming() |
この |
| Join(DataFrame, Column, String) |
指定された結合式を使用して、別の |
| Join(DataFrame, IEnumerable<String>, String) |
指定された列を使用して、別の |
| Join(DataFrame, String) |
指定された列を使用する別の |
| Join(DataFrame) |
別の |
| Limit(Int32) |
最初の |
| LocalCheckpoint(Boolean) |
この |
| Na() |
不足しているデータを操作するための |
| Observe(String, Column, Column[]) |
データセットで観察する (名前付き) メトリックを定義します。 このメソッドは、入力と同じ結果を返す 'observed' DataFrame を返します。次の保証があります。
現在、継続的な実行はサポートされていないことに注意してください。 |
| OrderBy(Column[]) |
指定された式で並べ替えられた新しいデータセットを返します。 |
| OrderBy(String, String[]) |
指定された式で並べ替えられた新しいデータセットを返します。 |
| Persist() |
この DataFrame は、既定のストレージ レベルのMEMORY_AND_DISKで保持します。 |
| Persist(StorageLevel) |
この DataFrame は、指定されたストレージ レベルで保持します。 |
| PrintSchema() |
スキーマをコンソールに優しいツリー形式で出力します。 |
| PrintSchema(Int32) |
指定されたレベルまでのスキーマを、優れたツリー形式でコンソールに出力します。 |
| RandomSplit(Double[], Nullable<Int64>) |
この |
| Repartition(Column[]) |
パーティションの数として |
| Repartition(Int32, Column[]) |
指定されたパーティション分割式によってパーティション分割された新しい |
| Repartition(Int32) |
パーティションが正確に |
| RepartitionByRange(Column[]) |
パーティションの数として |
| RepartitionByRange(Int32, Column[]) |
指定されたパーティション分割式によってパーティション分割された新しい |
| Rollup(Column[]) |
指定した列を使用して、現在の |
| Rollup(String, String[]) |
指定した列を使用して、現在の |
| Sample(Double, Boolean, Nullable<Int64>) |
ユーザー指定のシードを使用して、(置換せずに) 行の一部をサンプリングして、新しい |
| Schema() |
この |
| Select(Column[]) |
列ベースの式のセットを選択します。 |
| Select(String, String[]) |
列のセットを選択します。 これは Select() のバリアントで、列名を使用して既存の列のみを選択できます (つまり、式を作成することはできません)。 |
| SelectExpr(String[]) |
SQL 式のセットを選択します。 これは、SQL 式を受け入れる Select() のバリアントです。 |
| Show(Int32, Int32, Boolean) |
|
| Sort(Column[]) |
指定した式で並べ替えられた新しい |
| Sort(String, String[]) |
指定した列で並べ替えられた新しい |
| SortWithinPartitions(Column[]) |
各パーティションが指定された式で並べ替えられた新しい |
| SortWithinPartitions(String, String[]) |
各パーティションが指定された式で並べ替えられた新しい |
| Stat() |
動作する統計関数のサポートに関する |
| StorageLevel() |
DataFrameの現在のStorageLevel()を取得します。 |
| Summary(String[]) |
数値列と文字列列の指定された統計を計算します。 |
| Tail(Int32) |
|
| Take(Int32) |
|
| ToDF() |
この厳密に型指定されたデータのコレクションをジェネリック |
| ToDF(String[]) |
この厳密に型指定されたデータのコレクションを、列の名前が変更された汎用 |
| ToJSON() |
JSON 文字列の DataFrame として DataFrame の内容を返します。 |
| ToLocalIterator() |
この |
| ToLocalIterator(Boolean) |
この |
| Transform(Func<DataFrame,DataFrame>) |
カスタム変換を連結するための簡潔な構文。 |
| Union(DataFrame) |
この |
| UnionByName(DataFrame) |
この |
| Unpersist(Boolean) |
データセットを非永続的としてマークし、そのデータセットのすべてのブロックをメモリとディスクから削除します。 |
| Where(Column) |
指定された条件を使用して行をフィルター処理します。 これは Filter() のエイリアスです。 |
| Where(String) |
指定された SQL 式を使用して行をフィルター処理します。 これは Filter() のエイリアスです。 |
| WithColumn(String, Column) |
列を追加するか、同じ名前の既存の列を置き換えることで、新しい |
| WithColumnRenamed(String, String) |
列の名前が変更された新しいデータセットを返します。
スキーマに |
| WithWatermark(String, String) |
この DataFrame のイベント時間基準値を定義します。 ウォーターマークは、それ以上遅延データが到着しないと仮定する前の時点を追跡します。 |
| Write() |
非ストリーミング データセットのコンテンツを外部ストレージに保存するためのインターフェイス。 |
| WriteStream() |
ストリーミング データセットのコンテンツを外部ストレージに保存するためのインターフェイス。 |
| WriteTo(String) |
v2 ソース用の書き込み構成ビルダーを作成します。 |