DataStreamReader 类

定义

命名空间:

Microsoft.Spark.Sql.Streaming

程序集:

Microsoft.Spark.dll

包:

Microsoft.Spark v1.0.0

DataStreamReader 提供从外部存储系统加载流式处理 DataFrame 的功能 (例如文件系统、键值存储等) 。

public sealed class DataStreamReader

type DataStreamReader = class

Public NotInheritable Class DataStreamReader

继承

Object

DataStreamReader

方法

Csv(String)	加载 CSV 文件流，并将结果作为 DataFrame返回。
Format(String)	指定输入数据源格式。
Json(String)	加载 JSON 文件流，并将结果作为 DataFrame返回。
Load()	对于不需要路径 (（例如外部键值存储) ）的数据流，将输入数据流作为 DataFrame加载到 中。
Load(String)	对于从某个路径读取的数据流，将输入作为 DataFrame加载到 中。
Option(String, Boolean)	添加基础数据源的输入选项。
Option(String, Double)	添加基础数据源的输入选项。
Option(String, Int64)	添加基础数据源的输入选项。
Option(String, String)	添加基础数据源的输入选项。
Options(Dictionary<String,String>)	添加基础数据源的输入选项。
Orc(String)	加载 ORC 文件流，并将结果作为 DataFrame返回。
Parquet(String)	加载 Parquet 文件流，并将结果作为 DataFrame返回。
Schema(String)	使用给定的 DDL 格式字符串指定架构。
Schema(StructType)	使用 StructType指定架构。
Text(String)	加载文本文件并返回 ， DataFrame 其架构以名为“value”的字符串列开头，后跟分区列（如果有）。