Referenční informace k PySpark

Tato stránka obsahuje přehled referenčních informací dostupných pro PySpark, Python API pro Spark. Další informace o PySpark naleznete v tématu PySpark na Azure Databricks.

Datové typy

Úplný seznam datových typů PySpark najdete v tématu Datové typy PySpark.

Vyučování

Datové rámce

Odkazy	Description
sloupce	Operace pro práci se sloupci datového rámce, včetně transformací a výrazů
DataFrame	Distribuovaná kolekce dat uspořádaných do pojmenovaných sloupců, podobně jako tabulka v relační databázi.
DataFrameNaFunctions	Funkce pro práci s chybějícími daty v datovém rámci
DataFrameReader	Rozhraní používané k načtení datového rámce z externích úložných systémů
DataFrameStatFunctions	Funkce pro statistické funkce s datovým rámcem
DataFrameWriter	Rozhraní používané k zápisu datového rámce do externích úložných systémů.
DataFrameWriterV2	Rozhraní používané k zápisu datového rámce do externího úložiště (verze 2).
GroupedData	Metody seskupení dat a provádění agregačních operací u seskupených datových rámců
Veslovat	Představuje řádek dat v datovém rámci, který poskytuje přístup k hodnotám jednotlivých polí.

Vlastní zdroje dat

Odkazy	Description
DataSource	Rozhraní API pro implementaci vlastních zdrojů dat pro čtení z externích systémů Informace o vlastních zdrojích dat najdete v tématu Vlastní zdroje dat PySpark.
DataSourceArrowWriter	Základní třída pro zapisovače zdrojů dat, které zpracovávají data pomocí PyArrow's RecordBatch.
DataSourceRegistration	Obálka pro registraci zdroje dat.
DataSourceReader	Základní třída pro čtenáře zdrojů dat.
DataSourceStreamArrowWriter	Základní třída pro zapisovače datových proudů, které zpracovávají data pomocí PyArrow's RecordBatch.
DataSourceStreamReader	Základní třída pro čtečky streamovaných zdrojů dat.
DataSourceStreamWriter	Základní třída pro zapisovače datových proudů.
DataSourceWriter	Základní třída pro zapisovače zdrojů dat zodpovědná za ukládání dat do vlastního zdroje dat v dávkovém režimu.
InputPartition	Základní třída představující vstupní oddíl vrácený metodou partitions()DataSourceReader.
SimpleDataSourceStreamReader	Základní třída pro zjednodušenou čtečku streamovaných zdrojů dat, která čte data a plánuje nejnovější posun současně.
WriterCommitMessage	Zpráva potvrzení vrácená ovladačem DataSourceWriter.write a odeslána zpět jako vstupní parametr DataSourceWriter.commit nebo DataSourceWriter.abort.

Strukturované streamování

Odkazy	Description
DataStreamReader	Rozhraní používané k načtení streamovaného datového rámce z externích úložných systémů
DataStreamWriter	Rozhraní používané k zápisu streamovaného datového rámce do externích úložných systémů
Stavový procesor	Spravuje stav napříč dávkami streamování pro složité stavové operace ve strukturovaném streamování.
StreamingQuery	Popisovač dotazu, který se spouští nepřetržitě na pozadí při příchodu nových dat.
StreamingQueryListener	Abstraktní třída pro naslouchání událostem životního cyklu dotazů streamování
StreamingQueryManager	Spravuje všechny aktivní StreamingQuery instance přidružené k .SparkSession

Uživatelem definované funkce

Odkazy	Description
UserDefinedFunction (UDF)	Uživatelem definované funkce pro použití vlastní logiky Python na sloupce datového rámce
UDFRegistration	Obálka pro registraci uživatelem definované funkce K této instanci má přístup spark.udf.
UserDefinedTableFunction (UDTF)	Funkce tabulkové definované uživatelem, které vracejí více řádků na každý vstupní řádek.
UDTFRegistration	Obálka pro registraci uživatelem definovaných funkcí tabulky K této instanci má přístup spark.udtf.

Další základní třídy

Odkazy	Description
Katalog	Rozhraní pro správu databází, tabulek, funkcí a dalších metadat katalogu
Zeměpis	Třída představující zeměpisnou hodnotu v Python.
geometrie	Třída představující hodnotu geometrie v Python.
Pozorování	Shromažďuje metriky a sleduje datové rámce během provádění dotazů za účelem monitorování a ladění.
PlotAccessor	Přistupující objekt pro funkci vykreslování datového rámce v PySparku
ProtoBuf	Podpora serializace a deserializace dat pomocí formátu Protocol Buffers.
RuntimeConfig	Možnosti konfigurace modulu runtime pro Spark SQL, včetně nastavení spouštění a optimalizace Informace o konfiguraci, která je k dispozici pouze v Databricks, najdete v tématu Naset vlastnosti konfigurace Sparku v Azure Databricks.
sparksession	Vstupní bod pro čtení dat a spouštění dotazů SQL v aplikacích PySpark.
VariantVal	Představuje částečně strukturovaná data s flexibilním schématem, která podporuje dynamické typy a vnořené struktury.
Okno	Funkce okna pro provádění výpočtů v sadě řádků tabulky souvisejících s aktuálním řádkem
WindowSpec	Funkce okna pro provádění výpočtů v sadě řádků tabulky souvisejících s aktuálním řádkem

Functions

Úplný seznam dostupných předdefinovaných funkcí najdete v tématu Funkce PySpark.