Gözlemle -mek

DataFrame'de gözlemlenen (adlandırılmış) ölçümleri tanımlayın. Bu yöntem, girişle aynı sonucu döndüren bir 'gözlemlenen' DataFrame döndürür ve aşağıdaki garantileri sağlar: Bu noktada Veri Kümesi üzerinden akan tüm verilerde tanımlı toplamları (ölçümler) hesaplar. Tamamlanma noktasına ulaştığımızda tanımlı toplama sütunlarının değerini bildirir.

Sözdizimi

observe(observation: Union["Observation", str], *exprs: Column)

Parametreler

Parametre	Türü	Açıklama
observation	Gözlem veya str	ströğesini seçin.Observation
exprs	Köşe yazısı	sütun ifadeleri (Sütun).

İadeler

DataFrame: gözlemlenen DataFrame.

Notlar

olduğunda observationObservation, bu yöntem yalnızca toplu sorgular destekler. Bir dize olduğunda observation , bu yöntem hem toplu hem de akış sorguları için çalışır. Sürekli yürütme şu anda desteklenmiyor.

Örnekler

from pyspark.sql import Observation, functions as sf
df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
observation = Observation("my metrics")
observed_df = df.observe(observation,
    sf.count(sf.lit(1)).alias("count"), sf.max("age"))
observed_df.count()
# 2
observation.get
# {'count': 2, 'max(age)': 5}