get (Наблюдение)

Возвращает наблюдаемые метрики.

Ожидает, пока наблюдаемый набор данных завершит свое первое действие. Доступен только результат первого действия. Последующие действия не изменяют результат.

Синтаксис

get

Возвраты

dict

Примеры

from pyspark.sql.functions import col, count, lit, max
from pyspark.sql import Observation

df = spark.createDataFrame([["Alice", 2], ["Bob", 5]], ["name", "age"])
observation = Observation("my metrics")
observed_df = df.observe(observation, count(lit(1)).alias("count"), max(col("age")))
observed_df.count()
# 2
observation.get
# {'count': 2, 'max(age)': 5}