latestOffset

Okuma sınırı verilip kullanılabilir en son uzaklığı döndürür.

Uzaklık start , sınır göz önüne alındığında ne kadar yeni veri okunması gerektiğini belirlemek için kullanılabilir. İlk mikrobatch için dönüş start değerinden initialOffset()sağlanır. Sonraki mikrobatlar için son mikrobatch'ten devam eder. İşlenmek üzere veri yoksa kaynak, başlangıç uzaklığıyla aynı uzaklığı döndürebilir.

ReadLimit döndürülen veri miktarını sınırlamak için kaynak tarafından kullanılabilir. Kaynak, verileri kaynak seçeneklerine göre sınırlayabilirse uygun getDefaultReadLimit() şekilde sağlamak için uygulayınReadLimit.

Kaynak ile latestOffset()farklı bir okuma sınırı oluştursa bile altyapı ile ReadAllAvailable çağrı getDefaultReadLimit() yapabilir. Kaynak her zaman altyapı tarafından sağlanana ReadLimit saygı duymalıdır.

Databricks Runtime 15.2'ye eklendi

Sözdizimi

latestOffset(start: dict, limit: ReadLimit)

Parametreler

Parametre	Türü	Açıklama
start	Dict	Okumaya devam etmek için mikrobatch'in başlangıç uzaklığı.
limit	ReadLimit	Bu çağrı tarafından döndürülecek veri miktarı sınırı.

İadeler

dict

Anahtarı ve değeri Tamsayı, Dize ve Boole içeren ilkel türler olan bir dikte veya özyinelemeli dikte.

Örnekler

from pyspark.sql.streaming.datasource import ReadAllAvailable, ReadMaxRows

def latestOffset(self, start, limit):
    # Assume the source has 10 new records between start and latest offset
    if isinstance(limit, ReadAllAvailable):
        return {"index": start["index"] + 10}
    else:  # e.g., limit is ReadMaxRows(5)
        return {"index": start["index"] + min(10, limit.maxRows)}