Příprava dat pro distribuované trénování

Tento článek popisuje metody přípravy dat pro distribuované trénování.

U velmi velkých datových sad, které se nevejdou do paměti, použijte přístupy ke streamování:

• PyTorch IterableDataset pro vlastní logiku streamování
• Datasety Hugging Face se streamováním pro datasety umístěné na Hubu nebo ve svazcích.
• Ray Data pro distribuované dávkové zpracování dat.

TFRecord

Jako zdroj dat pro distribuované hluboké učení můžete použít také formát TFRecord. Formát TFRecord je jednoduchý binární formát orientovaný na záznamy, který mnoho aplikací TensorFlow používá pro trénovací data.

tf.data.TFRecordDataset je datová sada TensorFlow, která se skládá ze záznamů ze souborů TFRecords. Pro více informací o tom, jak konzumovat data TFRecord, si přečtěte příručku Jak konzumovat data TFRecord v TensorFlow.

Následující články popisují a ilustrují doporučené způsoby uložení dat do souborů TFRecord a načtení souborů TFRecord:

• Uložení datových rámců Apache Sparku jako souborů TFRecord