Mély tanulás
Ez a cikk röviden bemutatja a PyTorch, a Tensorflow és az elosztott betanítás használatát az Azure Databricks mélytanulási modelljeinek fejlesztéséhez és finomhangolásához. Olyan oldalakra mutató hivatkozásokat is tartalmaz, amelyek példajegyzetfüzetekkel szemléltetik az eszközök használatát.
- Az Azure Databricks mélytanulási munkafolyamatainak optimalizálásával kapcsolatos általános irányelvekért tekintse meg az Azure Databricks mély tanulásának ajánlott eljárásait.
- A nagy nyelvi modellek és a generatív AI Azure Databricksen való használatával kapcsolatos információkért lásd:
PyTorch
A PyTorch része a Databricks Runtime ML-nek, és GPU-gyorsított tenzoros számítást és magas szintű funkciókat biztosít a mélytanulási hálózatok létrehozásához. Egycsomópontos betanítást vagy elosztott betanítást végezhet a PyTorch on Databricks használatával. Lásd: PyTorch.
TensorFlow
A Databricks Runtime ML tartalmazza a TensorFlow-t és a TensorBoardot, így ezeket a kódtárakat csomagok telepítése nélkül is használhatja. A TensorFlow támogatja a processzorok, GPU-k és GPU-fürtök mélytanulási és általános numerikus számításait. A TensorBoard vizualizációs eszközöket biztosít a gépi tanulási és mélytanulási munkafolyamatok hibakereséséhez és optimalizálásához. Az egycsomópontos és elosztott betanítási példákat a TensorFlowban találhatja meg.
Elosztott betanítás
Mivel a mélytanulási modellek adat- és számításigényesek, fontos lehet az elosztott betanítás. Például a Horovod, spark-tensorflow-distributora TorchDistributor és a DeepSpeed integrációját használó elosztott mély tanulásra lásd az elosztott képzést.
Mélytanulási modell fejlesztésének nyomon követése
A nyomon követés továbbra is az MLflow-ökoszisztéma sarokköve, és különösen létfontosságú a mély tanulás iteratív jellegéhez. A Databricks MLflow használatával követi nyomon a mélytanulási betanítási futtatásokat és a modellfejlesztést. Lásd: Modellfejlesztés követése MLflow használatával.