AI- en ML-modellen trainen

Azure Databricks biedt flexibele rekenoplossingen die zijn afgestemd op verschillende machine learning-behoeften, variërend van beheerde clusterruntimes tot volledig serverloze GPU-omgevingen.

Compute	Beschrijving
Serverloze GPU-rekenkracht	Serverloze GPU-rekenomgeving geoptimaliseerd voor aangepaste deep learning-workloads met één knooppunt en meerdere knooppunten.
Databricks Runtime voor Machine Learning	Klassieke rekenomgeving met vooraf gebouwde bibliotheken voor klassieke machine learning- en Deep Learning-workloads.

Serverloze GPU-rekenkracht (bèta)

Belangrijk

Deze functie bevindt zich in de bètaversie. Werkruimtebeheerders kunnen de toegang tot deze functie beheren vanaf de pagina Previews . Zie Azure Databricks-previews beheren.

Serverloze GPU-rekenkracht is een speciaal aanbod binnen het serverloze Databricks-ecosysteem. Het is geoptimaliseerd voor aangepaste deep learning-workloads met één knooppunt en meerdere knooppunten, zoals het verfijnen van LLM's of het trainen van Computer Vision-modellen.

Belangrijke functies omvatten onder meer:

• Directe beschikbaarheid: hiermee verwijdert u de noodzaak om de onderliggende clusterinfrastructuur te beheren, zodat u een notebook rechtstreeks kunt verbinden met serverloze GPU-resources.
• Krachtige hardware: biedt toegang tot A10 GPU's voor rendabele taken.
• Beheerde omgevingen: biedt een standaardbasisomgeving voor volledige aanpassing of een AI-omgeving die vooraf is geladen met algemene ML-pakketten, zoals Transformers en Ray.
• Flexibel schalen: ondersteunt gedistribueerde training over meerdere GPU's en knooppunten.

Databricks Runtime voor Machine Learning

Databricks Runtime voor Machine Learning is een gespecialiseerde runtime waarmee het maken van rekenresources met vooraf gebouwde infrastructuur wordt geautomatiseerd. Het is ontworpen voor gebruikers die een uitgebreide, kant-en-klare omgeving willen voor zowel klassieke machine learning als deep learning.

Belangrijke functies omvatten onder meer:

• Vooraf geïnstalleerde bibliotheken: bevat populaire bibliotheken zoals PyTorch, TensorFlow en XGBoost, die regelmatig updates en geoptimaliseerde ondersteuning ontvangen.
• Veelzijdigheid van rekenkracht: ondersteunt zowel CPU- als GPU-exemplaren, waaronder AWS Graviton voor verbeterde prijs-naar-prestaties.
• Optimalisatie: biedt integratie met Photon om Spark SQL, DataFrames en functie-engineeringtaken te versnellen.
• Toegangsbeheer: hiervoor is een speciale toegangsmodus vereist voor beveiligde gegevenstoegang via Unity Catalog.