Azure Databricks-workloads identificeren
Azure Databricks biedt mogelijkheden voor verschillende workloads, waaronder Machine Learning- en Large Language Models (LLM), Datawetenschap, Data-engineer ing, BI en Databeheersysteem en Streaming Processing.
Datawetenschap en engineering
Deze workload is ontworpen voor gegevenswetenschappers en technici die moeten samenwerken aan complexe gegevensverwerkingstaken. Het biedt een geïntegreerde omgeving met Apache Spark voor verwerking van big data in een Data Lakehouse en ondersteunt meerdere talen, waaronder Python, R, Scala en SQL. Het platform vereenvoudigt het verkennen, visualiseren en ontwikkelen van gegevenspijplijnen.
Machine Learning
De Machine Learning-workload in Azure Databricks is geoptimaliseerd voor het bouwen, trainen en implementeren van machine learning-modellen op schaal. Het omvat MLflow, een opensource-platform voor het beheren van de ML-levenscyclus, waaronder experimenten, reproduceerbaarheid en implementatie. Het biedt ook ondersteuning voor verschillende ML-frameworks, zoals TensorFlow, PyTorch en Scikit-learn, waardoor het veelzijdig is voor verschillende ML-taken.
SQL
De SQL-workload is gericht op gegevensanalisten die voornamelijk communiceren met gegevens via SQL. Het biedt een vertrouwde SQL-editor, dashboards en hulpprogramma's voor automatische visualisatie om gegevens rechtstreeks in Azure Databricks te analyseren en te visualiseren. Deze workload is ideaal voor het uitvoeren van snelle ad-hocquery's en het maken van rapporten van grote gegevenssets.
