Azure Databricks data science- en ML-mogelijkheden

Azure Databricks heeft een geïntegreerd platform voor de volledige levenscyclus van data science (DS) en machine learning (ML), van onbewerkte gegevensopname via functie-engineering, modeltraining, implementatie en productiebewaking. Azure Databricks integreert met populaire open-source ML-frameworks en voegt governance op ondernemingsniveau, observatiemogelijkheden en operationele tools toe, samen bekend als MLOps.

Op deze pagina vindt u de belangrijkste DS- en ML-mogelijkheden, ingedeeld op werkstroomfase.

Verkennende gegevensanalyse

Azure Databricks vereenvoudigt experimentele gegevensanalyse (EDA) door interactieve, gezamenlijke en AI-ondersteunde hulpprogramma's te bieden voor gegevenswetenschappers. Gegevenswetenschappers kunnen gegevens verkennen met behulp van chat in natuurlijke taal, UIs of code, en ze kunnen samenwerken met co-bewerking in realtime en op Git gebaseerde code delen. Genie Code kan volledig geautomatiseerde EDA uitvoeren of fungeren als een interactieve assistent.

Category	Features
Gebruikersinterface	Notebooks bieden samenwerkingsruimten voor verkenning, visualisatie en documentatie voor EDA. Dashboards bieden EDA op basis van SQL en visualisaties. Genie Chat heeft een interface voor natuurlijke taal voor het stellen van vragen over gegevens.
Collaboration	Notebooks, dashboards en andere werkruimteactiva kunnen allemaal worden gedeeld en worden beheerd door werkruimtemachtigingen. Zie bijvoorbeeld Samenwerken met Databricks-notebooks. Met notebooks en Git-mappen kunt u versiebeheer en samenwerking op basis van Git toestaan.
AI-assistenten	Genie Code kan volledig geautomatiseerde EDA uitvoeren of fungeren als een interactieve assistent. Agentvaardigheden voor AI-coderingsassistenten verbeteren de prestaties van assistenten van derden die code schrijven voor Azure Databricks.

Functies voorbereiden en aanbieden

Azure Databricks vereenvoudigt gegevens voor ML door governance van gegevens en ML-workloads te combineren. Met alle gegevens die worden beheerd onder Unity Catalog met verfijnde toegangsbeheer, kunt u de grenzen van data engineering en ML aanpassen aan uw organisatie. Gegevens kunnen worden voorbereid voor ML met behulp van hulpprogramma's voor data engineering , zoals Lakeflow-pijplijnen. Functies worden beheerd in een Feature Store voor zowel batch- als realtime-service, met één beheerde bron van waarheid voor functies.

Genie Code versnelt de detectie en voorbereiding van gegevens door door Unity Catalog te bladeren om relevante tabellen te detecteren, functietransformaties voor te stellen en code te genereren voor opname en functiepijplijnen.

Functietype	Features
Batch-functies	Kenmerktabellen in Unity Catalog slaan vooraf berekende batchkenmerken op met automatische gegevensafstamming en governance. Teams ontdekken en hergebruiken bestaande functies in plaats van pijplijnen helemaal opnieuw te bouwen. Functieweergaven bieden een nieuwe API voor het definiëren van functies die vervolgens kunnen worden gebruikt voor batch- of realtime-functieberekening.
Realtime functies	Voor vooraf berekende kenmerken leveren online feature stores featuretabellen voor use cases voor realtime modelserving. Wanneer invoer voor feature-engineering alleen beschikbaar is bij het uitvoeren, biedt feature-serving on-demand featureberekening als aanvulling op featuretabellen. Functionaliteiten worden gedefinieerd als functies, in plaats van vooraf berekend. Functieweergaven bieden een nieuwe API voor het definiëren van functies die vervolgens kunnen worden gebruikt voor batch- of realtime-functieberekening.
Ongestructureerde gegevens	MET AI Search kunt u ongestructureerde gegevens leveren en semantische zoekopdrachten uitvoeren.

ML-modellen trainen

Azure Databricks beschikt over flexibele hulpprogramma's voor het trainen van ML- en Deep Learning-modellen. Met vooraf geconfigureerde en aanpasbare omgevingen kunt u aangepaste ML-bibliotheken gebruiken, en serverloze CPU- en GPU-versnelde rekenresources kunt u omhoog schalen en uitschalen op aanvraag. Genie Code biedt intelligente AutoML door verzoeken in natuurlijke taal te verwerken en volledige workflows met meerdere notebooks op te bouwen voor feature-engineering, training, afstelling, evaluatie en uitrol.

Category	Features
Typen van ML	Azure Databricks ondersteunt alle soorten ML, waaronder: Klassieke ML: Leren onder supervisie en zonder supervisie met scikit-learn, XGBoost, LightGBM, Apache Spark MLlib en andere ML-frameworks Deep learning: Neurale netwerktraining met PyTorch, TensorFlow en Hugging Face Transformers, inclusief gedistribueerde training over meerdere GPU's Hyperparameterafstemming: Geautomatiseerd zoeken in algoritmes en hyperparameterruimten met behulp van hulpprogramma's zoals Optuna en Ray Zie Azure Databricks generatieve AI-mogelijkheden voor generatieve AI.
Compute	Serverloze berekeningen worden direct gestart voor interactieve notebooks en geplande werkstromen, met automatisch schalen en geen clusterbeheer. Het ondersteunt zowel CPU- als GPU-versnelde clusters. Klassieke rekenkracht heeft beheer van één machine en cluster, voor zowel CPU- als GPU-workloads.
Omgevingen en bibliotheken	Serverloze rekenomgevingen bieden basisomgevingen die volledig kunnen worden aangepast voor ML. Voor serverloze GPU-berekeningen biedt de AI Runtime omgevingen die vooraf zijn geconfigureerd voor training en deductie op basis van GPU. Voor klassieke berekeningen biedt De Databricks Runtime voor Machine Learning vooraf geconfigureerde clusteromgevingen met vooraf geïnstalleerde en geteste primaire ML-bibliotheken, voor zowel CPU- als GPU-versnelde clusters.
AI-coderingsassistenten	Genie Code kan Unity Catalog-gegevens detecteren, ML-notebooks genereren en problemen met pijplijnen oplossen. Agentvaardigheden voor AI-coderingsassistenten verbeteren de prestaties van assistenten van derden die code schrijven voor Azure Databricks.

Experimenten bijhouden en beheren

Azure Databricks beheerde MLflow biedt de basis voor reproduceerbare, controleerbare ML-ontwikkeling. De integraties met Unity Catalog en Git bieden tracering en herkomst voor gegevens- en codeassets. Elke modelversie in het register koppelt terug aan de trainingsuitvoering, de gegevensset, de omgeving en git-doorvoer die deze heeft geproduceerd, en biedt een volledig audittrail voor elk geïmplementeerd model.

Category	Features
Het volgen van experimenten	MLflow-tracking registreert parameters, metrieken en artefacten voor elke trainingsrun. Vergelijk uitvoeringen in de MLflow-gebruikersinterface om de best presterende configuratie te identificeren.
Register voor modellen	Modellen in Unity Catalog bieden een MLflow-modelregister dat is geïntegreerd met Unity Catalog. Modelartefacten met versiebeheer vallen onder beheer van levenscyclusaliassen (Staging, Production), toegangsbeheer, afstammingsinformatie en delen tussen werkruimtes.
Reproduceerbaarheid	Notebooks en code kunnen van versiebeheer worden voorzien met Databricks Git-folders en worden geïntegreerd met een willekeurige Git-provider.

Modellen implementeren en bedienen

Azure Databricks ondersteunt zowel batchinferentie als realtime aanbieden. Batchinferentie past modellen efficiënt toe op grote datasets, terwijl realtime-serving modellen aanbiedt als API-eindpunten met lage latentie. Genie Code kan code genereren voor modelimplementatie en problemen en prestaties diagnosticeren voor het leveren van eindpunten voor modellen.

Serveerpatroon	Features
Batchinferentie	ai_query biedt efficiënte batchinferentie voor aangepaste modellen die zijn uitgerold als Model Serving-eindpunten. U kunt ook aangepaste code gebruiken met Apache Spark UDF's (bijvoorbeeld) of mlflow.pyfunc voor batchdeductie.
Realtime serveren	Model serving biedt beheerde REST-eindpunten met lage latentie en hoge uptime met serverloze automatische schaalaanpassing. Dit biedt ondersteuning voor CPU- en GPU-server voor elk ML-framework en u kunt Genie gebruiken voor het beoordelen en oplossen van problemen met eindpunten.
SQL-native inferentie	AI-functies bieden SQL-toegankelijke ML-voorspellingen voor prognose, anomaliedetectie en stuurprogrammaanalyse, zonder Python of modelimplementatie vereist. Voor aangepaste modellen biedt de AI-functie ai_query efficiënte batchdeductie die wordt ondersteund door eindpunten van Model Serving.

Evalueren en bewaken

Azure Databricks biedt flexibele evaluatie voor training en continue bewaking voor productie. Realtime-servinglogboeken voor inferentietabellen die worden beheerd in Unity Catalog, en monitoring van gegevenskwaliteit biedt aangepaste meetwaarden, dashboards en waarschuwingen.

Category	Features
Evaluation	MLflow ML-evaluatie kan worden gebruikt om metrische gegevens te definiëren voor het registreren bij MLflow, of het bijhouden van MLflow kan metrische gegevens vastleggen die zijn berekend met behulp van uw aangepaste framework. Genie Code kan helpen bij het selecteren van metrische evaluatiegegevens en het schrijven van evaluatiecode.
Logboekregistratie van voorspellingen	Inferentie-tabellen leggen inferenceverzoeken en antwoorden vast, waardoor monitoring, analyses en het samenstellen van trainingsdatasets mogelijk worden.
Bewaking en waarschuwingen	Bewaking van gegevenskwaliteit houdt gegevenskwaliteit, drift en aangepaste metrische gegevens bij, met ingebouwde anomaliedetectie en gegevensprofilering. Bewaking van gegevenskwaliteit biedt een bewakingsinterface en u kunt aangepaste dashboards maken vanuit bewakingstabellen . U kunt waarschuwingen voor anomaliedetectie instellen om incidenten snel te escaleren.

MLOps en governance

Azure Databricks biedt een volledige reeks hulpprogramma's voor ML-bewerkingen (MLOps) en governance. MLOps Stacks biedt sjablonen voor het inschakelen van geautomatiseerde, herhaalbare promotie van ontwikkeling naar productie met behulp van infrastructuur als code. Gegevens, functies, modellen en eindpunten worden volledig beheerd door Unity Catalog en AI Gateway.

Category	Features
CI/CD voor ML	MLOps Stacks, gebouwd op declaratieve Automation-bundels, biedt codegebaseerd beheer en implementatie van ML-infrastructuur en -werkstromen. Dit omvat CI/CD-sjablonen voor het automatiseren van training, evaluatie en implementatie.
Werkstroomindeling	Lakeflow Jobs orkestreert meerstaps ML-workflows als geplande of getriggerde pijplijnen.
Governance van gegevens- en modelassets	Unity Catalog biedt geïntegreerde governance voor gegevens, functies en geregistreerde modellen. Verfijnde toegangsbeheer, tracering van herkomst en auditlogboeken zijn van toepassing op alle assets.
Modeleindpuntbeheer	AI Gateway biedt gecentraliseerd beheer en monitoring voor model-eindpunten, waaronder snelheidslimieten, gebruiksregistratie en logregistratie van payloads.

Opensource-ondersteuning

Azure Databricks biedt volledige ondersteuning voor het opensource ML-ecosysteem.

U kunt elk opensource ML-framework gebruiken op Azure Databricks: scikit-learn, XGBoost, LightGBM, PyTorch, TensorFlow, Hugging Face Transformers, Ray en meer. MLflow of uw aangepaste hulpprogramma's kunnen modelartefacten opslaan in open indelingen die buiten Azure Databricks kunnen worden geëxporteerd en uitgevoerd.

MLflow is opensource, gemaakt door Azure Databricks en wordt gebruikt door meer dan 10.000 organisaties. Uw gegevens voor experimenttracering, modelartefacten en pipelinedefinities worden opgeslagen in open formaten.

Gegevens en AI-governance zijn gebaseerd op de open source Unity Catalog-API's en gegevensopslag is gebaseerd op de open Delta Lake-indeling . Uw functiegegevens en trainingsgegevenssets blijven in geopende, draagbare bestanden staan.

Aanvullende informatiebronnen

• Machinaal leren in Azure Databricks
• Open source versus beheerde MLflow in Azure Databricks