MLflow op Databricks

In dit artikel wordt beschreven hoe MLflow op Databricks wordt gebruikt om generatieve AI-agents en machine learning-modellen van hoge kwaliteit te ontwikkelen.

Notitie

Als u net aan de slag gaat met Azure Databricks, kunt u overwegen om MLflow uit te proberen op Databricks Free Edition.

Wat is MLflow?

MLflow is het grootste opensource AI-engineeringplatform voor agents, LLM's en ML-modellen. Met MLflow kunnen teams van alle grootten fouten opsporen, evalueren, bewaken en optimaliseren voor AI-toepassingen van productiekwaliteit en tegelijkertijd kosten beheren en de toegang tot modellen en gegevens beheren. Met meer dan 30 miljoen maandelijkse downloads vertrouwen duizenden organisaties elke dag op MLflow om AI naar productie te verzenden.

De uitgebreide functieset van MLflow voor agents en LLM-toepassingen omvat waarneembaarheid op productieniveau, evaluatie, promptbeheer, een AI Gateway voor het beheren van kosten en modeltoegang, en meer.

Voor machine learning-modelontwikkeling (ML) biedt MLflow experimenttracking, mogelijkheden voor modelevaluatie, een productiemodelregister en hulpprogramma's voor modelimplementatie.

MLflow ondersteunt elke LLM-provider, agentframework, ML-bibliotheek en programmeertaal. MLflow biedt systeemeigen SDK's voor Python, TypeScript/JavaScript, Java en R.

MLflow 3

MLflow 3 in Azure Databricks biedt state-of-the-art waarneembaarheid, evaluatie en promptbeheer voor agents en LLM-toepassingen. Voor ml-modelontwikkeling biedt MLflow 3 experimenttracking, modelevaluatie, een productiemodelregister en hulpprogramma's voor modelimplementatie. Met MLflow 3 in Azure Databricks kunt u het volgende doen:

Houd de prestaties van uw modellen, AI-toepassingen en agents centraal bij en analyseer deze in alle omgevingen, van interactieve query's in een ontwikkelnotitieblok via productiebatch of realtime service-implementaties.
Beheer evaluatie- en implementatiewerkstromen met behulp van Unity Catalog en krijg toegang tot uitgebreide statuslogboeken voor elke versie van uw model, AI-toepassing of agent.
Metrische gegevens en parameters van het model bekijken en openen vanaf de pagina met modelversies in Unity Catalog en vanuit de REST API.
Aantekeningen maken op aanvragen en antwoorden (traceringen) voor al uw gen AI-toepassingen en -agents, waardoor menselijke experts en geautomatiseerde technieken (zoals LLM-as-a-judge) uitgebreide feedback kunnen geven. U kunt deze feedback gebruiken om de prestaties van toepassingsversies te beoordelen en te vergelijken en gegevenssets te bouwen om de kwaliteit te verbeteren.

Deze mogelijkheden vereenvoudigen en stroomlijnen evaluatie, implementatie, foutopsporing en bewaking voor al uw AI-initiatieven.

MLflow 3 introduceert ook de concepten van vastgelegde modellen en implementatietaken.

Met vastgelegde modellen kunt u de voortgang van een model gedurende de gehele levenscyclus bijhouden. Wanneer u een model logt met log_model(), wordt er een LoggedModel gemaakt dat zich gedurende de levenscyclus van het model, in verschillende omgevingen en runs voorkomt en koppelingen naar artefacten bevat zoals metagegevens, metriek, parameters en de code die is gebruikt om het model te genereren. U kunt het vastgelegde model gebruiken om modellen met elkaar te vergelijken, het meest presterende model te vinden en informatie op te sporen tijdens foutopsporing.
Implementatietaken kunnen worden gebruikt om de levenscyclus van het model te beheren, inclusief stappen zoals evaluatie, goedkeuring en implementatie. Deze modelwerkstromen worden beheerd door Unity Catalog en alle gebeurtenissen worden opgeslagen in een activiteitenlogboek dat beschikbaar is op de pagina met modelversies in Unity Catalog.

Zie de volgende artikelen om MLflow 3 te installeren en aan de slag te gaan.

Door Databricks beheerde MLflow

Databricks biedt een volledig beheerde en gehoste versie van MLflow, die voortbouwt op de opensource-ervaring om deze robuuster en schaalbaarder te maken voor zakelijk gebruik.

Agents en LLM-toepassingen

MLflow op Databricks biedt een volledig platform voor het ontwikkelen, evalueren en bewaken van agents en LLM-toepassingen.

Waarneembaarheid:MLflow Tracing registreert de invoer, uitvoer en metagegevens die zijn gekoppeld aan elke tussenliggende stap van een aanvraag, zodat u snel de bron van onverwacht gedrag in agents kunt vinden.
Evaluatie: Gebruik Mosaic AI Agent Evaluation om de kwaliteit van de agent te meten en te verbeteren, mogelijk gemaakt door MLflow-evaluatie.
Promptbeheer: Versie, beheer en herhalen van promptsjablonen die worden gebruikt in uw AI-toepassingen.
Agentontwikkeling: Gebruik Mosaic AI Agent Framework om agents te maken, die afhankelijk zijn van MLflow om agentcode, prestatiemetrieken en traceringen bij te houden.
Interactieve foutopsporing: Gebruik Genie Code voor de observeerbaarheid en evaluatie van agents voor natuurlijke taaltoegang tot traces, evaluatieruns, scorers en meer binnen uw MLflow-experiment.

Ml-modelontwikkeling

MLflow op Databricks biedt experimenttracking, modelevaluatie, een productiemodelregister en hulpprogramma's voor modelimplementatie voor ml-modelontwikkeling.

In het volgende diagram ziet u hoe Databricks kan worden geïntegreerd met MLflow om machine learning-modellen te trainen en te implementeren.

MLflow kan worden geïntegreerd met Databricks om ML-modellen te ontwikkelen en te implementeren.

Door Databricks beheerde MLflow is gebouwd op Unity Catalog en de Cloud Data Lake om al uw gegevens en AI-assets in de ML-levenscyclus samen te voegen:

Kenmerkenopslag: Databricks' geautomatiseerde kenmerkenopzoekingen vereenvoudigen de integratie en verminderen fouten.
Modellen trainen: Mozaïek AI gebruiken om modellen te trainen of basismodellen af te stemmen.
Bijhouden: MLflow houdt training bij door parameters, metrische gegevens en artefacten te registreren om modelprestaties te evalueren en te vergelijken.
modelregister: MLflow Model Registry, geïntegreerd met Unity Catalog centraliseert AI-modellen en artefacten.
Model serving: Mosaic AI Model Serving implementeert modellen in een REST API-eindpunt.
Bewaking: Mosaic AI Model Serving legt automatisch aanvragen en antwoorden vast om modellen te bewaken en fouten op te sporen. MLflow vergroot deze gegevens met traceringsgegevens voor elke aanvraag.

Modeltraining

MLflow-modellen vormen de kern van AI- en ML-ontwikkeling op Databricks. MLflow-modellen zijn een gestandaardiseerde indeling voor het verpakken van machine learning-modellen en generatieve AI-agents. De gestandaardiseerde indeling zorgt ervoor dat modellen en agents kunnen worden gebruikt door downstreamhulpprogramma's en werkstromen op Databricks.

MLflow-documentatie - Modellen.

Databricks biedt functies om u te helpen verschillende soorten ML-modellen te trainen.

AI-modellen trainen met Mosaic AI.

Het volgen van experimenten

Databricks gebruikt MLflow-experimenten als organisatie-eenheden om uw werk bij te houden tijdens het ontwikkelen van modellen.

Met het bijhouden van experimenten kunt u parameters, metrische gegevens, artefacten en codeversies registreren en beheren tijdens het trainen van machine learning en het ontwikkelen van agents. Door logboeken in experimenten en uitvoeringen te organiseren, kunt u modellen vergelijken, prestaties analyseren en eenvoudiger herhalen.

Experiment bijhouden met Databricks-.
Zie de MLflow-documentatie voor algemene informatie over uitvoeringen en het bijhouden van experimenten.

Modelregister met Unity Catalog

MLflow Model Registry is een gecentraliseerde modelopslagplaats, gebruikersinterface en set API's voor het beheren van het modelimplementatieproces.

Databricks integreert modelregister met Unity Catalog om gecentraliseerd beheer voor modellen te bieden. Met Integratie van Unity Catalog hebt u toegang tot modellen in werkruimten, kunt u modelherkomst bijhouden en modellen ontdekken voor hergebruik.

Modellen beheren met databricks Unity Catalog.
Zie de MLflow-documentatie voor algemene informatie over modelregister.

Model serveren

Databricks Model Serving is nauw geïntegreerd met het MLflow-modelregister en biedt een uniforme, schaalbare interface voor het implementeren, beheren en opvragen van AI-modellen. Elk model dat u gebruikt, is beschikbaar als een REST API die u kunt integreren in web- of clienttoepassingen.

Hoewel het afzonderlijke onderdelen zijn, is Model Serving sterk afhankelijk van het MLflow-modelregister voor het afhandelen van modelversiebeheer, afhankelijkheidsbeheer, validatie en governance.

Modelservice met gebruik van Databricks.

Open source versus door Databricks beheerde MLflow-functies

Raadpleeg MLflow-documentatievoor algemene MLflow-concepten, API's en functies die worden gedeeld tussen open source- en Databricks-beheerde versies. Zie de Databricks-documentatie voor functies die exclusief zijn voor door Databricks beheerde MLflow.

In de volgende tabel worden de belangrijkste verschillen tussen open source MLflow en door Databricks beheerde MLflow gemarkeerd en vindt u documentatiekoppelingen voor meer informatie:

Kenmerk	Beschikbaarheid op open source MLflow	Beschikbaarheid op door Databricks beheerde MLflow
Veiligheid	De gebruiker moet een eigen beveiligingsgovernancelaag opgeven	Beveiliging op bedrijfsniveau van Databricks
Noodherstel	Onbeschikbaar	Databricks-herstel na noodgevallen
Het volgen van experimenten	MLflow Tracking-API	MLflow Tracking-API geïntegreerd met Databricks geavanceerd experimentvolgsysteem
Modelregister	MLflow-modelregister	MLflow Model Registry geïntegreerd met Databricks Unity Catalog
Integratie van Unity Catalog	Open source-integratie met Unity Catalog	Databricks Unity Catalog
Modelimplementatie	Door de gebruiker geconfigureerde integraties met externe serveroplossingen (SageMaker, Kubernetes, containerservices, enzovoort)	Databricks-modelimplementatie en externe implementatieoplossingen
AI-agenten	MLflow LLM-ontwikkeling	MLflow LLM-ontwikkeling geïntegreerd met Mosaic AI Agent Framework en Agent Evaluation
Versleuteling	Onbeschikbaar	Versleuteling met door de klant beheerde sleutels