Delen via

Wat is SynapseML?

SynapseML (voorheen MMLSpark genoemd) is een opensource-bibliotheek die het bouwen van zeer schaalbare machine learning -pijplijnen (ML) en LLM-pijplijnen vereenvoudigt. SynapseML biedt eenvoudige, samenstelbare en gedistribueerde API's voor machine learning-taken, zoals tekstanalyse, computer vision en anomaliedetectie. SynapseML is gebaseerd op het framework voor gedistribueerde Apache Spark-computing en maakt gebruik van dezelfde API als de Spark MLlib-bibliotheek. Met deze uitlijning kunt u SynapseML-modellen insluiten in bestaande Apache Spark-werkstromen.

Met SynapseML kunt u schaalbare, intelligente systemen bouwen om uitdagingen op te lossen in domeinen zoals anomaliedetectie, computer vision, deep learning en tekstanalyse. SynapseML traint en evalueert modellen op clusters met één knooppunt, meerdere knooppunten en elastisch formaatbare clusters. Met deze methode kunt u uw werk schalen zonder resources te verspillen. SynapseML werkt met Python, R, Scala, Java en .NET. De API werkt met veel databases, bestandssystemen en cloudgegevensarchieven om experimenten te vereenvoudigen, ongeacht waar de gegevens zich bevinden.

Als u op AI gebaseerde transformaties in uw gegevenswerkstromen wilt opnemen, raden we Fabric AI-functies aan als de eenvoudigste benadering. Zie Azure OpenAI gebruiken met SynapseML voor gedistribueerde verwerking met volledig beheer.

Installatie

SynapseML is vooraf geïnstalleerd in Fabric PySpark-runtimes. Een specifieke versie kan worden geïnstalleerd door de installatiepagina te verwijzen.

Ga naar de quickstart: Uw eerste modellen om uw eerste pijplijn te maken. Raadpleeg OpenAI.ipynb voor voorbeelden van het gebruik van Azure OpenAI met SynapseML.

Belangrijke functies van SynapseML

SynapseML biedt eenvoudige integratie en vooraf getrainde resources om u te helpen beter inzicht te krijgen in en gegevens toe te passen op uw bedrijfsbehoeften. SynapseML unifieert verschillende bestaande ML-frameworks en breidt LLM API-aanroepen op schaal uit, samen met nieuwe Microsoft-algoritmen in één schaalbare API die kan worden gebruikt in Python, R, Scala en Java. SynapseML helpt ontwikkelaars ook bij het begrijpen van modelvoorspellingen door nieuwe hulpprogramma's te introduceren om te laten zien waarom modellen bepaalde voorspellingen doen en hoe ze de trainingsgegevensset kunnen verbeteren om vooroordelen te elimineren.

Een uniforme API voor het maken, trainen en scoren van modellen

SynapseML biedt een geïntegreerde API die het ontwikkelen van fouttolerante gedistribueerde programma's vereenvoudigt. SynapseML bevat met name veel verschillende machine learning-frameworks onder één API die schaalbaar, agnostisch is voor gegevens en taal, en werkt voor batch-, streaming- en servicetoepassingen.

Een geïntegreerde API standaardiseert veel hulpprogramma's, frameworks en algoritmen en stroomlijnt de gedistribueerde machine learning-ervaring. Hiermee kunnen ontwikkelaars snel verschillende machine learning-frameworks opstellen, code schoon houden en werkstromen ondersteunen waarvoor meer dan één framework is vereist. Werkstromen zoals leren onder supervisie op internet of het maken van zoekmachines vereisen bijvoorbeeld meerdere services en frameworks. SynapseML beschermt gebruikers van deze extra complexiteit.

Vooraf samengestelde intelligente modellen gebruiken

Veel hulpprogramma's in SynapseML vereisen geen grote gelabelde trainingsgegevensset. In plaats daarvan biedt SynapseML eenvoudige API's voor vooraf samengestelde intelligente services, zoals Foundry Tools, om snel grootschalige AI-uitdagingen op te lossen die betrekking hebben op zowel zakelijk als onderzoek. Met SynapseML kunnen ontwikkelaars meer dan 50 verschillende geavanceerde ML-services rechtstreeks in hun systemen en databases insluiten. Deze kant-en-klare algoritmen kunnen een groot aantal documenten parseren, gesprekken met meerdere sprekers in realtime transcriberen en tekst vertalen in meer dan 100 talen.

Voor de eenvoudigste manier om Azure OpenAI in Fabric te gebruiken, kunt u AI Functions overwegen, die Pandas- en PySpark DataFrame-extensies bieden met minimale code. Zie Azure OpenAI gebruiken met SynapseML voor gedistribueerde verwerking met volledig beheer. Zie de SynapseML-voorbeelden van cognitieve functies voor meer voorbeelden van het gebruik van vooraf gebouwde AI om snel taken op te lossen.

SynapseML's integratie met Foundry Tools snel en efficiënt maken, introduceert SynapseML veel optimalisaties voor servicegeoriënteerde werkstromen. SynapseML parseert vooral automatisch algemene beperkingsantwoorden om ervoor te zorgen dat jobs de back-endservices niet overbelasten. Daarnaast wordt gebruikgemaakt van exponentiële vertragingen om onbetrouwbare netwerkverbindingen en mislukte reacties op te lossen. Ten slotte hebben Spark-werkers het druk met nieuwe asynchrone parallelle uitvoeringsprimitieven. Met asynchrone parallelle uitvoering kunnen werkmachines aanvragen verzenden terwijl ze wachten op een reactie van de server en een tienvoudige toename van de doorvoer kunnen opleveren.

Brede ecosysteemcompatibiliteit met ONNX

Met SynapseML kunnen ontwikkelaars modellen uit veel verschillende ML-ecosystemen gebruiken via het Open Neural Network Exchange-framework (ONNX). Met deze integratie kunt u een groot aantal klassieke en deep learning-modellen op schaal uitvoeren met slechts een paar regels code. SynapseML verwerkt automatisch het distribueren van ONNX-modellen naar werkknooppunten, het batcheren en bufferen van invoergegevens voor hoge doorvoer en het plannen van werkzaamheden op hardwareversnellers.

Door ONNX naar Spark te brengen, kunnen ontwikkelaars niet alleen deep learning-modellen schalen, maar ook gedistribueerde deductie mogelijk maken in een groot aantal ML-ecosystemen. Met name ONNXMLTools converteert modellen van TensorFlow, scikit-learn, Core ML, LightGBM, XGBoost, H2O en PyTorch naar ONNX voor versnelde en gedistribueerde deductie met behulp van SynapseML.

Verantwoorde AI-systemen bouwen

Na het bouwen van een model is het noodzakelijk dat onderzoekers en technici de beperkingen en het gedrag ervan vóór de implementatie begrijpen. SynapseML helpt ontwikkelaars en onderzoekers bij het bouwen van verantwoorde AI-systemen door nieuwe hulpprogramma's te introduceren die laten zien waarom modellen bepaalde voorspellingen doen en hoe ze de trainingsgegevensset kunnen verbeteren om vooroordelen te elimineren. SynapseML versnelt het proces van het begrijpen van het getrainde model van een gebruiker aanzienlijk door ontwikkelaars in staat te stellen berekeningen over honderden computers te distribueren. Specifieker gezegd, SynapseML bevat gedistribueerde implementaties van Shapley Additive Explanations (SHAP) en Lokaal interpreteerbare Model-Agnostic Verklaringen (LIME) om de voorspellingen van vision-, tekst- en tabellaire modellen te verduidelijken. Het bevat ook hulpprogramma's zoals Afzonderlijke voorwaardelijke verwachting (ICE) en gedeeltelijke afhankelijkheidsanalyse voor het herkennen van vooroordelen in gegevenssets.

Ondersteuning voor ondernemingen in Azure Synapse Analytics

SynapseML is algemeen beschikbaar in Azure Synapse Analytics met ondersteuning voor ondernemingen. Bouw grootschalige machine learning-pijplijnen met Foundry Tools, LightGBM, ONNX en andere geselecteerde SynapseML-functies. Gebruik sjablonen om snel gedistribueerde machine learning-systemen te prototypen, zoals visuele zoekmachines, pijplijnen voor voorspellend onderhoud en documentomzetting.

Verwante inhoud

AI-services gebruiken in Fabric

SynapseML-resources

  • Last updated on