Muistiinpano
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää kirjautua sisään tai vaihtaa hakemistoa.
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää vaihtaa hakemistoa.
SynapseML (aiemmin MMLSpark) on avoimen lähdekoodin kirjasto, joka yksinkertaistaa massiivisesti skaalautuvien koneoppimisputkien (ML) rakentamista. SynapseML tarjoaa yksinkertaisia, koottavia ja hajautettuja ohjelmointirajapintoja koneoppimistehtäviin, kuten tekstianalytiikkaan, tietokonenäköön ja poikkeamien havaitsemiseen. SynapseML perustuu Apache Spark hajautettuun tietojenkäsittelykehykseen ja käyttää samaa ohjelmointirajapintaa kuin Spark MLlib -kirjasto. Tämän kohdistuksen avulla voit upottaa SynapseML-malleja aiemmin luotuihin Apache Spark työnkulkuihin.
SynapseML:n avulla voit rakentaa skaalautuvia, älykkäitä järjestelmiä, jotka ratkaisevat haasteita sellaisilla aloilla kuin poikkeamien havaitseminen, tietokonenäkö, syväoppiminen ja tekstianalytiikka. SynapseML kouluttaa ja arvioi malleja yhden solmun, usean solmun ja joustavasti muutettavissa klustereissa. Tämän lähestymistavan avulla voit skaalata työtäsi tuhlaamatta resursseja. SynapseML toimii Pythonin, R:n, Scalan, Javan ja .NET:n kanssa. Sen API toimii monien tietokantojen, tiedostojärjestelmien ja pilvitietovarastojen kanssa yksinkertaistaakseen kokeiluja riippumatta siitä, missä tiedot ovat.
Asennus
Valitse menetelmä asennussivulta ja noudata ohjeita.
Siirry pika-oppaaseen: Ensimmäiset mallit ensimmäisen putken luomiseksi.
SynapseML:n tärkeimmät ominaisuudet
SynapseML tarjoaa helpon integroinnin ja esikoulutetut resurssit, joiden avulla voit ymmärtää ja soveltaa tietoja paremmin yrityksesi tarpeisiin. SynapseML yhdistää useita olemassa olevia koneoppimiskehyksiä ja uusia Microsoft-algoritmeja yhdeksi skaalautuvaksi ohjelmointirajapinnaksi, jota voidaan käyttää Pythonissa, R:ssä, Scalassa ja Javassa. SynapseML auttaa myös kehittäjiä ymmärtämään malliennusteita ottamalla käyttöön uusia työkaluja, jotka paljastavat, miksi mallit tekevät tiettyjä ennusteita ja kuinka parantaa harjoitustietojoukkoa vääristymien poistamiseksi.
Yhtenäinen ohjelmointirajapinta mallien luomiseen, kouluttamiseen ja pisteyttämiseen
SynapseML tarjoaa yhtenäisen ohjelmointirajapinnan, joka yksinkertaistaa vikasietoisten hajautettujen ohjelmien kehittämistä. Erityisesti SynapseML paljastaa monia erilaisia koneoppimiskehyksiä yhden API:n alla, joka on skaalautuva, riippumaton tiedoista ja kielestä ja toimii erä-, suoratoisto- ja palvelusovelluksissa.
Yhtenäinen ohjelmointirajapinta standardoi monia työkaluja, kehyksiä ja algoritmeja ja virtaviivaistaa hajautettua koneoppimiskokemusta. Sen avulla kehittäjät voivat nopeasti laatia erilaisia koneoppimiskehyksiä, pitää koodin puhtaana ja tukee työnkulkuja, jotka vaativat useamman kuin yhden kehyksen. Esimerkiksi työnkulut, kuten verkko-ohjattu oppiminen tai hakukoneiden luominen, vaativat useita palveluita ja kehyksiä. SynapseML suojaa käyttäjiä tältä ylimääräiseltä monimutkaisuudelta.
Valmiiden älykkäiden mallien käyttäminen
Monet SynapseML:n työkalut eivät edellytä suurta merkittyä harjoitustietojoukkoa. Sen sijaan SynapseML tarjoaa yksinkertaisia ohjelmointirajapintoja valmiille älykkäille palveluille, kuten Azuren tekoälypalveluille, jotta voit ratkaista nopeasti laajamittaisia tekoälyhaasteita, jotka liittyvät sekä liiketoimintaan että tutkimukseen. SynapseML:n avulla kehittäjät voivat upottaa yli 50 erilaista huippuluokan ML-palvelua suoraan järjestelmiinsä ja tietokantoihinsa. Nämä käyttövalmiit algoritmit voivat jäsentää monenlaisia asiakirjoja, litteroida usean puhujan keskusteluja reaaliajassa ja kääntää tekstiä yli 100 kielelle. Lisää esimerkkejä siitä, miten voit käyttää valmiita tekoälyä tehtävien nopeaan ratkaisemiseen, on SynapseML:n "kognitiivisissa" esimerkeissä.
Jotta SynapseML:n integrointi Azuren tekoälypalveluihin olisi nopeaa ja tehokasta, SynapseML esittelee monia optimointeja palvelulähtöisiin työnkulkuihin. Erityisesti SynapseML jäsentää automaattisesti yleiset rajoitusvastaukset varmistaakseen, että työt eivät ylikuormita taustapalveluita. Lisäksi se käyttää eksponentiaalisia peruutuksia epäluotettavien verkkoyhteyksien ja epäonnistuneiden vastausten käsittelyyn. Lopuksi Spark-työkoneet pysyvät kiireisinä uusien asynkronisten rinnakkaisuusprimitiivien kanssa. Asynkronisen rinnakkaisuuden avulla työkoneet voivat lähettää pyyntöjä odottaessaan vastausta palvelimelta, ja se voi kymmenkertaistaa suorituskyvyn.
Laaja ekosysteemin yhteensopivuus ONNX:n kanssa
SynapseML:n avulla kehittäjät voivat käyttää malleja monista eri ML-ekosysteemeistä Open Neural Network Exchange (ONNX) -kehyksen kautta. Tämän integroinnin avulla voit suorittaa laajan valikoiman klassisia ja syväoppimismalleja mittakaavassa vain muutamalla koodirivillä. SynapseML hoitaa automaattisesti ONNX-mallien jakelun työsolmuille, syötetietojen erän ja puskuroinnin suuren suorituskyvyn saavuttamiseksi sekä laitteistokiihdyttimien töiden ajoittamisen.
ONNX:n tuominen Sparkiin ei ainoastaan auta kehittäjiä skaalaamaan syväoppimismalleja, vaan mahdollistaa myös hajautetun päättelyn useissa erilaisissa ML-ekosysteemeissä. Erityisesti ONNXMLTools muuntaa malleja TensorFlow'sta, scikit-learnista, Core ML:stä, LightGBM:stä, XGBoostista, H2O:sta ja PyTorchista ONNX:ksi nopeutettua ja hajautettua päättelyä varten SynapseML:n avulla.
Rakenna vastuullisia tekoälyjärjestelmiä
Mallin rakentamisen jälkeen on välttämätöntä, että tutkijat ja insinöörit ymmärtävät sen rajoitukset ja käyttäytymisen ennen käyttöönottoa. SynapseML auttaa kehittäjiä ja tutkijoita rakentamaan vastuullisia tekoälyjärjestelmiä ottamalla käyttöön uusia työkaluja, jotka paljastavat, miksi mallit tekevät tiettyjä ennusteita ja kuinka parantaa koulutustietojoukkoa vääristymien poistamiseksi. SynapseML nopeuttaa dramaattisesti käyttäjän koulutetun mallin ymmärtämistä antamalla kehittäjille mahdollisuuden jakaa laskentaa satoihin koneisiin. Tarkemmin sanottuna SynapseML sisältää Shapley Additive Explanations (SHAP) ja Locally Interpretable Model-Agnostic Explanations (LIME) hajautetut toteutukset näkö-, teksti- ja taulukkomallien ennusteiden selittämiseksi. Se sisältää myös työkaluja, kuten yksilöllisen ehdollisen odotuksen (ICE) ja osittaisen riippuvuuden analyysin puolueellisten tietojoukkojen tunnistamiseksi.
Yritystuki Azure Synapse Analyticsissa
SynapseML on yleisesti saatavilla Azure Synapse Analyticsissa yritystuella. Luo laajamittaisia koneoppimisputkia käyttämällä Azuren tekoälypalveluita, LightGBM:ää, ONNX:ää ja muita valittuja SynapseML-ominaisuuksia. Mallien avulla voit nopeasti luoda prototyyppejä hajautettuihin koneoppimisjärjestelmiin, kuten visuaalisiin hakukoneisiin, ennakoiviin ylläpitoputkiin ja asiakirjojen käännöksiin.