Automaattinen lokertelu Microsoft Fabricissa
Microsoft Fabricin Synapse Data Science sisältää automaattisen lokeroinnin, joka vähentää merkittävästi koodimäärää, jota tarvitaan koneoppimismallin parametrien, mittarien ja kohteiden automaattisesti kirjaamiseen koulutuksen aikana. Tässä artikkelissa kuvataan Synapse Data Science -tieteen automaattinen tallentaminen Microsoft Fabricissa.
Automaattinen lokkeaminen laajentaa MLflow Tracking - ominaisuuksia ja on integroitu syvälle Synapse Data Science in Microsoft Fabric -käyttökokemukseen. Automaattinen kirjaus voi tallentaa eri mittareita, kuten tarkkuuden, tappion, F1-pisteet ja määrittämäsi mukautetut mittarit. Automaattisen lokittelun avulla kehittäjät ja datatieteilijät voivat helposti seurata ja vertailla eri mallien suorituskykyä ja kokeilla ilman manuaalista seurantaa.
Tuetut sovelluskehykset
Automaattinen loggaus tukee monia erilaisia koneoppimiskehyksiä, kuten TensorFlow, PyTorch, Scikit-learn ja XGBoost. Lisätietoja sovelluskehyskohtaisista ominaisuuksista, jotka tallentavat automaattisesti, on MLflow-dokumentaatiossa.
Määritys
Automaattinen lokerointi toimii tallentamalla automaattisesti arvot syöteparametreista, tulostemittareista ja koneoppimismallin tulostekohteista harjoittamisen aikana. Nämä tiedot kirjataan Microsoft Fabric -työtilaan, jossa voit käyttää ja visualisoida niitä käyttämällä MLflow-ohjelmointirajapintoja tai niitä vastaavia kokeilu- ja mallikohteita Microsoft Fabric -työtilassasi.
Kun käynnistät Synapse Data Science -muistikirjan, Microsoft Fabric kutsuu mlflow.autolog() -muistikirjaa välittömästi, jotta vastaavat riippuvuudet voidaan seurata ja ladata. Kun harjoitat malleja muistikirjassasi, MLflow seuraa automaattisesti näitä mallin tietoja.
Määritys tapahtuu automaattisesti taustalla, kun suoritat kohteen import mlflow. Muistikirjan mlflow.autolog() -koukku on oletusarvoisesti seuraava:
mlflow.autolog(
log_input_examples=False,
log_model_signatures=True,
log_models=True,
disable=False,
exclusive=True,
disable_for_unsupported_versions=True,
silent=True
)
Mukauttaminen
Voit mukauttaa kirjaamisen toimintaa käyttämällä mlflow.autolog() -määritystä. Tämä määritys tarjoaa parametreja, joiden avulla voit ottaa käyttöön mallin kirjaamisen, kerätä syötenäytteitä, määrittää varoituksia tai ottaa käyttöön määrittämäsi lisätyn sisällön kirjaamisen.
Seuraa lisää mittareita, parametreja ja ominaisuuksia
Päivitä MLflow'n avulla luotujen suoritusten MLflow-automaattisen lokeroinnin määritykset, jotta voit seurata muita mittareita, parametreja, tiedostoja ja metatietoja seuraavasti:
Päivitä mlflow.autolog()-kutsu asettamaan arvoksi
exclusive=False.mlflow.autolog( log_input_examples=False, log_model_signatures=True, log_models=True, disable=False, exclusive=False, # Update this property to enable custom logging disable_for_unsupported_versions=True, silent=True )Käytä MLflow-seuranta-ohjelmointirajapintoja lisäparametrien ja -mittareiden kirjaamiseen. Seuraavassa esimerkkikoodissa voit kirjata mukautetut mittarit ja parametrit muiden ominaisuuksien rinnalle.
import mlflow mlflow.autolog(exclusive=False) with mlflow.start_run(): mlflow.log_param("parameter name", "example value") # <add model training code here> mlflow.log_metric("metric name", 20)
Poista Microsoft Fabric -automaattinen lokeraus käytöstä
Voit poistaa Microsoft Fabricin automaattisen lokeraamisen käytöstä tiettyä muistikirjaistuntoa varten. Voit myös poistaa automaattisen lokittelun käytöstä kaikissa muistikirjoissa käyttämällä työtila-asetusta.
Muistiinpano
Jos automaattinen lokiloggaus on poistettu käytöstä, parametrit ja mittarit on kirjattava manuaalisesti lokiin MLflow-ohjelmointirajapintojen avulla.
Muistikirjaistunnon automaattisen lokeraamisen poistaminen käytöstä
Jos haluat poistaa Microsoft Fabric -automaattianalyysin käytöstä tiettyä muistikirjaistuntoa varten, kutsu mlflow.autolog() ja määritä disable=True.
import mlflow
mlflow.autolog(disable=True)
Poista automaattinen lokeraus käytöstä kaikissa muistikirjoissa ja istunnoissa
Työtilan järjestelmänvalvojat voivat ottaa käyttöön tai poistaa käytöstä Microsoft Fabric -automaattisen lokeraamisen kaikissa työtiloissaan olevien muistikirjojen ja istuntojen osalta työtilan asetusten avulla. Synapse Data Science -automaattianalyysin ottaminen käyttöön tai poistaminen käytöstä:
Valitse Synapse Data Science -työtilassa Työtilan asetukset.
Laajenna Työtilan asetukset -näytön vasemmassa siirtymispalkissa Data-asiantuntija/Tiede ja valitse Spark-asetukset.
Valitse Spark-asetukset-näytössä Automaattinen loki -välilehti.
Määritä Automaattianalyysipalveluiden kokeilujen ja mallien automaattinen seuranta -asetukseksi Käytössä tai Ei käytössä.
Valitse Tallenna.
