Wat zijn knuffelingsgezichttransformaties?
Dit artikel bevat een inleiding tot Hugging Face Transformers in Azure Databricks. Het bevat richtlijnen voor het gebruik van Hugging Face Transformers en het installeren ervan op uw cluster.
Achtergrond voor het knuffelen van gezichtstransformaties
Hugging Face Transformers is een opensource-framework voor deep learning dat is gemaakt door Hugging Face. Het biedt API's en hulpprogramma's om geavanceerde vooraf getrainde modellen te downloaden en deze verder af te stemmen om de prestaties te maximaliseren. Deze modellen ondersteunen algemene taken in verschillende modaliteiten, zoals verwerking van natuurlijke taal, computer vision, audio en multimodale toepassingen.
Notitie
Databricks Runtime voor Machine Learning bevat Hugging Face transformers in Databricks Runtime 10.4 LTS ML en hoger, en bevat hugging Face-gegevenssets, versnellen en evalueren in Databricks Runtime 13.0 ML en hoger.
Als u wilt controleren welke versie van Hugging Face is opgenomen in uw geconfigureerde Databricks Runtime ML-versie, raadpleegt u de sectie Python-bibliotheken in de relevante releaseopmerkingen.
Waarom hugging Face Transformers gebruiken?
Voor veel toepassingen, zoals sentimentanalyse en samenvatting van tekst, werken vooraf getrainde modellen goed zonder extra modeltraining.
Door pijplijnen van Face Transformers te knuffelen, coderen ze best practices en zijn standaardmodellen geselecteerd voor verschillende taken, zodat u eenvoudig aan de slag kunt. Met pijplijnen kunt u GPU's eenvoudig gebruiken wanneer deze beschikbaar zijn en kunt u batchverwerking van items toestaan die naar de GPU worden verzonden voor betere doorvoerprestaties.
Hugging Face biedt:
- Een modelhub met veel vooraf getrainde modellen.
- De 🤗 Transformers-bibliotheek die ondersteuning biedt voor het downloaden en gebruiken van deze modellen voor NLP-toepassingen en het afstemmen ervan. Het is gebruikelijk om zowel een tokenizer als een model voor verwerking van natuurlijke taaltaken nodig te hebben.
- 🤗 Transformatorpijplijnen met een eenvoudige interface voor de meeste verwerkingstaken in natuurlijke taal.
Installeren transformers
Als de Databricks Runtime-versie op uw cluster geen Hugging Face transformersbevat, kunt u de nieuwste Hugging Face-bibliotheek transformers installeren als een Databricks PyPI-bibliotheek.
%pip install transformers
Modelafhankelijkheden installeren
Verschillende modellen kunnen verschillende afhankelijkheden hebben. Databricks raadt u aan %pip magic-opdrachten te gebruiken om deze afhankelijkheden zo nodig te installeren.
Hier volgen veelvoorkomende afhankelijkheden:
librosa: ondersteunt het decoderen van audiobestanden.soundfile: vereist tijdens het genereren van enkele audiogegevenssets.bitsandbytes: vereist bij gebruikload_in_8bit=True.SentencePiece: gebruikt als tokenizer voor NLP-modellen.timm: vereist door DetrForSegmentation.
Training met een enkel knooppunt
Als u werkstromen met één machine wilt testen en migreren, gebruikt u een cluster met één knooppunt.
Aanvullende informatiebronnen
De volgende artikelen bevatten voorbeelden van notebooks en richtlijnen voor het gebruik van Hugging Face transformers voor het afstemmen van grote talen en modeldeductie in Azure Databricks.