Aracılığıyla paylaş

Hugging Face Transformers nedir?

Bu makale, Azure Databricks'te Yüz Dönüştürücülerini Kucaklama konusuna giriş niteliğindedir. Hugging Face Transformers'ın neden kullanılacağına ve kümenize nasıl yükleneceğine ilişkin yönergeler içerir.

Yüz Transformatörlerini Kucaklama Arka Planı

Face Transformers'ı Kucaklama, Yüz Tanıma tarafından oluşturulan derin öğrenme için açık kaynak bir çerçevedir. En son model önceden eğitilmiş modelleri indirmek ve performansı en üst düzeye çıkarmak için bunları daha fazla ayarlamak için API'ler ve araçlar sağlar. Bu modeller doğal dil işleme, görüntü işleme, ses ve çok modali uygulamalar gibi farklı modalitelerdeki yaygın görevleri destekler.

Not

Apache Lisansı 2.0.

Machine Learning için Databricks Runtime, Databricks Runtime 10.4 LTS ML ve üzeri sürümleriyle Yüz Tanıma özelliğini içerir transformers ve Databricks Runtime 13.0 ML ve üzeri modellerde Yüz Tanıma veri kümelerini kucaklama, hızlandırma ve değerlendirme içerir.

Yapılandırılan Databricks Runtime ML sürümünüze hangi Hugging Face sürümünün dahil olduğunu denetlemek için ilgili sürüm notlarındaki Python kitaplıkları bölümüne bakın.

Neden Hugging Face Transformers kullanmalısınız?

Yaklaşım analizi ve metin özetleme gibi birçok uygulama için önceden eğitilmiş modeller ek model eğitimi olmadan iyi çalışır.

Hugging Face Transformers işlem hatları, en iyi uygulamaları kodlar ve farklı görevler için varsayılan modellerin seçilmesiyle kullanıma kolayca başlamanızı sağlar. İşlem hatları, kullanılabilir olduğunda GPU'ların kullanımını kolaylaştırır ve daha iyi aktarım hızı performansı için GPU'ya gönderilen öğelerin toplu işlenmesine izin verir.

Yüz TanımaYazma şu bilgileri sağlar:

Yüklemek transformers

Kümenizdeki Databricks Runtime sürümü Sarılma Yüzü transformersiçermiyorsa, en son Hugging Face transformers kitaplığını Databricks PyPI kitaplığı olarak yükleyebilirsiniz.

  %pip install transformers

Model bağımlılıklarını yükleme

Farklı modellerin farklı bağımlılıkları olabilir. Databricks, gerektiğinde bu bağımlılıkları yüklemek için %pip magic komutlarını kullanmanızı önerir.

Yaygın bağımlılıklar şunlardır:

  • librosa: ses dosyalarının kodunu çözmeyi destekler.
  • soundfile: bazı ses veri kümeleri oluşturulurken gereklidir.
  • bitsandbytes: kullanılırken load_in_8bit=Truegereklidir.
  • SentencePiece: NLP modelleri için belirteç oluşturucu olarak kullanılır.
  • timm: DetrForSegmentation tarafından gereklidir.

Tek düğümlü eğitim

Tek makineli iş akışlarını test etmek ve geçirmek için Tek Düğümlü küme kullanın.

Ek kaynaklar

Aşağıdaki makaleler örnek not defterlerini ve Azure Databricks'te büyük dil modeli (LLM) ince ayarı ve model çıkarımı için Yüz Tanıma transformers özelliğini kullanma yönergelerini içerir.

  • Last updated on