TextFeaturizingEstimator Sınıf
Tanım
Önemli
Bazı bilgiler ürünün ön sürümüyle ilgilidir ve sürüm öncesinde önemli değişiklikler yapılmış olabilir. Burada verilen bilgilerle ilgili olarak Microsoft açık veya zımni hiçbir garanti vermez.
Metin belgeleri koleksiyonunu sayısal özellik vektörlerine dönüştüren bir tahmin aracı. Özellik vektörleri normalleştirilmiş sözcük ve/veya karakter n-gram sayısıdır (sağlanan seçeneklere göre).
public sealed class TextFeaturizingEstimator : Microsoft.ML.IEstimator<Microsoft.ML.ITransformer>
type TextFeaturizingEstimator = class
interface IEstimator<ITransformer>
Public NotInheritable Class TextFeaturizingEstimator
Implements IEstimator(Of ITransformer)
- Devralma
-
TextFeaturizingEstimator
- Uygulamalar
Açıklamalar
Tahmin Aracı Özellikleri
Bu tahmin aracının parametrelerini eğitmek için verilere bakması gerekiyor mu? | Evet. |
Giriş sütunu veri türü | metin |
Çıkış sütunu veri türü | Vektör Single |
ONNX'e aktarılabilir | No |
Bu tahmin aracı, kullanıcıya aşağıdakileri yapmak için tek noktadan çözüm sağlar:
- Dil Algılama
- Tokenization
- Metin normalleştirme
- Önceden tanımlanmış ve özel stopwords kaldırma
- [Word tabanlı veya karakter tabanlı Ngram ayıklama ve SkipGram ayıklama (gelişmiş seçenekler aracılığıyla)](https://en.wikipedia.org/wiki/N-gram)
- TF, IDF veya TF-IDF
- [L-p vektör normalleştirme] (xref: Microsoft.ML.Transforms.LpNormNormalizingTransformer)
Varsayılan olarak özellikler (sözcük/karakter) n-gram/skip-gram'lardan oluşur ve özellik sayısı, verileri analiz ederek bulunan sözlük boyutuna eşittir. Oluşturulan belirteçlerle ek bir sütun çıktısı almak için OutputTokensColumnName kullanın. Özellik sayısı, tahmin aracının daha fazla ayarlandığı içinde TextFeaturizingEstimator.Optionstutulacak n-gram üst sınırı seçilerek de belirtilebilir.
Kullanım örneklerinin bağlantıları için Ayrıca Bkz. bölümüne bakın.
Yöntemler
Fit(IDataView) |
bir ITransformereğitip döndürür. |
GetOutputSchema(SchemaShape) |
SchemaShape Transformatör tarafından üretilecek şemanın değerini döndürür. İşlem hattında şema yayma ve doğrulama için kullanılır. |
Uzantı Metotları
AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Tahmin zincirine 'önbelleğe alma denetim noktası' ekleme. Bu, aşağı akış tahmincilerinin önbelleğe alınan verilere karşı eğitilmesini sağlar. Birden çok veri geçiren eğitmenlerden önce bir önbelleğe alma kontrol noktası olması yararlıdır. |
WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Tahmin aracı verildiğinde, bir temsilci çağrıldıktan sonra Fit(IDataView) çağıracak bir sarmalama nesnesi döndürün. Tahmin aracının neyin uygun olduğu hakkında bilgi döndürmesi genellikle önemlidir; bu nedenle Fit(IDataView) yöntem yalnızca genel ITransformerbir nesne yerine özel olarak yazılan bir nesne döndürür. Bununla birlikte, aynı zamanda, IEstimator<TTransformer> genellikle birçok nesne içeren işlem hatları halinde oluşturulur, bu nedenle transformatörü almak istediğimiz tahmin aracının EstimatorChain<TLastTransformer> bu zincirde bir yere gömülü olduğu bir tahmin aracı zinciri oluşturmamız gerekebilir. Bu senaryo için, bu yöntem aracılığıyla sığdır çağrıldıktan sonra çağrılacak bir temsilci ekleyebiliriz. |