WordTokenizingEstimator Kelas
Definisi
Penting
Beberapa informasi terkait produk prarilis yang dapat diubah secara signifikan sebelum dirilis. Microsoft tidak memberikan jaminan, tersirat maupun tersurat, sehubungan dengan informasi yang diberikan di sini.
Tokenisasi teks input menggunakan pemisah tertentu.
public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>type WordTokenizingEstimator = class
inherit TrivialEstimator<WordTokenizingTransformer>Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)- Warisan
Keterangan
Karakteristik Estimator
| Apakah estimator ini perlu melihat data untuk melatih parameternya? | Tidak |
| Jenis data kolom input | Skalar atau Vektor Teks |
| Jenis data kolom output | Vektor Ukuran Variabel Teks |
| Dapat diekspor ke ONNX | Ya |
Yang dihasilkan WordTokenizingTransformer membuat kolom baru, bernama seperti yang ditentukan dalam parameter nama kolom output, di mana setiap string input dipetakan ke vektor substring yang diperoleh dengan memisahkan string input sesuai dengan pemisah yang ditentukan pengguna. Karakter spasi adalah pemisah default.
String dan string kosong yang hanya berisi spasi yang dihilangkan.
Periksa bagian Lihat Juga untuk tautan ke contoh penggunaan.
Metode
| Fit(IDataView) |
Tokenisasi teks input menggunakan pemisah tertentu. (Diperoleh dari TrivialEstimator<TTransformer>) |
| GetOutputSchema(SchemaShape) |
Mengembalikan SchemaShape skema yang akan diproduksi oleh transformator. Digunakan untuk penyebaran dan verifikasi skema dalam alur. |
Metode Ekstensi
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Tambahkan 'titik pemeriksaan penembolokan' ke rantai estimator. Ini akan memastikan bahwa estimator hilir akan dilatih terhadap data cache. Sangat membantu untuk memiliki titik pemeriksaan penembolokan sebelum pelatih yang mengambil beberapa data berlalu. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Mengingat estimator, kembalikan objek pembungkus yang akan memanggil delegasi setelah Fit(IDataView) dipanggil. Seringkali penting bagi estimator untuk mengembalikan informasi tentang apa yang cocok, itulah sebabnya Fit(IDataView) metode mengembalikan objek yang di ketik secara khusus, bukan hanya umum ITransformer. Namun, pada saat yang sama, IEstimator<TTransformer> sering dibentuk menjadi alur dengan banyak objek, jadi kita mungkin perlu membangun rantai estimator melalui EstimatorChain<TLastTransformer> di mana estimator yang ingin kita dapatkan transformator dimakamkan di suatu tempat dalam rantai ini. Untuk skenario itu, kita dapat melalui metode ini melampirkan delegasi yang akan dipanggil setelah fit dipanggil. |