Melampirkan sumber daya multi-layanan Azure AI ke set keterampilan di Azure AI Search

Saat mengonfigurasi alur pengayaan AI opsional di Azure AI Search, Anda dapat memperkaya sejumlah dokumen yang terbatas secara gratis. Untuk beban kerja yang lebih besar dan lebih sering, Anda harus melampirkan sumber daya multi-layanan Azure AI yang dapat ditagih.

Sumber daya multi-layanan mereferensikan sekumpulan layanan Azure AI sebagai penawaran, bukan layanan individual, dengan akses yang diberikan melalui satu kunci API. Kunci ini ditentukan dalam set keterampilan dan memungkinkan Microsoft menagih Anda untuk menggunakan layanan ini:

• Azure AI Vision untuk analisis gambar dan pengenalan karakter optik (OCR)
• Bahasa Azure AI untuk deteksi bahasa, pengenalan entitas, analisis sentimen, dan ekstraksi frasa kunci
• Azure AI Speech untuk ucapan ke teks dan teks ke ucapan
• Azure AI Penerjemah untuk terjemahan teks mesin

Tip

Azure menyediakan infrastruktur bagi Anda untuk memantau penagihan dan anggaran. Untuk informasi selengkapnya tentang memantau layanan Azure AI, lihat Merencanakan dan mengelola biaya untuk layanan Azure AI.

Mengatur kunci sumber daya

Anda dapat menggunakan portal Azure, REST API, atau Azure SDK untuk melampirkan sumber daya yang dapat ditagih ke set keterampilan.

Jika Anda membiarkan properti tidak ditentukan, layanan pencarian Anda mencoba menggunakan pengayaan gratis yang tersedia untuk pengindeks Anda setiap hari. Eksekusi keterampilan yang dapat ditagih berhenti pada 20 transaksi per pemanggilan pengindeks dan pesan "Waktu Habis" muncul dalam riwayat eksekusi pengindeks.

Portal Azure

1. Masuk ke portal Azure.

2. Buat sumber daya multi-layanan Azure AI di wilayah yang sama dengan layanan pencarian Anda.

3. Tambahkan kunci ke definisi set keterampilan:

   • Jika menggunakan Panduan impor data, masukkan kunci di langkah kedua, "Tambahkan pengayaan AI".

   • Jika menambahkan kunci ke set keterampilan baru atau yang sudah ada, berikan kunci di tab layanan Azure AI.

   

REST

1. Buat sumber daya multi-layanan Azure AI di wilayah yang sama dengan layanan pencarian Anda.

2. Buat atau perbarui set keterampilan, tentukan bagian cognitiveServices dalam isi permintaan set keterampilan:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

.NET SDK

Cuplikan kode berikut adalah dari azure-search-dotnet-samples, dipangkas agar lebih singkat.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Menghapus kunci

Pengayaan adalah operasi yang dapat ditagih. Jika Anda tidak perlu lagi memanggil layanan Azure AI, ikuti instruksi berikut untuk menghapus kunci multi-wilayah dan mencegah penggunaan sumber daya eksternal. Tanpa kunci, set keterampilan kembali ke alokasi default 20 transaksi gratis per pengindeks, per hari. Eksekusi keterampilan yang dapat ditagih berhenti pada 20 transaksi dan pesan "Waktu Habis" muncul dalam riwayat eksekusi pengindeks saat alokasi habis.

Portal Azure

1. Masuk ke portal Azure dan buka halaman Gambaran Umum layanan pencarian.

2. Di bawah Skillsets, pilih set keterampilan yang berisi kunci yang ingin Anda hapus.

   

3. Gulir ke akhir file.

4. Hapus kunci dari JSON dan simpan set keterampilan.

   

REST

1. Dapatkan Skillset sehingga Anda memiliki definisi lengkap.

2. Merumuskan permintaan Perbarui Skillset , memberikan definisi JSON dari set keterampilan.

3. Hapus kunci dalam isi definisi, lalu kirim permintaan:

   PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
   api-key: [admin key]
   Content-Type: application/json
   {
       "name": "skillset name",
       "skills": 
       [
         {
           "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
           "categories": [ "Organization" ],
           "defaultLanguageCode": "en",
           "inputs": [
             {
               "name": "text", "source": "/document/content"
             }
           ],
           "outputs": [
             {
               "name": "organizations", "targetName": "organizations"
             }
           ]
         }
       ],
       "cognitiveServices": {
           "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
           "description": "mycogsvcs",
           "key": ""
       }
   }
   

   Atau, Anda dapat mengatur "cognitiveServices" ke null:

   "cognitiveServices": null,
   

Cara kunci digunakan

Penagihan berbasis kunci berlaku saat panggilan API ke sumber daya layanan Azure AI melebihi 20 panggilan API per pengindeks, per hari.

Kunci digunakan untuk penagihan, tetapi tidak untuk koneksi operasi pengayaan. Untuk koneksi, layanan pencarian terhubung melalui jaringan internal ke sumber daya layanan Azure AI yang terletak di wilayah fisik yang sama. Sebagian besar wilayah yang menawarkan Azure AI Search juga menawarkan layanan Azure AI lainnya seperti Language. Jika Anda mencoba pengayaan AI di wilayah yang tidak memiliki kedua layanan, Anda akan melihat pesan ini: "Kunci yang disediakan bukan kunci jenis CognitiveServices yang valid untuk wilayah layanan pencarian Anda."

Saat ini, penagihan untuk keterampilan bawaan memerlukan koneksi publik dari Azure AI Search ke layanan Azure AI lain. Menonaktifkan penagihan pemutusan akses jaringan publik. Jika menonaktifkan jaringan publik adalah persyaratan, Anda dapat mengonfigurasi keterampilan API Web Kustom yang diterapkan dengan Azure Function yang mendukung titik akhir privat dan menambahkan sumber daya layanan Azure AI ke VNET yang sama. Dengan cara ini, Anda dapat memanggil sumber daya layanan Azure AI langsung dari keterampilan kustom menggunakan titik akhir privat.

Catatan

Beberapa keterampilan bawaan didasarkan pada layanan Azure AI non-regional (misalnya, Keterampilan Terjemahan Teks). Menggunakan keterampilan non-regional berarti permintaan Anda mungkin dilayankan di wilayah selain wilayah Pencarian Azure AI. Untuk informasi selengkapnya tentang layanan non-regional, lihat halaman produk layanan Azure AI menurut wilayah .

Persyaratan utama kasus khusus

Pencarian Entitas Kustom diukur oleh Azure AI Search, bukan layanan Azure AI, tetapi memerlukan kunci sumber daya multi-layanan Azure AI untuk membuka kunci transaksi di luar 20 per pengindeks, per hari. Untuk keterampilan ini saja, kunci sumber daya membuka blokir jumlah transaksi, tetapi tidak terkait dengan penagihan.

Pengayaan gratis

Pengayaan AI menawarkan sejumlah kecil pemrosesan gratis pengayaan yang dapat ditagih sehingga Anda dapat menyelesaikan latihan singkat tanpa harus melampirkan sumber daya multi-layanan Azure AI. Pengayaan gratis berupa 20 dokumen per hari untuk tiap pengindeks. Anda dapat mengatur ulang pengindeks untuk mengatur ulang penghitung jika Anda ingin mengulangi latihan.

Beberapa pengayaan selalu gratis:

• Keterampilan utilitas yang tidak memanggil layanan Azure AI (yaitu, keterampilan Kondisional, Ekstraksi Dokumen, Pembentuk, Penggabungan Teks, dan Pemisahan Teks) tidak dapat ditagih.

• Ekstraksi teks dari dokumen PDF dan file aplikasi lainnya tidak dapat dibijaksakan. Ekstraksi teks, yang terjadi selama pemecahan dokumen, bukan pengayaan AI, tetapi terjadi selama pengayaan AI dan dengan demikian dicatat di sini.

Pengayaan yang dapat ditagih

Selama pengayaan AI, Azure AI Search memanggil API layanan Azure AI untuk keterampilan bawaan yang didasarkan pada Azure AI Vision, Penerjemah, dan Azure AI Language.

Keterampilan bawaan yang dapat ditagih yang melakukan panggilan backend ke layanan Azure AI termasuk Penautan Entitas, Pengenalan Entitas, Analisis Gambar, Ekstraksi Frasa Kunci, Deteksi Bahasa, OCR, Deteksi Informasi Pengidentifikasi Pribadi (PII), Sentimen, dan Terjemahan Teks.

Ekstraksi gambar adalah operasi Pencarian Azure AI yang terjadi ketika dokumen dipecah sebelum pengayaan. Ekstraksi gambar dapat ditagih pada semua tingkatan, kecuali untuk 20 ekstraksi harian gratis pada tingkat gratis. Biaya ekstraksi gambar berlaku untuk file gambar di dalam blob, gambar yang disematkan di file lain (PDF dan file aplikasi lainnya), dan untuk gambar yang diekstraksi menggunakan Ekstraksi Dokumen. Untuk harga ekstraksi gambar, lihat halaman harga Azure AI Search.

Tip

Untuk menurunkan biaya pemrosesan kumpulan keterampilan, aktifkan pengayaan tambahan (pratinjau) untuk menyimpan dan menggunakan kembali pengayaan apa pun yang tidak terpengaruh oleh perubahan yang dibuat pada kumpulan keterampilan. Penembolokan (caching) memerlukan Azure Storage (lihat harga) tetapi biaya kumulatif eksekusi kumpulan keterampilan lebih rendah jika pengayaan yang ada dapat digunakan kembali, terutama untuk kumpulan keterampilan yang menggunakan ekstraksi dan analisis gambar.

Contoh: Memperkirakan biaya

Untuk memperkirakan biaya yang terkait dengan pengindeksan Azure AI Search, mulailah dengan gambaran seperti apa dokumen rata-rata sehingga Anda dapat menjalankan beberapa angka. Misalnya, Anda mungkin memperkirakan:

• 1.000 PDF.
• Masing-masing 6 halaman.
• Satu gambar per halaman (6.000 gambar).
• 3.000 karakter per halaman.

Asumsikan ada alur yang terdiri atas pemecahan dokumen dari setiap PDF, ekstraksi gambar dan teks, pengenalan karakter optik (OCR) gambar, dan pengenalan entitas organisasi.

Harga yang ditunjukkan dalam artikel ini bersifat hipotetis. Harga tersebut digunakan untuk menggambarkan proses estimasi. Biaya Anda dapat lebih rendah. Untuk harga transaksi aktual, lihat Harga layanan Azure AI.

1. Untuk pemecahan dokumen dengan konten teks dan gambar, ekstraksi teks saat ini gratis. Untuk 6.000 gambar, asumsikan $1 untuk setiap 1.000 gambar yang diekstrak. Itu artinya biayanya adalah $6.00 untuk langkah ini.

2. Untuk OCR dari 6.000 gambar dalam bahasa Inggris, keterampilan kognitif OCR menggunakan algoritma terbaik (DescribeText). Dengan asumsi biaya $2.50 per 1.000 gambar yang akan dianalisis, Anda akan membayar $15.00 untuk langkah ini.

3. Untuk ekstraksi entitas, Anda akan memiliki total tiga rekaman teks per halaman. Setiap rekaman berisi 1.000 karakter. Tiga rekaman teks per halaman dikalikan dengan 6.000 halaman sama dengan 18.000 rekaman teks. Dengan asumsi $2.00 per 1.000 rekaman teks, langkah ini akan dikenakan biaya $36.00.

Dengan menambahkan semuanya, Anda akan membayar sekitar $57.00 untuk menyerap 1.000 dokumen PDF jenis ini dengan keterampilan yang telah dijelaskan.

Langkah berikutnya

• Halaman harga Azure AI Search
• Cara menentukan set keterampilan
• Membuat Kumpulan Keterampilan (REST)
• Cara memetakan bidang yang diperkaya