Melampirkan sumber daya layanan Azure AI ke set keterampilan di Azure AI Search

Jika Anda menggunakan keterampilan bawaan untuk pengayaan AI opsional di Azure AI Search, Anda dapat memperkaya sejumlah kecil dokumen secara gratis, terbatas pada 20 transaksi setiap hari per indeks. Untuk beban kerja yang lebih besar dan lebih sering, Anda harus melampirkan sumber daya multi-layanan Azure AI yang dapat ditagih.

Azure AI Search menggunakan sumber daya multi-layanan Azure AI khusus yang dihosting secara internal untuk eksekusi keterampilan bawaan, tetapi memerlukan sumber daya multi-layanan Anda untuk tujuan penagihan.

Sumber daya multi-layanan Azure AI menyediakan kumpulan layanan Azure AI, bukan layanan individual. Menyediakan sumber daya multi-layanan dalam set keterampilan Azure AI Search memungkinkan Microsoft menagih Anda untuk menggunakan layanan ini:

• Azure AI Vision untuk analisis gambar, pengenalan karakter optik (OCR), dan penyematan multimodal
• Bahasa Azure AI untuk deteksi bahasa, pengenalan entitas, analisis sentimen, dan ekstraksi frasa kunci
• Azure AI Speech untuk ucapan ke teks dan teks ke ucapan
• Penerjemah Azure AI untuk terjemahan teks mesin

Pengecualian untuk penagihan melalui sumber daya multi-layanan termasuk AzureOpenAIEmbedding atau penagihan keterampilan AML. Azure AI Search tidak menghosting model secara internal dari Azure OpenAI atau katalog model Azure AI Foundry. Penggunaan untuk keterampilan dan vektorizer AML dan Azure OpenAI melalui harga prabayar Azure OpenAI dan harga Azure Pembelajaran Mesin bayar sesuai pemakaian, masing-masing. Beberapa keterampilan lain, seperti Pemisahan Teks dan Penggabungan Teks, tidak dapat ditagih.

Untuk melampirkan multi-sumber daya Azure AI, Anda harus memberikan informasi koneksi dalam set keterampilan. Anda dapat menggunakan kunci pada koneksi, atau menerapkan pendekatan tanpa kunci yang saat ini dalam pratinjau.

Tip

Azure menyediakan infrastruktur bagi Anda untuk memantau penagihan dan anggaran. Untuk informasi selengkapnya tentang memantau layanan Azure AI, lihat Merencanakan dan mengelola biaya untuk layanan Azure AI.

Prasyarat

• Konektivitas melalui titik akhir publik, kecuali layanan pencarian Anda memenuhi tanggal pembuatan, tingkat, dan persyaratan wilayah untuk koneksi privat ke sumber daya multi-layanan Azure AI.

Catatan

Jika sumber daya Azure AI Anda dikonfigurasi untuk menggunakan titik akhir privat, Azure AI Search dapat tersambung menggunakan tautan privat bersama Untuk informasi selengkapnya, lihat persyaratan dan batasan untuk menggunakan tautan privat bersama.

Menagih melalui koneksi tanpa kunci

Catatan

Fitur ini masih dalam pratinjau umum. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Dengan menggunakan portal Azure atau pratinjau yang lebih baru REST API dan paket SDK beta, Anda dapat melampirkan sumber daya multi-layanan Azure AI menggunakan identitas dan izin terkelola. Keuntungan dari pendekatan ini adalah penagihan tanpa kunci dan tidak memiliki dependensi pada wilayah.

1. Konfigurasikan Azure AI Search untuk menggunakan identitas terkelola.

2. Pada sumber daya multi-layanan Azure AI Anda, tetapkan identitas ke peran Pengguna Cognitive Services.

3. Menggunakan portal Azure, atau REST API skillset 2024-11-01-preview, atau paket beta Azure SDK yang menyediakan sintaks, mengonfigurasi set keterampilan untuk menggunakan identitas:

   • Identitas terkelola yang digunakan pada koneksi milik layanan pencarian. Ini dapat dikelola sistem atau ditetapkan pengguna.

   • Identitas harus memiliki izin Pengguna Cognitive Services pada sumber daya Azure AI.

   • @odata.type selalu #Microsoft.Azure.Search.AIServicesByIdentity.

   • subdomainUrl adalah titik akhir sumber daya multi-layanan Azure AI Anda. URL subdomain harus menyertakan nama unik (misalnya, https://hereismyuniquename.cognitiveservices.azure.com). Jika layanan dibuat melalui portal Azure, subdomain unik secara otomatis dibuat sebagai bagian dari penyiapan layanan Anda. Pastikan layanan Anda menyertakan subdomain unik sebelum menggunakannya dengan integrasi Azure AI Search.

Seperti halnya kunci, detail yang Anda berikan tentang sumber daya Azure AI Services digunakan untuk penagihan, bukan koneksi. Semua permintaan API yang dibuat oleh Azure AI Search ke layanan Azure AI untuk pemrosesan keterampilan bawaan terus internal dan dikelola oleh Microsoft.

Contoh: identitas terkelola yang ditetapkan sistem

Identitas diatur ke null.

POST https://[service-name].search.windows.net/skillsets/[skillset-name]?api-version=2024-11-01-Preview  

{  
    "name": "my skillset name",  
    "skills":   
    [  
      // skills definition goes here 
    ],  
    "cognitiveServices": {  
        "@odata.type": "#Microsoft.Azure.Search.AIServicesByIdentity",  
        "description": "",  
        "subdomainUrl": “https://[subdomain-name].cognitiveservices.azure.com",  
        "identity": null 
    }  
} 

Contoh: identitas terkelola yang ditetapkan pengguna

Identitas diatur ke ID sumber daya identitas terkelola yang ditetapkan pengguna. Untuk menemukan identitas terkelola yang ditetapkan pengguna yang sudah ada, lihat Mengelola identitas terkelola yang ditetapkan pengguna.

Untuk identitas terkelola yang ditetapkan pengguna, atur @odata.type dan userAssignedIdentity properti .

POST https://[service-name].search.windows.net/skillsets/[skillset-name]?api-version=2024-11-01-Preview  

{  
    "name": "my skillset name",  
    "skills":   
    [  
      // skills definition goes here 
    ],  
    "cognitiveServices": {  
        "@odata.type": "#Microsoft.Azure.Search.AIServicesByIdentity",  
        "description": "",  
        "subdomainUrl": “https://[subdomain-name].cognitiveservices.azure.com",  
        "identity": {   
            "@odata.type":  "#Microsoft.Azure.Search.DataUserAssignedIdentity",   
            "userAssignedIdentity": ""/subscriptions/{subscription-ID}/resourceGroups/{resource-group-name}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{user-assigned-managed-identity-name}"" 
        }
    } 
}

Menagih melalui kunci sumber daya

Azure AI Search juga dapat membebankan biaya untuk transaksi menggunakan kunci sumber daya multi-layanan Azure AI. Pendekatan ini adalah default dan umumnya tersedia. Anda dapat menggunakan portal Azure, REST API, atau Azure SDK untuk menambahkan kunci ke set keterampilan.

Ada dua jenis kunci yang didukung: #Microsoft.Azure.Search.CognitiveServicesByKey yang memanggil titik akhir regional dan "#Microsoft.Azure.Search.AIServicesByKey yang memanggil subdomain. Sebaiknya gunakan AIServicesByKey untuk dukungan tautan privat bersama dan kemampuan untuk berfungsi tanpa persyaratan regional yang relatif terhadap layanan pencarian.

Sumber daya multi-layanan Azure AI harus berada di wilayah yang sama dengan Azure AI Search. Untuk informasi selengkapnya, lihat Wilayah yang didukung oleh Azure AI Search dan pilih wilayah yang menyediakan integrasi layanan AI.

Jika Anda membiarkan cognitiveServices properti tidak ditentukan, layanan pencarian Anda mencoba menggunakan pengayaan gratis yang tersedia untuk pengindeks Anda setiap hari. Eksekusi keterampilan yang dapat ditagih berhenti pada 20 transaksi per pemanggilan pengindeks dan pesan "Waktu Habis" muncul dalam riwayat eksekusi pengindeks.

Portal Azure

1. Masuk ke portal Azure.

2. Buat sumber daya multi-layanan Azure AI di wilayah yang sama dengan layanan pencarian Anda.

3. Dapatkan kunci sumber daya dari halaman Kunci Sumber Daya>dan titik akhir.

4. Tambahkan kunci ke definisi set keterampilan:

   • Jika menggunakan wizard Impor data, buat atau pilih sumber daya layanan Azure AI. Wizard menambahkan kunci sumber daya ke definisi set keterampilan Anda.

   • Untuk set keterampilan baru atau yang sudah ada, berikan kunci dalam definisi set keterampilan.

Catatan

portal Azure secara otomatis melampirkan kunci jenis #Microsoft.Azure.Search.CognitiveServicesByKey.

REST

1. Gunakan BAGIAN Buat atau Perbarui Skillset API, yang menentukan cognitiveServices di isi permintaan:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-11-01-Preview
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.AIServicesByKey",
        "description": "mycogsvcs",
        "subdomainUrl": “https://[subdomain-name].cognitiveservices.azure.com",
        "key": "<your key goes here>"
    }
}

.NET SDK

Cuplikan kode berikut adalah dari azure-search-dotnet-samples, dipangkas agar lebih singkat.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Menghapus kunci

Pengayaan adalah operasi yang dapat ditagih. Jika Anda tidak perlu lagi memanggil layanan Azure AI, ikuti instruksi berikut untuk menghapus kunci multi-layanan dan mencegah penggunaan sumber daya eksternal. Tanpa kunci, set keterampilan kembali ke alokasi default 20 transaksi gratis per pengindeks, per hari. Eksekusi keterampilan yang dapat ditagih berhenti pada 20 transaksi dan pesan "Waktu Habis" muncul dalam riwayat eksekusi pengindeks saat alokasi digunakan.

Portal Azure

1. Masuk ke portal Azure.

2. Di bawah Keterampilan manajemen > pencarian, pilih set keterampilan dari daftar.

   

3. Gulir ke bagian dalam file yang berisi "cognitiveServices".

4. Hapus nilai kunci dari JSON dan simpan set keterampilan.

   

REST

1. Dapatkan Skillset sehingga Anda memiliki definisi lengkap.

2. Merumuskan permintaan Perbarui Skillset , memberikan definisi JSON dari set keterampilan.

3. Hapus kunci dalam isi definisi, lalu kirim permintaan:

   PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-07-01
   api-key: [admin key]
   Content-Type: application/json
   {
       "name": "skillset name",
       "skills": 
       [
         {
           "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
           "categories": [ "Organization" ],
           "defaultLanguageCode": "en",
           "inputs": [
             {
               "name": "text", "source": "/document/content"
             }
           ],
           "outputs": [
             {
               "name": "organizations", "targetName": "organizations"
             }
           ]
         }
       ],
       "cognitiveServices": {
           "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
           "description": "mycogsvcs",
           "key": ""
       }
   }
   

   Atau, Anda dapat mengatur "cognitiveServices" ke null:

   "cognitiveServices": null,
   

Cara kunci digunakan

Penagihan berlaku saat panggilan API ke sumber daya layanan Azure AI melebihi 20 panggilan API per pengindeks, per hari. Anda dapat mengatur ulang pengindeks untuk mengatur ulang jumlah API.

Koneksi tanpa kunci dan berbasis kunci digunakan untuk penagihan, tetapi tidak untuk koneksi operasi pengayaan.

Untuk koneksi berbasis kunci, layanan pencarian terhubung melalui jaringan internal ke sumber daya layanan Azure AI yang terletak di wilayah fisik yang sama. Sebagian besar wilayah yang menawarkan Azure AI Search juga menawarkan layanan Azure AI lainnya seperti Language. Jika Anda mencoba pengayaan AI di wilayah yang tidak memiliki kedua layanan, Anda akan melihat pesan ini: "Kunci yang disediakan bukan kunci jenis CognitiveServices yang valid untuk wilayah layanan pencarian Anda."

Untuk koneksi tanpa kunci, layanan pencarian mengautentikasi menggunakan identitas dan penetapan perannya, yang menargetkan sumber daya multi-layanan Azure AI yang ditentukan sebagai URI yang sepenuhnya memenuhi syarat, memiliki subdomain unik dalam URI tersebut.

Pengindeks dapat dikonfigurasi untuk berjalan di lingkungan eksekusi privat untuk pemrosesan khusus hanya menggunakan simpul pencarian layanan pencarian Anda sendiri. Bahkan jika Anda menggunakan lingkungan eksekusi privat, Azure AI Search masih menggunakan sumber daya multiservice Azure AI yang disediakan secara internal untuk melakukan semua pengayaan keterampilan.

Catatan

Beberapa keterampilan bawaan didasarkan pada layanan Azure AI non-regional (misalnya, Keterampilan Terjemahan Teks). Menggunakan keterampilan non-regional berarti permintaan Anda mungkin dilayankan di wilayah selain wilayah Pencarian Azure AI. Untuk informasi selengkapnya tentang layanan non-regional, lihat halaman produk layanan Azure AI menurut wilayah .

Persyaratan koneksi publik

Bergantung pada kapan layanan pencarian Anda dibuat, dan tingkat dan wilayahnya, penagihan untuk keterampilan bawaan dapat memerlukan koneksi publik dari Azure AI Search ke multi-layanan Azure AI. Menonaktifkan penagihan pemutusan akses jaringan publik dalam beberapa skenario. Tinjau persyaratan untuk koneksi melalui tautan privat bersama untuk menentukan apakah layanan pencarian Anda memerlukan koneksi publik.

Jika Anda tidak dapat menggunakan jaringan publik, Anda dapat mengonfigurasi keterampilan API Web Kustom yang diimplementasikan dengan Azure Function yang mendukung titik akhir privat dan menambahkan sumber daya layanan Azure AI ke VNET yang sama. Dengan cara ini, Anda dapat memanggil sumber daya layanan Azure AI langsung dari keterampilan kustom menggunakan titik akhir privat.

Persyaratan utama kasus khusus

Pencarian Entitas Kustom diukur oleh Azure AI Search, bukan layanan Azure AI, tetapi memerlukan kunci sumber daya multi-layanan Azure AI untuk membuka kunci transaksi di luar 20 per pengindeks, per hari. Untuk keterampilan ini saja, kunci sumber daya membuka blokir jumlah transaksi, tetapi tidak terkait dengan penagihan.

Pengayaan gratis

Pengayaan AI menawarkan sejumlah kecil pemrosesan gratis pengayaan yang dapat ditagih sehingga Anda dapat menyelesaikan latihan singkat tanpa harus melampirkan sumber daya multi-layanan Azure AI. Pengayaan gratis berupa 20 dokumen per hari untuk tiap pengindeks. Anda dapat mengatur ulang pengindeks untuk mengatur ulang penghitung jika Anda ingin mengulangi latihan.

Beberapa pengayaan selalu gratis:

• Keterampilan utilitas yang tidak memanggil layanan Azure AI (yaitu, keterampilan Kondisional, Ekstraksi Dokumen, Pembentuk, Penggabungan Teks, dan Pemisahan Teks) tidak dapat ditagih.

• Ekstraksi teks dari dokumen PDF dan file aplikasi lainnya tidak dapat dibijaksakan. Ekstraksi teks, yang terjadi selama pemecahan dokumen, bukan pengayaan AI, tetapi terjadi selama pengayaan AI dan dengan demikian dicatat di sini.

Pengayaan yang dapat ditagih

Selama pengayaan AI, Azure AI Search memanggil API layanan Azure AI untuk keterampilan bawaan yang didasarkan pada Azure AI Vision, Penerjemah, dan Bahasa Azure AI.

Keterampilan bawaan yang dapat ditagih yang melakukan panggilan backend ke layanan Azure AI termasuk Penautan Entitas, Pengenalan Entitas, Analisis Gambar, Ekstraksi Frasa Kunci, Deteksi Bahasa, OCR, Deteksi Informasi Pengidentifikasi Pribadi (PII), Sentimen, Terjemahan Teks, dan keterampilan penyematan multimodal Azure AI Vision.

Vektorizer waktu kueri yang didukung oleh model penyematan multimodal Azure AI Vision juga merupakan pengayaan yang dapat ditagih.

Ekstraksi gambar adalah operasi Pencarian Azure AI yang terjadi ketika dokumen dipecah sebelum pengayaan. Ekstraksi gambar dapat ditagih pada semua tingkatan, kecuali untuk 20 ekstraksi harian gratis pada tingkat gratis. Biaya ekstraksi gambar berlaku untuk file gambar di dalam blob, gambar yang disematkan di file lain (PDF dan file aplikasi lainnya), dan untuk gambar yang diekstraksi menggunakan Ekstraksi Dokumen. Untuk harga ekstraksi gambar, lihat halaman harga Azure AI Search.

Tip

Untuk menurunkan biaya pemrosesan set keterampilan, aktifkan pengayaan inkremental untuk cache dan gunakan kembali pengayaan apa pun yang tidak terpengaruh oleh perubahan yang dilakukan pada set keterampilan. Penembolokan (caching) memerlukan Azure Storage (lihat harga) tetapi biaya kumulatif eksekusi kumpulan keterampilan lebih rendah jika pengayaan yang ada dapat digunakan kembali, terutama untuk kumpulan keterampilan yang menggunakan ekstraksi dan analisis gambar.

Contoh: Memperkirakan biaya

Untuk memperkirakan biaya yang terkait dengan pengindeksan Azure AI Search, mulailah dengan gambaran seperti apa dokumen rata-rata sehingga Anda dapat menjalankan beberapa angka. Misalnya, Anda mungkin memperkirakan:

• 1.000 PDF.
• Masing-masing 6 halaman.
• Satu gambar per halaman (6.000 gambar).
• 3.000 karakter per halaman.

Asumsikan ada alur yang terdiri atas pemecahan dokumen dari setiap PDF, ekstraksi gambar dan teks, pengenalan karakter optik (OCR) gambar, dan pengenalan entitas organisasi.

Harga yang ditunjukkan dalam artikel ini bersifat hipotetis. Harga tersebut digunakan untuk menggambarkan proses estimasi. Biaya Anda dapat lebih rendah. Untuk harga transaksi aktual, lihat Harga layanan Azure AI.

1. Untuk pemecahan dokumen dengan konten teks dan gambar, ekstraksi teks saat ini gratis. Untuk 6.000 gambar, asumsikan $1 untuk setiap 1.000 gambar yang diekstrak. Itu artinya biayanya adalah $6.00 untuk langkah ini.

2. Untuk OCR dari 6.000 gambar dalam bahasa Inggris, keterampilan kognitif OCR menggunakan algoritma terbaik (DescribeText). Dengan asumsi biaya $2.50 per 1.000 gambar yang akan dianalisis, Anda akan membayar $15.00 untuk langkah ini.

3. Untuk ekstraksi entitas, Anda akan memiliki total tiga rekaman teks per halaman. Setiap rekaman berisi 1.000 karakter. Tiga rekaman teks per halaman dikalikan dengan 6.000 halaman sama dengan 18.000 rekaman teks. Dengan asumsi $2.00 per 1.000 rekaman teks, langkah ini akan dikenakan biaya $36.00.

Dengan menambahkan semuanya, Anda akan membayar sekitar $57.00 untuk menyerap 1.000 dokumen PDF jenis ini dengan keterampilan yang telah dijelaskan.

Langkah berikutnya

• Halaman harga Azure AI Search
• Cara menentukan set keterampilan
• Membuat Kumpulan Keterampilan (REST)
• Cara memetakan bidang yang diperkaya