Bagikan melalui

Tutorial: Memulai dengan model penalaran DeepSeek-R1 dalam model Azure AI Foundry

Dalam tutorial ini, Anda belajar:

  • Cara membuat dan mengonfigurasi sumber daya Azure untuk menggunakan DeepSeek-R1 di Model Azure AI Foundry.
  • Cara mengatur penerapan model.
  • Cara menggunakan DeepSeek-R1 dengan Azure AI Inference SDK atau REST API.
  • Cara menggunakan DeepSeek-R1 dengan SDK lain.

Prasyarat

Untuk menyelesaikan artikel ini, Anda memerlukan:

Model Penalaran

Model penalaran dapat mencapai tingkat performa yang lebih tinggi di domain seperti matematika, pengkodean, sains, strategi, dan logistik. Cara model ini menghasilkan output adalah dengan secara eksplisit menggunakan rantai pemikiran untuk menjelajahi semua jalur yang mungkin sebelum menghasilkan jawaban. Mereka memverifikasi jawaban mereka saat mereka menghasilkannya, yang membantu mencapai kesimpulan yang lebih akurat. Akibatnya, model penalaran mungkin memerlukan lebih sedikit konteks dalam meminta untuk menghasilkan hasil yang efektif.

Cara penskalaan performa model ini disebut sebagai waktu komputasi inferensi karena memperdagangkan performa terhadap latensi dan biaya yang lebih tinggi. Sebaliknya, pendekatan lain mungkin menskalakan melalui waktu komputasi pelatihan.

Model penalaran menghasilkan dua jenis konten sebagai output:

  • Penyelesaian Logika
  • Penyempurnaan hasil

Kedua penyelesaian ini diperhitungkan sebagai konten yang dihasilkan dari model. Oleh karena itu, mereka berkontribusi pada batas token dan biaya yang terkait dengan model. Beberapa model, seperti DeepSeek-R1, mungkin merespons dengan konten penalaran. Lainnya, seperti o1, hanya menghasilkan penyelesaian.

Buat sumber daya

Kapabilitas Model Foundry adalah bagian dari sumber daya Azure AI Foundry di Azure. Anda dapat membuat penerapan model di dalam sumber daya untuk menggunakan prediksinya. Anda juga dapat menyambungkan sumber daya ke hub dan proyek Azure AI di Azure AI Foundry untuk membuat aplikasi cerdas jika diperlukan.

Untuk membuat proyek Azure AI yang mendukung penyebaran untuk DeepSeek-R1, ikuti langkah-langkah ini. Anda juga dapat membuat sumber daya dengan menggunakan Azure CLI, atau infrastruktur sebagai kode, dengan Bicep.

Petunjuk / Saran

Karena Anda bisa mengkustomisasi panel kiri di portal Azure AI Foundry, Anda mungkin melihat item yang berbeda dari yang diperlihatkan dalam langkah-langkah ini. Jika Anda tidak melihat apa yang Anda cari, pilih ... Lainnya di bagian bawah panel kiri.

  1. Masuk ke portal Azure AI Foundry.

  2. Buka ikon fitur pratinjau di header halaman arahan dan pastikan fitur Sebarkan model ke sumber daya Azure AI Foundry diaktifkan.

    Cuplikan layar memperlihatkan langkah-langkah untuk mengaktifkan penyebaran ke sumber daya Foundry.

  3. Pada halaman arahan, buka bagian "Jelajahi model dan kemampuan" dan pilih Buka katalog model lengkap untuk membuka katalog model. Cuplikan layar beranda portal Foundry memperlihatkan bagian katalog model.

  4. Cari model DeepSeek-R1 dan buka kartu modelnya.

  5. Pilih Gunakan model ini. Tindakan ini membuka wizard untuk membuat proyek dan sumber daya Azure AI Foundry yang akan menjadi tempat Anda bekerja. Anda dapat menyimpan nama default untuk proyek atau mengubahnya.

    Petunjuk / Saran

    Apakah Anda menggunakan Azure OpenAI di Model Azure AI Foundry? Saat Anda tersambung ke portal Azure AI Foundry menggunakan sumber daya Azure OpenAI, hanya model Azure OpenAI yang muncul di katalog. Untuk melihat daftar lengkap model, termasuk DeepSeek-R1, gunakan bagian Pengumuman teratas dan temukan kartu dengan opsi Jelajahi lebih banyak model.

    Cuplikan layar memperlihatkan kartu dengan opsi untuk menjelajahi semua model dari katalog.

    Jendela baru muncul dengan daftar lengkap model. Pilih DeepSeek-R1 dari daftar dan pilih Sebarkan. Wizard meminta untuk membuat proyek baru.

  6. Pilih menu dropdown di bagian "Opsi tingkat lanjut" wizard untuk melihat detail default lain yang dibuat bersama proyek. Default ini dipilih untuk fungsionalitas optimal dan meliputi:

    Harta benda Deskripsi
    Grup sumber daya Kontainer utama untuk semua sumber daya di Azure. Ini membantu mendapatkan sumber daya yang bekerja sama terorganisir. Ini juga membantu memiliki cakupan untuk biaya yang terkait dengan seluruh proyek.
    Wilayah Area sumber daya yang sedang Anda buat.
    Sumber daya AI Foundry Sumber daya yang memungkinkan akses ke model andalan dalam katalog model Azure AI. Dalam tutorial ini, akun baru dibuat, tetapi sumber daya Azure AI Foundry (sebelumnya dikenal sebagai sumber daya Azure AI Services) dapat dibagikan di beberapa hub dan proyek. Hub menggunakan koneksi ke sumber daya untuk mendapatkan akses ke penerapan model yang tersedia di sana. Untuk mempelajari cara membuat koneksi ke sumber daya Azure AI Foundry untuk menggunakan model, lihat Menyambungkan proyek AI Anda.

  7. Pilih Buat untuk membuat proyek Foundry bersama default lainnya. Tunggu hingga pembuatan proyek selesai. Proses ini membutuhkan waktu beberapa menit.

Pengimplementasian model

  1. Setelah proyek dan sumber daya selesai dibuat, wizard penyebaran akan muncul. DeepSeek-R1 ditawarkan sebagai layanan konsumsi pihak pertama Microsoft. Anda dapat meninjau komitmen privasi dan keamanan kami di bawah Data, privasi, dan Keamanan.

  2. Tinjau detail harga untuk model dengan memilih tab Harga dan istilah.

  3. Pilih Setuju dan Lanjutkan untuk melanjutkan penyebaran.

  4. Anda dapat mengonfigurasi pengaturan penyebaran saat ini. Secara bawaan, penerapan akan menggunakan nama model yang Anda terapkan. Nama penyebaran digunakan dalam parameter model agar permintaan dapat dirutekan ke penyebaran model tertentu ini. Ini memungkinkan Anda juga mengonfigurasi nama tertentu untuk model Anda saat Anda melampirkan konfigurasi tertentu.

  5. Azure AI Foundry secara otomatis memilih sumber daya Foundry yang dibuat sebelumnya dengan proyek Anda. Gunakan opsi Kustomisasi untuk mengubah koneksi berdasarkan kebutuhan Anda. DeepSeek-R1 saat ini ditawarkan di bawah jenis penyebaran Standar Global , yang menawarkan throughput dan performa yang lebih tinggi.

    Cuplikan layar memperlihatkan cara menerapkan model.

  6. Pilih Sebarkan.

  7. Setelah penyebaran selesai, halaman Detail Penyebaran akan terbuka. Sekarang model baru siap digunakan.

Menggunakan model di taman bermain

Anda dapat memulai dengan menggunakan model di taman bermain untuk memiliki gagasan tentang kemampuan model.

  1. Pada halaman detail penyebaran, pilih Buka di ruang uji coba di bilah atas. Tindakan ini membuka taman bermain obrolan.

  2. Di menu drop-down Penyebaran pada playground percakapan, penyebaran yang Anda buat sudah dipilih secara otomatis.

  3. Konfigurasikan prompt sistem sesuai kebutuhan. Secara umum, model penalaran tidak menggunakan pesan sistem dengan cara yang sama seperti jenis model lainnya.

    Cuplikan layar memperlihatkan cara memilih penyebaran model untuk digunakan di playground, mengonfigurasi pesan sistem, dan mengujinya.

  4. Ketik perintah Anda dan lihat outputnya.

  5. Selain itu, Anda dapat menggunakan Tampilkan kode untuk melihat detail tentang cara mengakses penyebaran model secara terprogram.

Model pemicu penalaran

Saat membuat permintaan untuk model penalaran, pertimbangkan hal berikut:

  • Gunakan instruksi sederhana dan hindari menggunakan teknik rantai pemikiran.
  • Kemampuan penalaran bawaan membuat perintah zero-shot sederhana sama efektifnya dengan metode yang lebih kompleks.
  • Dalam skenario seperti RAG, saat memberikan konteks atau dokumen tambahan, termasuk hanya informasi yang paling relevan dapat membantu mencegah model terlalu mempersulit responsnya.
  • Model penalaran dapat mendukung penggunaan pesan sistem. Namun, mereka mungkin tidak mengikutinya dengan ketat seperti model non-penalaran lainnya.
  • Saat membuat aplikasi multi-giliran, pertimbangkan untuk menambahkan hanya jawaban akhir dari model, tanpa konten penalaran, seperti yang dijelaskan di bagian Konten penalaran .

Perhatikan bahwa model penalaran dapat memakan waktu lebih lama untuk menghasilkan respons. Mereka menggunakan rantai pemikiran penalaran panjang yang memungkinkan pemecahan masalah yang lebih dalam dan lebih terstruktur. Mereka juga melakukan verifikasi diri untuk memeriksa jawaban mereka dan memperbaiki kesalahan, sehingga menampilkan perilaku reflektif diri yang berkembang.

Menggunakan model dalam kode

Gunakan endpoint dan kredensial Foundry Models untuk menghubungkan ke model.

Cuplikan layar memperlihatkan cara mendapatkan URL dan kunci yang terkait dengan penyebaran.

Anda dapat menggunakan paket Inferensi Model Azure AI untuk menggunakan model dalam kode:

Instal paket azure-ai-inference menggunakan pengelola paket Anda, seperti pip:

pip install azure-ai-inference

Selanjutnya, Anda dapat menggunakan paket untuk memanfaatkan model. Contoh berikut menunjukkan cara membuat klien untuk menggunakan hasil obrolan:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZURE_INFERENCE_CREDENTIAL"]),
)

Jelajahi contoh kami dan baca dokumentasi referensi API untuk memulai.

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        UserMessage(content="How many languages are in the world?"),
    ],
    model="DeepSeek-R1"
)

print(response.choices[0].message.content)

Penalaran dapat menghasilkan respons yang lebih lama dan menggunakan sejumlah besar token. Anda dapat melihat batas tarif yang berlaku untuk model DeepSeek-R1. Pertimbangkan untuk memiliki strategi coba ulang untuk menangani pembatasan laju yang diberlakukan. Anda juga dapat meminta peningkatan ke batas default.

Materi Penalaran

Beberapa model penalaran, seperti DeepSeek-R1, menghasilkan penyelesaian dan menyertakan penalaran di baliknya. Penalaran yang terkait dengan penyelesaian disertakan dalam konten respons dalam tag <think> dan </think>. Model mungkin memilih skenario untuk menghasilkan konten penalaran. Contoh berikut menunjukkan cara membuat konten penalaran, menggunakan Python:

import re

match = re.match(r"<think>(.*?)</think>(.*)", response.choices[0].message.content, re.DOTALL)

print("Response:", )
if match:
    print("\tThinking:", match.group(1))
    print("\tAnswer:", match.group(2))
else:
    print("\tAnswer:", response.choices[0].message.content)
print("Model:", response.model)
print("Usage:")
print("\tPrompt tokens:", response.usage.prompt_tokens)
print("\tTotal tokens:", response.usage.total_tokens)
print("\tCompletion tokens:", response.usage.completion_tokens)

Thinking: Okay, the user is asking how many languages exist in the world. I need to provide a clear and accurate answer. Let's start by recalling the general consensus from linguistic sources. I remember that the number often cited is around 7,000, but maybe I should check some reputable organizations.\n\nEthnologue is a well-known resource for language data, and I think they list about 7,000 languages. But wait, do they update their numbers? It might be around 7,100 or so. Also, the exact count can vary because some sources might categorize dialects differently or have more recent data. \n\nAnother thing to consider is language endangerment. Many languages are endangered, with some having only a few speakers left. Organizations like UNESCO track endangered languages, so mentioning that adds context. Also, the distribution isn't even. Some countries have hundreds of languages, like Papua New Guinea with over 800, while others have just a few. \n\nA user might also wonder why the exact number is hard to pin down. It's because the distinction between a language and a dialect can be political or cultural. For example, Mandarin and Cantonese are considered dialects of Chinese by some, but they're mutually unintelligible, so others classify them as separate languages. Also, some regions are under-researched, making it hard to document all languages. \n\nI should also touch on language families. The 7,000 languages are grouped into families like Indo-European, Sino-Tibetan, Niger-Congo, etc. Maybe mention a few of the largest families. But wait, the question is just about the count, not the families. Still, it's good to provide a bit more context. \n\nI need to make sure the information is up-to-date. Let me think – recent estimates still hover around 7,000. However, languages are dying out rapidly, so the number decreases over time. Including that note about endangerment and language extinction rates could be helpful. For instance, it's often stated that a language dies every few weeks. \n\nAnother point is sign languages. Does the count include them? Ethnologue includes some, but not all sources might. If the user is including sign languages, that adds more to the count, but I think the 7,000 figure typically refers to spoken languages. For thoroughness, maybe mention that there are also over 300 sign languages. \n\nSummarizing, the answer should state around 7,000, mention Ethnologue's figure, explain why the exact number varies, touch on endangerment, and possibly note sign languages as a separate category. Also, a brief mention of Papua New Guinea as the most linguistically diverse country. \n\nWait, let me verify Ethnologue's current number. As of their latest edition (25th, 2022), they list 7,168 living languages. But I should check if that's the case. Some sources might round to 7,000. Also, SIL International publishes Ethnologue, so citing them as reference makes sense. \n\nOther sources, like Glottolog, might have a different count because they use different criteria. Glottolog might list around 7,000 as well, but exact numbers vary. It's important to highlight that the count isn't exact because of differing definitions and ongoing research. \n\nIn conclusion, the approximate number is 7,000, with Ethnologue being a key source, considerations of endangerment, and the challenges in counting due to dialect vs. language distinctions. I should make sure the answer is clear, acknowledges the variability, and provides key points succinctly.

Answer: The exact number of languages in the world is challenging to determine due to differences in definitions (e.g., distinguishing languages from dialects) and ongoing documentation efforts. However, widely cited estimates suggest there are approximately **7,000 languages** globally.
Model: DeepSeek-R1
Usage: 
  Prompt tokens: 11
  Total tokens: 897
  Completion tokens: 886

Parameter-parameternya

Secara umum, model penalaran tidak mendukung parameter berikut yang dapat Anda temukan dalam model penyelesaian obrolan:

  • Suhu
  • Penalti atas kehadiran
  • Hukuman Pengulangan
  • Parameter top_p

Konten terkait