Baca dalam bahasa Inggris

Bagikan melalui

Desain arsitektur kecerdasan buatan (AI)

  • Artikel

Kecerdasan buatan (AI) adalah teknologi yang memungkinkan mesin meniru perilaku manusia yang cerdas. Dengan AI, mesin dapat:

  • Analisis data untuk membuat gambar dan video.
  • Menganalisis dan mensintesis ucapan.
  • Berinteraksi secara verbal dengan cara alami.
  • Buat prediksi dan hasilkan data baru.

Arsitek merancang beban kerja yang menggunakan kecerdasan buatan untuk melakukan fungsi atau membuat keputusan di mana logika atau pemrosesan tradisional akan dilarang, atau bahkan hampir tidak mungkin diterapkan. Sebagai arsitek yang merancang solusi, penting untuk memahami lanskap AI dan pembelajaran mesin dan bagaimana Azure menawarkan solusi untuk integrasi ke dalam desain beban kerja Anda.

Konsep AI

Algoritma

Algoritma atau algoritma pembelajaran mesin adalah potongan kode yang membantu manusia menjelajahi, menganalisis, dan menemukan makna dalam himpunan data yang kompleks. Setiap algoritma adalah serangkaian instruksi langkah demi langkah yang tidak ambigu yang dapat diikuti mesin untuk mencapai tujuan tertentu. Dalam model pembelajaran mesin, tujuannya adalah untuk menetapkan atau menemukan pola yang dapat digunakan manusia untuk membuat prediksi atau mengategorikan informasi. Algoritma dapat menjelaskan bagaimana menentukan apakah hewan peliharaan adalah kucing, anjing, ikan, burung, atau kadal. Algoritma lain yang jauh lebih rumit dapat menggambarkan bagaimana mengidentifikasi bahasa komputer tertulis atau lisan, menganalisis kata-katanya, menerjemahkannya ke dalam bahasa komputer yang berbeda, dan kemudian memeriksa terjemahan untuk akurasi.

Saat merancang beban kerja, Anda harus memilih keluarga algoritma yang cocok untuk tugas Anda dan mengevaluasi berbagai algoritma yang tersedia untuk menemukan kecocokan yang sesuai.

Pembelajaran Mesin

Pembelajaran mesin adalah teknik AI yang menggunakan algoritma untuk membuat model prediktif. Algoritma digunakan untuk mengurai bidang data dan untuk "belajar" dari data tersebut dengan menggunakan pola yang ditemukan di dalamnya untuk menghasilkan model. Model-model tersebut kemudian digunakan untuk membuat prediksi atau keputusan berdasarkan informasi tentang data baru.

Model prediktif divalidasi terhadap data yang diketahui, diukur dengan metrik kinerja yang dipilih untuk skenario bisnis tertentu, dan kemudian disesuaikan sesuai kebutuhan. Proses pembelajaran dan validasi ini disebut pelatihan. Melalui pelatihan ulang berkala, model ML ditingkatkan dari waktu ke waktu.

Ketika datang ke desain beban kerja, Anda mempertimbangkan untuk menggunakan pembelajaran mesin ketika Anda memiliki situasi di mana pengamatan sebelumnya dapat digunakan dengan andal untuk memprediksi situasi di masa depan. Pengamatan ini dapat menjadi kebenaran universal seperti visi komputer yang mendeteksi salah satu bentuk hewan dari yang lain, atau pengamatan ini dapat spesifik untuk situasi Anda seperti visi komputer yang mendeteksi potensi kesalahan perakitan pada garis perakitan Anda berdasarkan data klaim garansi sebelumnya.

Pembelajaran mendalam

Pembelajaran mendalam adalah jenis ML yang dapat belajar melalui pemrosesan datanya sendiri. Seperti pembelajaran mesin, ia juga menggunakan algoritma untuk menganalisis data, tetapi dilakukan dengan menggunakan jaringan neural buatan yang berisi banyak input, output, dan lapisan pemrosesan. Setiap lapisan dapat memproses data dengan cara yang berbeda, dan output satu lapisan menjadi input untuk yang berikutnya. Hal ini memungkinkan pembelajaran mendalam untuk menciptakan model yang lebih kompleks daripada pembelajaran mesin tradisional.

Sebagai perancang beban kerja, opsi ini memerlukan investasi besar dalam menghasilkan model yang sangat disesuaikan atau eksplorasi. Secara umum, Anda akan mempertimbangkan solusi lain yang disajikan dalam artikel ini sebelum menambahkan pembelajaran mendalam ke dalam beban kerja Anda.

AI Generatif

AI generatif adalah bentuk kecerdasan buatan di mana model dilatih untuk menghasilkan konten asli baru berdasarkan banyak bentuk konten seperti bahasa alami, visi komputer, audio, atau input gambar. Dengan AI generatif, Anda dapat menggambarkan output yang diinginkan dalam bahasa sehari-hari normal, dan model dapat merespons dengan membuat teks, gambar, kode, dan banyak lagi yang sesuai. Beberapa contoh aplikasi AI generatif adalah:

  • Microsoft Copilot terutama merupakan antarmuka pengguna yang dapat membantu pengguna dalam menulis kode, dokumen, dan konten berbasis teks lainnya. Ini didasarkan pada model OpenAI populer dan diintegrasikan ke dalam berbagai aplikasi Microsoft dan pengalaman pengguna.

  • Azure OpenAI adalah platform pengembangan sebagai layanan yang menyediakan akses ke model bahasa OpenAI yang kuat seperti o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo dengan Vision, GPT-4, GPT-3.5-Turbo, dan Embeddings model series. Model-model ini dapat disesuaikan dengan tugas spesifik Anda seperti:

    • Pembuatan konten
    • Ringkasan konten
    • Pemahaman gambar
    • Pencarian semantik
    • Bahasa alami untuk terjemahan kode.

Model bahasa

Model bahasa adalah subset AI Generatif yang berfokus pada tugas pemrosesan bahasa alami (NLP), seperti pembuatan teks dan analisis sentimen. Model ini mewakili bahasa alami berdasarkan probabilitas kata atau urutan kata yang terjadi dalam konteks tertentu.

Model bahasa konvensional telah digunakan dalam pengaturan yang diawasi untuk tujuan penelitian di mana model dilatih pada himpunan data teks berlabel baik untuk tugas tertentu. Model bahasa yang telah dilatih sebelumnya menawarkan cara yang dapat diakses untuk mulai menggunakan AI dan telah menjadi lebih banyak digunakan dalam beberapa tahun terakhir. Model-model ini dilatih pada korpora teks skala besar dari internet menggunakan jaringan neural pembelajaran mendalam dan dapat disempurnakan pada himpunan data yang lebih kecil untuk tugas tertentu.

Ukuran model bahasa ditentukan oleh jumlah parameter, atau bobotnya, yang menentukan bagaimana model memproses data input dan menghasilkan output. Parameter dipelajari selama proses pelatihan dengan menyesuaikan bobot dalam lapisan model untuk meminimalkan perbedaan antara prediksi model dan data aktual. Semakin banyak parameter yang dimiliki model, semakin kompleks dan ekspresif, tetapi juga semakin mahal secara komputasi untuk melatih dan menggunakannya.

Secara umum, model bahasa kecil memiliki kurang dari 10 miliar parameter, dan model bahasa besar memiliki lebih dari 10 miliar parameter. Misalnya, keluarga model Microsoft Phi-3 memiliki tiga versi dengan ukuran yang berbeda: mini (3,8 miliar parameter), kecil (7 miliar parameter), dan sedang (14 miliar parameter).

Copilot

Ketersediaan model bahasa menyebabkan munculnya cara baru untuk berinteraksi dengan aplikasi dan sistem melalui salinan digital dan terhubung, khusus domain, agen. Copilot adalah asisten AI generatif yang sering kali diintegrasikan ke dalam aplikasi sebagai antarmuka obrolan. Mereka memberikan dukungan kontekstual untuk tugas umum dalam aplikasi tersebut.

Microsoft Copilot diintegrasikan ke dalam berbagai aplikasi Microsoft dan pengalaman pengguna. Ini didasarkan pada arsitektur terbuka yang memungkinkan pengembang pihak ketiga membuat plug-in mereka sendiri untuk memperluas atau menyesuaikan pengalaman pengguna dengan Microsoft Copilot. Selain itu, pengembang pihak ketiga dapat membuat salinan mereka sendiri menggunakan arsitektur terbuka yang sama.

Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG) adalah pola arsitektur yang menambah kemampuan model bahasa besar (LLM) seperti ChatGPT, yang hanya dilatih pada data publik. Pola ini memungkinkan Anda menambahkan sistem pengambilan yang menyediakan data grounding yang relevan dalam konteks dengan permintaan pengguna. Menambahkan sistem pengambilan informasi memberi Anda kontrol atas data grounding yang digunakan oleh model bahasa saat merumuskan respons. Arsitektur RAG membantu Anda mencakup AI generatif ke konten yang bersumber dari dokumen, gambar, dan format data yang di-vektorisasi. RAG tidak terbatas pada penyimpanan pencarian vektor namun, pola ini berlaku bersama dengan teknologi penyimpanan data apa pun.

Pembelajaran mesin otomatis (AutoML)

Pembelajaran mesin otomatis, juga disebut sebagai ML atau AutoML otomatis, adalah proses mengotomatiskan tugas berulang yang memakan waktu dari pengembangan model pembelajaran mesin. Ini memungkinkan ilmuwan data, analis, dan pengembang untuk membangun model ML dengan skala tinggi, efisiensi, dan produktivitas sambil mempertahankan kualitas model.

Layanan AI

Dengan pengembang dan organisasi layanan Azure AI dapat membuat aplikasi cerdas, siap pasar, dan bertanggung jawab dengan API dan model yang siap pakai, bawaan, dan dapat disesuaikan. Penggunaan termasuk pemrosesan bahasa alami untuk percakapan, pencarian, pemantauan, terjemahan, ucapan, visi, dan pengambilan keputusan.

Model Bahasa AI

  • Model Bahasa Besar (LLM), seperti model GPT OpenAI, adalah alat canggih yang dapat menghasilkan bahasa alami di berbagai domain dan tugas. Saat mempertimbangkan untuk menggunakan model ini, pertimbangkan faktor-faktor seperti privasi data, penggunaan etis, akurasi, dan bias.

  • Model terbuka Phi adalah model kecil yang kurang intensif komputasi untuk solusi AI generatif. Model bahasa kecil (SLM) mungkin lebih efisien, dapat ditafsirkan, dan dapat dijelaskan daripada model bahasa besar.

Saat merancang beban kerja, Anda dapat menggunakan model bahasa baik sebagai solusi yang dihosting, di belakang API terukur atau untuk banyak model bahasa kecil, Anda dapat menghosting model dalam proses atau setidaknya pada komputasi yang sama dengan konsumen. Saat menggunakan model bahasa dalam solusi Anda, pertimbangkan pilihan model bahasa Anda dan opsi hosting yang tersedia untuk memastikan Anda menggunakan solusi yang dioptimalkan untuk kasus penggunaan Anda.

Platform dan alat pengembangan AI

Layanan Pembelajaran Mesin Azure

Azure Pembelajaran Mesin adalah layanan pembelajaran mesin untuk membangun dan menyebarkan model. Azure Pembelajaran Mesin menawarkan antarmuka web dan SDK sehingga Anda dapat melatih dan menyebarkan model dan alur pembelajaran mesin Dalam skala besar. Gunakan kemampuan ini dengan kerangka kerja Python sumber terbuka, seperti PyTorch, TensorFlow, dan scikit-learn.

Arsitektur referensi pembelajaran mesin untuk Azure

Pembelajaran mesin otomatis (AutoML)

Buat model ML dalam skala besar menggunakan kemampuan AutoML di Azure Pembelajaran Mesin untuk mengotomatiskan tugas.

MLflow

Ruang kerja Azure Pembelajaran Mesin kompatibel dengan MLflow, yang berarti Anda dapat menggunakan ruang kerja Azure Pembelajaran Mesin dengan cara yang sama seperti Anda menggunakan server MLflow. Kompatibilitas ini memiliki keuntungan berikut:

  • Azure Pembelajaran Mesin tidak menghosting instans server MLflow, tetapi dapat menggunakan API MLflow secara langsung.
  • Anda dapat menggunakan ruang kerja Azure Pembelajaran Mesin sebagai server pelacakan Anda untuk kode MLflow apa pun, baik berjalan di Azure Pembelajaran Mesin atau tidak. Anda hanya perlu mengonfigurasi MLflow untuk menunjuk ke ruang kerja tempat pelacakan harus terjadi.
  • Anda dapat menjalankan rutinitas pelatihan apa pun yang menggunakan MLflow di Azure Pembelajaran Mesin tanpa membuat perubahan apa pun.

Untuk informasi selengkapnya, lihat MLflow dan Azure Pembelajaran Mesin

Alat AI generatif

  • Alur prompt adalah serangkaian alat pengembangan yang dirancang untuk menyederhanakan siklus pengembangan end-to-end aplikasi AI generatif, dari ideasi, prototipe, pengujian, evaluasi hingga penyebaran dan pemantauan produksi. Ini mendukung rekayasa yang cepat melalui mengekspresikan tindakan dalam orkestrasi modular dan mesin alur.

  • Azure AI Studio membantu Anda bereksperimen, mengembangkan, dan menyebarkan aplikasi dan API AI generatif secara bertanggung jawab dengan platform yang komprehensif. Dengan Azure AI Studio, Anda memiliki akses ke layanan Azure AI, model fondasi, taman bermain, dan sumber daya untuk membantu Anda membangun, melatih, menyempurnakan, dan menyebarkan model AI. Selain itu, Anda dapat mengevaluasi respons model dan mengatur komponen aplikasi prompt dengan alur prompt untuk performa yang lebih baik.

  • Azure Copilot Studio digunakan untuk memperluas Microsoft Copilot di Microsoft 365 dan membangun salinan kustom untuk skenario internal dan eksternal. Dengan Copilot Studio, pengguna dapat merancang, menguji, dan menerbitkan salinan menggunakan kanvas penulisan komprehensif. Pengguna dapat dengan mudah membuat percakapan yang mendukung AI generatif, memberikan kontrol yang lebih besar terhadap respons untuk salinan yang ada, dan mempercepat produktivitas dengan alur kerja otomatis tertentu.

Platform data untuk AI

Microsoft Fabric

Microsoft Fabric adalah analitik end-to-end dan platform data yang dirancang untuk perusahaan yang memerlukan solusi terpadu. Tim beban kerja dapat diberikan akses ke data dalam sistem ini. Ini mencakup pergerakan data, pemrosesan, penyerapan, transformasi, perutean peristiwa real time, dan pembuatan laporan. Ini menawarkan serangkaian layanan yang komprehensif termasuk Rekayasa Data, Data Factory, Ilmu Data, Real-Time Analytics, Gudang Data, dan Database.

Microsoft Fabric mengintegrasikan komponen terpisah ke dalam tumpukan kohesif. Alih-alih mengandalkan database atau gudang data yang berbeda, Anda dapat mempusatkan penyimpanan data dengan OneLake. Kemampuan AI disematkan dalam Fabric, menghilangkan kebutuhan akan integrasi manual.

Salinan dalam Fabric

Copilot dan fitur AI generatif lainnya memungkinkan Anda mengubah dan menganalisis data, menghasilkan wawasan, dan membuat visualisasi dan laporan di Microsoft Fabric dan Power BI. Anda dapat membuat salinan Anda sendiri, atau memilih salah satu salinan bawaan berikut:

Keterampilan AI dalam Fabric

Dengan keterampilan Microsoft Fabric AI, Anda dapat mengonfigurasi sistem AI generatif untuk menghasilkan kueri yang menjawab pertanyaan tentang data Anda. Setelah mengonfigurasi keterampilan AI, Anda dapat membagikannya dengan kolega Anda, yang kemudian dapat mengajukan pertanyaan mereka dalam bahasa Inggris biasa. Berdasarkan pertanyaan mereka, AI menghasilkan kueri atas data Anda yang menjawab pertanyaan tersebut.

Platform data berbasis Apache Spark untuk AI

Apache Spark merupakan kerangka kerja pemrosesan paralel yang mendukung pemrosesan dalam memori untuk meningkatkan performa aplikasi analitik big data. Spark menyediakan primitif untuk komputasi kluster dalam memori. Pekerjaan Spark dapat memuat dan menyimpan data ke dalam memori dan mengkuerinya berulang kali, yang lebih cepat daripada aplikasi berbasis disk, seperti Hadoop.

Apache Spark di Azure Fabric

Microsoft Fabric Runtime adalah platform terintegrasi Azure berdasarkan Apache Spark yang memungkinkan eksekusi dan manajemen pengalaman rekayasa data dan ilmu data. Ini menggabungkan komponen utama dari sumber internal dan sumber terbuka, memberi pelanggan solusi yang komprehensif.

Komponen utama Fabric Runtime:

  • Apache Spark - pustaka komputasi terdistribusi sumber terbuka yang kuat yang memungkinkan pemrosesan data skala besar dan tugas analitik. Apache Spark menyediakan platform serbaguna dan berperforma tinggi untuk pengalaman rekayasa data dan ilmu data.

  • Delta Lake - lapisan penyimpanan sumber terbuka yang membawa transaksi ACID dan fitur keandalan data lainnya ke Apache Spark. Terintegrasi dalam Fabric Runtime, Delta Lake meningkatkan kemampuan pemrosesan data dan memastikan konsistensi data di beberapa operasi bersamaan.

  • Paket tingkat default untuk paket Java/Scala, Python, dan R - yang mendukung beragam bahasa dan lingkungan pemrograman. Paket ini secara otomatis diinstal dan dikonfigurasi, memungkinkan pengembang menerapkan bahasa pemrograman pilihan mereka untuk tugas pemrosesan data.

Microsoft Fabric Runtime dibangun di atas sistem operasi sumber terbuka yang kuat, memastikan kompatibilitas dengan berbagai konfigurasi perangkat keras dan persyaratan sistem.

Azure Databricks Runtime untuk Pembelajaran Mesin

Azure Databricks adalah platform analitik berbasis Apache Spark dengan pengaturan satu klik, alur kerja yang disederhanakan, dan ruang kerja interaktif untuk kolaborasi antara ilmuwan data, insinyur, dan analis bisnis.

Databricks Runtime untuk Pembelajaran Mesin (Databricks Runtime ML) memungkinkan Anda memulai kluster Databricks dengan semua pustaka yang diperlukan untuk pelatihan terdistribusi. Ini menyediakan lingkungan untuk pembelajaran mesin dan ilmu data. Plus, berisi beberapa pustaka populer, termasuk TensorFlow, PyTorch, Keras, dan XGBoost. Ini juga mendukung pelatihan terdistribusi menggunakan Horovod.

Apache Spark di Azure HDInsight

Apache Spark di Azure HDInsight merupakan penerapan Microsoft dari Apache Spark di cloud. Spark kluster di HDInsight kompatibel dengan Azure Storage dan Azure Data Lake Storage, sehingga Anda dapat menggunakan kluster HDInsight Spark untuk memproses data yang disimpan di Azure.

Pustaka pembelajaran mesin Microsoft untuk Apache Spark adalah SynapseML (sebelumnya dikenal sebagai MMLSpark). Pustaka sumber terbuka ini menambahkan banyak alat pembelajaran mendalam dan ilmu data, kemampuan jaringan, dan performa tingkat produksi ke ekosistem Spark. Pelajari selengkapnya tentang fitur dan kemampuan SynapseML.

Penyimpanan data untuk AI

Microsoft Fabric OneLake

OneLake in Fabric adalah data lake terpadu dan logis yang disesuaikan untuk seluruh organisasi. Ini berfungsi sebagai hub pusat untuk semua data analitik dan disertakan dengan setiap penyewa Microsoft Fabric. OneLake in Fabric dibangun di atas fondasi Data Lake Storage Gen2.

OneLake dalam Fabric:

  • Mendukung jenis file terstruktur dan tidak terstruktur.
  • Menyimpan semua data tabular dalam format Delta Parquet.
  • Menyediakan satu data lake dalam batas penyewa yang diatur secara default.
  • Mendukung pembuatan ruang kerja dalam penyewa sehingga organisasi dapat mendistribusikan kebijakan kepemilikan dan akses.
  • Mendukung pembuatan berbagai item data, seperti lakehouse dan gudang, tempat Anda dapat mengakses data.

Untuk informasi selengkapnya, lihat OneLake, OneDrive untuk data.

Azure Data Lake Storage Gen2

Azure Data Lake Storage adalah repositori terpusat tunggal tempat Anda dapat menyimpan semua data, baik terstruktur maupun tidak terstruktur. Data lake memungkinkan organisasi Anda untuk menyimpan, mengakses, dan menganalisis berbagai data dengan cepat dan lebih mudah dalam satu lokasi. Dengan data lake, Anda tidak perlu menyesuaikan data dengan struktur yang ada. Sebagai gantinya, Anda dapat menyimpan data dalam format mentah atau aslinya, biasanya sebagai file atau sebagai objek besar biner (blob).

Data Lake Storage Gen2 menyediakan semantik sistem file, keamanan tingkat file, dan skala. Karena kemampuan ini dibangun di atas penyimpanan Blob, Anda juga mendapatkan penyimpanan berbilang rendah, berjenjang, dengan ketersediaan tinggi/kemampuan pemulihan bencana.

Data Lake Storage Gen2 menjadikan Azure Storage sebagai fondasi untuk membangun data lake perusahaan di Azure. Dirancang sejak awal untuk melayani beberapa petabyte informasi sambil mempertahankan ratusan gigabit throughput, Data Lake Storage Gen2 memungkinkan Anda mengelola sejumlah besar data dengan mudah.

Pemrosesan data untuk AI

Microsoft Fabric Data Factory

Dengan Data Factory, Anda dapat menyerap, menyiapkan, dan mengubah data dari beberapa sumber data (misalnya, database, gudang data, Lakehouse, data real-time, dan banyak lagi). Saat Anda merancang beban kerja, ini adalah alat yang dapat bersifat instrumental dalam memenuhi persyaratan DataOps Anda.

Data Factory mendukung solusi kode dan tanpa/kode rendah:

  • Alur data memungkinkan Anda membuat kemampuan alur kerja dalam skala cloud. Dengan alur data, Anda dapat menggunakan antarmuka seret dan letakkan untuk membangun alur kerja yang dapat menyegarkan aliran data Anda, memindahkan data berukuran petabyte, dan menentukan alur alur kontrol.

  • Aliran data menyediakan antarmuka kode rendah untuk menyerap data dari ratusan sumber data, mengubah data Anda menggunakan 300+ transformasi data.

Lihat juga:

Azure Databricks

Dengan Databricks Data Intelligence Platform, Anda dapat menulis kode untuk membuat alur kerja pembelajaran mesin menggunakan rekayasa fitur:

  • Alur data menyerap data mentah, membuat tabel fitur, melatih model, dan melakukan inferensi batch. Saat Anda melatih dan mencatat model menggunakan rekayasa fitur di Unity Catalog, model dimas dengan metadata fitur. Saat Anda menggunakan model untuk penilaian batch atau inferensi online, model tersebut secara otomatis mengambil nilai fitur. Pemanggil tidak perlu mengetahuinya atau menyertakan logika untuk mencari atau menggabungkan fitur untuk menilai data baru.
  • Model dan titik akhir penyajian fitur tersedia dengan satu klik dan memberikan latensi milidetik.
  • Pemantauan data dan model.

Anda juga dapat menggunakan Mosaic AI Vector Search, yang dioptimalkan untuk menyimpan dan mengambil penyematan. Penyematan sangat penting untuk aplikasi yang memerlukan pencarian kesamaan, seperti RAG (Retrieval Augmented Generation), sistem rekomendasi, dan pengenalan gambar.

Konektor data untuk AI

Alur Azure Data Factory dan Azure Synapse Analytics mendukung banyak penyimpanan dan format data melalui aktivitas Salin, Aliran Data, Pencarian, Dapatkan Metadata, dan Hapus. Untuk melihat konektor penyimpanan data yang tersedia, kemampuan yang didukung dan konfigurasi yang sesuai, dan opsi koneksi ODBC generik, lihat Gambaran umum konektor Azure Data Factory dan Azure Synapse Analytics.

AI Kustom

Pembelajaran Mesin Azure

Azure Pembelajaran Mesin adalah layanan cloud untuk mempercepat dan mengelola siklus hidup proyek pembelajaran mesin (ML). Profesional ML, ilmuwan data, dan insinyur dapat menggunakannya dalam alur kerja sehari-hari mereka untuk melatih dan menyebarkan model dan mengelola operasi pembelajaran mesin (MLOps).

Azure Pembelajaran Mesin menawarkan kemampuan berikut:

  • Pemilihan algoritma Beberapa algoritma membuat asumsi tertentu tentang struktur data atau hasil yang diinginkan. Jika Anda dapat menemukan yang sesuai dengan kebutuhan Anda, itu dapat memberi Anda hasil yang lebih berguna, prediksi yang lebih akurat, atau waktu pelatihan yang lebih cepat.

    Cara memilih algoritma untuk Azure Pembelajaran Mesin

  • Penyetelan atau pengoptimalan hyperparameter adalah proses menemukan konfigurasi hiperparameter yang menghasilkan performa terbaik. Prosesnya secara komputasi mahal dan manual. Hyperparameter adalah parameter yang dapat disesuaikan yang memungkinkan Anda mengontrol proses pelatihan model. Misalnya, dengan jaringan neural, Anda memutuskan jumlah lapisan tersembunyi dan jumlah simpul di setiap lapisan. Kinerja model sangat bergantung pada hyperparameter.

    Azure Machine Learning memungkinkan Anda mengotomatiskan penyetelan hyperparameter dan menjalankan eksperimen secara paralel untuk mengoptimalkan hyperparameter secara efisien.

  • Pelatihan model. Dengan Azure Pembelajaran Mesin, Anda dapat secara berulang menggunakan algoritma untuk membuat atau "mengajar" model. Setelah dilatih, model-model ini kemudian dapat digunakan untuk menganalisis data dari mana prediksi dapat dibuat. Selama fase pelatihan, satu set kualitas data yang diketahui ditandai sehingga masing-masing bidang dapat diidentifikasi. Data yang ditandai diumpankan ke algoritma yang dikonfigurasi untuk membuat prediksi tertentu. Setelah selesai, algoritma mengeluarkan model yang menggambarkan pola yang ditemukan sebagai seperangkat parameter. Selama validasi, data baru ditandai dan digunakan untuk menguji model. Algoritma disesuaikan sesuai kebutuhan dan mungkin dimasukkan melalui lebih banyak pelatihan. Akhirnya, fase pengujian menggunakan data dunia nyata tanpa tag atau target yang dipilih sebelumnya. Dengan asumsi hasil model akurat, Ini dianggap siap digunakan dan dapat disebarkan.

  • Pembelajaran mesin otomatis (AutoML) adalah proses mengotomatiskan tugas pengembangan model pembelajaran mesin yang memakan waktu dan berulang. Ini dapat secara signifikan mengurangi waktu yang dibutuhkan untuk mendapatkan model ML siap produksi. ML otomatis dapat membantu pemilihan model, penyetelan hyperparameter, pelatihan model, dan tugas lainnya, tanpa memerlukan pemrograman atau pengetahuan domain yang luas.

    Anda dapat menggunakan ML otomatis saat Anda ingin Azure Pembelajaran Mesin melatih dan menyetel model untuk Anda menggunakan metrik target tertentu. ML otomatis dapat digunakan terlepas dari keahlian ilmu data untuk mengidentifikasi alur pembelajaran mesin end-to-end untuk masalah apa pun.

    Profesional dan pengembang ML di seluruh industri dapat menggunakan ML otomatis untuk:

    • Menerapkan solusi ML tanpa pemrograman ekstensif atau pengetahuan pembelajaran mesin

    • Menghemat waktu dan sumber daya

    • Menerapkan praktik terbaik ilmu data

    • Sediakan pemecahan masalah yang lincah

    • Apa itu pembelajaran mesin otomatis?

  • Scoring juga disebut prediksi dan merupakan proses menghasilkan nilai berdasarkan model pembelajaran mesin terlatih, mengingat beberapa data input baru. Nilai, atau skor, yang dibuat dapat mewakili prediksi nilai masa depan, tetapi mereka mungkin juga mewakili kategori atau hasil yang mungkin.

  • Rekayasa dan fiturisasi fitur. Data pelatihan terdiri dari baris dan kolom. Setiap baris adalah pengamatan atau rekaman, dan kolom-kolom dari setiap baris adalah fitur-fitur yang menjelaskan setiap rekaman. Biasanya, fitur yang paling mencirikan pola dalam data dipilih untuk membuat model prediktif.

Meskipun banyak bidang data mentah dapat digunakan langsung untuk melatih model, sering kali perlu untuk membuat fitur lain (direkayasa) yang memberikan informasi yang membedakan pola dalam data dengan lebih baik. Proses ini disebut rekayasa fitur, di mana penggunaan pengetahuan domain tentang data digunakan untuk membuat fitur yang, pada gilirannya, membantu algoritma pembelajaran mesin untuk belajar lebih baik.

Di Azure Machine Learning, teknik penskalaan data dan normalisasi diterapkan agar rekayasa fitur lebih mudah. Secara kolektif, teknik ini dan rekayasa fitur ini disebut fiturisasi dalam eksperimen pembelajaran mesin otomatis (ML).

Azure OpenAI

Layanan Azure OpenAI memungkinkan Anda menyesuaikan model OpenAI dengan himpunan data pribadi Anda dengan menggunakan proses yang dikenal sebagai penyempurnaan. Langkah penyesuaian ini akan memungkinkan Anda mendapatkan lebih banyak dari layanan dengan menyediakan:

  • Hasil berkualitas lebih tinggi daripada apa yang bisa Anda dapatkan hanya dari rekayasa yang cepat
  • Kemampuan untuk melatih lebih banyak contoh daripada yang dapat masuk ke dalam batas konteks permintaan maksimum model.
  • Penghematan token karena perintah yang lebih pendek
  • Permintaan latensi yang lebih rendah, terutama saat menggunakan model yang lebih kecil.

Untuk informasi selengkapnya, lihat:

Layanan Azure AI untuk AI kustom

Layanan Azure AI menawarkan fitur yang memungkinkan Anda membangun model dan aplikasi AI kustom. Bagian ini memberikan gambaran umum beberapa fitur utama ini.

Ucapan Kustom

Ucapan kustom adalah fitur layanan Azure AI Speech. Dengan ucapan kustom, Anda dapat mengevaluasi dan meningkatkan akurasi pengenalan ucapan untuk aplikasi dan produk Anda. Model ucapan kustom dapat digunakan untuk ucapan real time ke teks, terjemahan ucapan, dan transkripsi batch.

Di luar kotak, pengenalan ucapan menggunakan Model Bahasa Universal sebagai model dasar yang dilatih dengan data milik Microsoft dan mencerminkan bahasa lisan yang umum digunakan. Model dasar telah dilatih sebelumnya dengan dialek dan fonetik yang mewakili berbagai domain umum. Saat Anda membuat permintaan pengenalan ucapan, model dasar terbaru untuk setiap bahasa yang didukung digunakan secara default. Model dasar bekerja dengan baik dalam sebagian besar skenario pengenalan ucapan.

Model kustom dapat digunakan untuk menambah model dasar untuk meningkatkan pengenalan kosakata khusus domain khusus untuk aplikasi dengan menyediakan data teks untuk melatih model. Model ini juga dapat digunakan untuk meningkatkan pengenalan berdasarkan kondisi audio tertentu dari aplikasi dengan menyediakan data audio dengan transkripsi referensi.

Anda juga dapat melatih model dengan teks terstruktur saat data mengikuti pola, untuk menentukan pengucapan kustom, dan untuk menyesuaikan pemformatan teks tampilan dengan normalisasi teks terbalik kustom, penulisan ulang kustom, dan pemfilteran kata-kata kokoh kustom.

Penerjemah Kustom

Penerjemah Kustom adalah fitur layanan Penerjemah Azure AI. Dengan Penerjemah Kustom, perusahaan, pengembang aplikasi, dan penyedia layanan bahasa dapat membangun sistem terjemahan mesin neural (NMT) yang disesuaikan. Sistem terjemahan yang disesuaikan terintegrasi dengan sempurna ke dalam aplikasi, alur kerja, dan situs web yang ada.

Platform ini memungkinkan pengguna untuk membuat dan menerbitkan sistem terjemahan kustom ke dan dari bahasa Inggris. Penerjemah Kustom mendukung lebih dari tiga lusin bahasa yang memetakan langsung ke bahasa yang tersedia untuk NMT. Untuk daftar lengkapnya, lihat Dukungan bahasa penerjemah.

Penerjemah Kustom menawarkan fitur-fitur berikut:

Fitur Deskripsi
Terapkan teknologi terjemahan mesin saraf Tingkatkan terjemahan Anda dengan menerapkan neural machine translation (NMT) yang disediakan oleh Penerjemah Kustom.
Bangun sistem yang mengetahui terminologi bisnis Anda Menyesuaikan dan membangun sistem terjemahan menggunakan dokumen paralel yang memahami terminologi yang digunakan dalam bisnis dan industri Anda sendiri.
Gunakan kamus untuk menyusun model Anda Jika Anda tidak memiliki kumpulan data pelatihan, Anda dapat melatih model hanya dengan data kamus.
Berkolaborasi dengan yang lain Berkolaborasi dengan tim Anda dengan berbagi pekerjaan Anda dengan orang yang berbeda.
Akses model terjemahan kustom Anda Anda dapat mengakses model terjemahan kustom kapan saja menggunakan aplikasi/program yang ada melalui Microsoft Translator Text API V3.

Model kustom Kecerdasan Dokumen

Azure AI Document Intelligence menggunakan teknologi pembelajaran mesin tingkat lanjut untuk mengidentifikasi dokumen, mendeteksi dan mengekstrak informasi dari formulir dan dokumen, dan mengembalikan data yang diekstrak dalam output JSON terstruktur. Dengan Kecerdasan Dokumen, Anda dapat menggunakan model analisis dokumen, model kustom bawaan/terlatih sebelumnya, atau model kustom mandiri terlatih Anda.

Model kustom Kecerdasan Dokumen sekarang menyertakan model klasifikasi kustom untuk skenario di mana Anda perlu mengidentifikasi jenis dokumen sebelum memanggil model ekstraksi. Model klasifikasi dapat dipasangkan dengan model ekstraksi kustom untuk menganalisis dan mengekstrak bidang dari formulir dan dokumen khusus untuk bisnis Anda. Model ekstraksi kustom mandiri dapat dikombinasikan untuk membuat model yang disusun.

Alat AI kustom

Meskipun model AI bawaan berguna dan semakin fleksibel, cara terbaik untuk mendapatkan apa yang Anda butuhkan dari AI adalah dengan membangun model yang disesuaikan dengan kebutuhan spesifik Anda. Ada dua alat utama untuk membuat model AI kustom: AI Generatif dan pembelajaran mesin tradisional:

Studio Azure Machine Learning

Azure Pembelajaran Mesin studio adalah layanan cloud untuk mempercepat dan mengelola siklus hidup proyek pembelajaran mesin (ML). Profesional ML, ilmuwan data, dan insinyur dapat menggunakannya dalam alur kerja sehari-hari mereka untuk melatih dan menyebarkan model dan mengelola operasi pembelajaran mesin (MLOps).:

  • Bangun dan latih model Azure Pembelajaran Mesin dengan semua jenis komputasi termasuk Spark dan GPU untuk beban kerja AI besar skala cloud.
  • Jalankan Azure Pembelajaran Mesin (AutoML) otomatis dan UI seret dan letakkan untuk Azure Pembelajaran Mesin kode rendah.
  • Terapkan Azure Pembelajaran Mesin Ops end-to-end dan alur Azure Pembelajaran Mesin yang dapat diulang.
  • Gunakan dasbor AI yang bertanggung jawab untuk deteksi bias dan analisis kesalahan.
  • Mengatur dan mengelola rekayasa prompt dan alur LLM.
  • Sebarkan model dengan titik akhir REST API, real-time, dan inferensi batch.
  • Gunakan Hub (Pratinjau) untuk berbagi komputasi, kuota, keamanan, dan konektivitas ke sumber daya perusahaan dengan sekelompok ruang kerja, sambil memusatkan tata kelola untuk TI. Siapkan hub sekali, lalu buat ruang kerja aman langsung dari Studio untuk setiap proyek. Gunakan hub untuk mengelola pekerjaan tim Anda di ML Studio dan AI Studio.

Azure AI Studio

Azure AI Studio dirancang untuk membantu Anda membangun dan menyebarkan aplikasi AI generatif kustom secara efisien dengan kekuatan penawaran AI luas Azure:

  • Bangun bersama sebagai satu tim. Hub AI Studio Anda menyediakan keamanan tingkat perusahaan, dan lingkungan kolaboratif dengan sumber daya dan koneksi bersama ke model, data, dan komputasi yang telah dilatih sebelumnya.
  • Atur pekerjaan Anda. Proyek AI Studio membantu Anda menyimpan status, memungkinkan Anda melakukan iterasi dari ide pertama, ke prototipe pertama, lalu penyebaran produksi pertama. Juga dengan mudah mengundang orang lain untuk berkolaborasi di sepanjang perjalanan ini.
  • Gunakan platform pengembangan dan kerangka kerja pilihan Anda, termasuk GitHub, Visual Studio Code, LangChain, Semantic Kernel, AutoGen, dan banyak lagi.
  • Temukan dan tolok ukur dari lebih dari 1.600 model.
  • Provisikan Model sebagai Layanan (MaaS) melalui API tanpa server dan penyempurnaan yang dihosting.
  • Menggabungkan beberapa model, sumber data, dan modalitas.
  • Build Retrieval Augmented Generation (RAG) menggunakan data perusahaan yang dilindungi tanpa perlu penyempurnaan.
  • Mengatur dan mengelola permintaan rekayasa dan alur Model Bahasa Besar (LLM).
  • Desain dan lindungi aplikasi dan API dengan filter dan kontrol yang dapat dikonfigurasi.
  • Evaluasi respons model dengan alur evaluasi bawaan dan kustom.
  • Sebarkan inovasi AI ke infrastruktur terkelola Azure dengan pemantauan dan tata kelola berkelanjutan di seluruh lingkungan.
  • Terus memantau aplikasi yang disebarkan untuk keamanan, kualitas, dan konsumsi token dalam produksi.|

Untuk perbandingan terperinci antara Azure Pembelajaran Mesin dan Azure AI Studio, lihat Azure Pembelajaran Mesin vs. Azure AI Studio.

Alur perintah di Azure AI Studio

Alur prompt di Azure AI Studio adalah alat pengembangan yang dirancang untuk menyederhanakan seluruh siklus pengembangan aplikasi AI yang didukung oleh Model Bahasa Besar (LLM). Alur prompt menyediakan solusi komprehensif yang menyederhanakan proses prototipe, bereksperimen, iterasi, dan penyebaran aplikasi AI Anda.

  • Alur perintah adalah fitur yang dapat digunakan untuk menghasilkan, menyesuaikan, atau menjalankan alur.
  • Alur adalah set instruksi yang dapat dieksekusi yang dapat mengimplementasikan logika AI. Alur dapat dibuat atau dijalankan melalui beberapa alat, seperti kanvas bawaan, LangChain, dll. Iterasi alur dapat disimpan sebagai aset; setelah menyebarkan alur menjadi API. Tidak semua alur adalah alur perintah; sebaliknya, alur perintah adalah salah satu cara untuk membuat alur.
  • Prompt adalah paket input yang dikirim ke model, yang terdiri dari input pengguna, pesan sistem, dan contoh apa pun. Input pengguna adalah teks yang dikirimkan di jendela obrolan. Pesan sistem adalah serangkaian instruksi untuk model yang mencakup perilaku dan fungsionalitasnya.
  • Alur sampel adalah alur orkestrasi sederhana bawaan yang menunjukkan cara kerja alur, dan dapat disesuaikan.
  • Permintaan sampel adalah permintaan yang ditentukan untuk skenario tertentu yang dapat disalin dari pustaka dan digunakan apa adanya atau dimodifikasi dalam desain prompt.

Bahasa kode AI kustom

Konsep inti AI adalah penggunaan algoritma untuk menganalisis data dan menghasilkan model untuk menggambarkan (atau skor) dengan cara yang berguna. Algoritma ditulis oleh pengembang dan ilmuwan data (dan kadang-kadang oleh algoritma lain) menggunakan kode pemrograman. Dua bahasa pemrograman yang paling populer untuk pengembangan AI saat ini adalah Python dan R.

Python adalah bahasa pemrograman tingkat tinggi yang bertujuan umum. Python memiliki sintaks sederhana dan mudah dipelajari yang menekankan keterbacaan. Tidak ada langkah kompilasi. Python memiliki pustaka standar yang besar, tetapi juga mendukung kemampuan untuk menambahkan modul dan paket. Ini mendorong modularitas dan memungkinkan Anda memperluas kemampuan saat dibutuhkan. Ada ekosistem AI dan pustaka ML yang besar dan berkembang untuk Python, termasuk banyak yang tersedia di Azure.

R adalah bahasa dan lingkungan untuk komputasi statistik dan grafis. Ini dapat digunakan untuk segala hal mulai dari memetakan tren sosial dan pemasaran yang luas secara online hingga mengembangkan model keuangan dan iklim.

Microsoft telah sepenuhnya merangkul bahasa pemrograman R dan menyediakan banyak opsi berbeda bagi pengembang R untuk menjalankan kode mereka di Azure.

Info umum tentang AI kustom di Azure

Kisah pelanggan

Industri berbeda menerapkan AI dengan cara yang inovatif dan menginspirasi. Berikut adalah beberapa studi kasus pelanggan dan kisah sukses:

Jelajahi lebih banyak cerita pelanggan AI

Info umum tentang Microsoft AI

Pelajari lebih lanjut tentang Microsoft AI, dan tetap up-to-date dengan berita terkait:

Langkah berikutnya