Bagikan melalui

Desain arsitektur AI

  • Artikel

AI adalah teknologi yang memungkinkan mesin untuk meniru perilaku manusia yang cerdas. Komputer dapat menggunakan AI untuk:

  • Analisis data untuk membuat gambar dan video.
  • Menganalisis dan mensintesis ucapan.
  • Berinteraksi secara verbal dengan cara alami.
  • Buat prediksi dan hasilkan data baru.

Anda dapat memasukkan AI ke dalam aplikasi untuk melakukan fungsi atau membuat keputusan yang tidak dapat ditangani logika atau pemrosesan tradisional secara efektif. Sebagai arsitek yang merancang solusi, penting untuk memahami lanskap AI dan pembelajaran mesin dan bagaimana Anda dapat mengintegrasikan solusi Azure ke dalam desain beban kerja Anda.

Mulai Sekarang

Azure Architecture Center menyediakan contoh arsitektur, panduan arsitektur, garis besar arsitektur, dan ide yang dapat Anda terapkan ke skenario Anda. Beban kerja yang melibatkan komponen AI dan pembelajaran mesin harus mengikuti panduan Azure Well-Architected Framework untuk beban kerja AI. Panduan ini mencakup prinsip dan panduan desain yang memengaruhi beban kerja AI dan pembelajaran mesin di lima pilar arsitektur. Anda harus menerapkan rekomendasi tersebut dalam skenario dan konten di Azure Architecture Center.

Konsep AI

Konsep AI mencakup berbagai teknologi dan metodologi yang memungkinkan mesin melakukan tugas yang biasanya membutuhkan kecerdasan manusia. Bagian berikut memberikan gambaran umum konsep AI utama.

Algoritma

algoritma atau algoritma pembelajaran mesin adalah potongan kode yang membantu orang menjelajahi, menganalisis, dan menemukan makna dalam himpunan data yang kompleks. Setiap algoritma adalah serangkaian instruksi langkah demi langkah yang tidak ambigu yang dapat diikuti mesin untuk mencapai tujuan tertentu. Tujuan dari model pembelajaran mesin adalah untuk menetapkan atau menemukan pola yang dapat digunakan manusia untuk membuat prediksi atau mengategorikan informasi. Algoritma mungkin menggambarkan cara menentukan apakah hewan peliharaan adalah kucing, anjing, ikan, burung, atau kadal. Algoritma lain yang jauh lebih rumit mungkin menjelaskan cara mengidentifikasi bahasa tertulis atau lisan, menganalisis kata-katanya, menerjemahkannya ke dalam bahasa yang berbeda, lalu memeriksa terjemahan untuk akurasi.

Pilih keluarga algoritma yang paling sesuai dengan tugas Anda. Evaluasi berbagai algoritma dalam keluarga untuk menemukan kecocokan yang sesuai dengan beban kerja Anda. Untuk informasi selengkapnya, lihat Apa itu algoritma pembelajaran mesin?.

Pembelajaran Mesin

Pembelajaran mesin adalah teknik AI yang menggunakan algoritma untuk membuat model prediktif. Algoritma ini mengurai bidang data dan "belajar" dari pola dalam data untuk menghasilkan model. Model kemudian dapat membuat prediksi atau keputusan berdasarkan informasi berdasarkan data baru.

Model prediktif divalidasi terhadap data yang diketahui, diukur oleh metrik performa untuk skenario bisnis tertentu, lalu disesuaikan sesuai kebutuhan. Proses pembelajaran dan validasi ini disebut pelatihan. Melalui pelatihan ulang berkala, model pembelajaran mesin meningkat dari waktu ke waktu.

Dalam desain beban kerja, Anda dapat menggunakan pembelajaran mesin jika skenario Anda menyertakan pengamatan sebelumnya yang dapat Anda gunakan dengan andal untuk memprediksi situasi di masa mendatang. Pengamatan ini dapat menjadi kebenaran universal, seperti visi komputer yang mendeteksi salah satu bentuk hewan dari yang lain. Atau pengamatan ini dapat spesifik untuk situasi Anda, seperti visi komputer yang mendeteksi potensi kesalahan perakitan pada jalur perakitan Anda berdasarkan data klaim garansi sebelumnya.

Untuk informasi selengkapnya, lihat Apa itu pembelajaran mesin?.

Pembelajaran mendalam

Deep learning adalah jenis pembelajaran mesin yang dapat belajar melalui pemrosesan datanya sendiri. Seperti pembelajaran mesin, ia juga menggunakan algoritma untuk menganalisis data. Tetapi menganalisis data melalui jaringan neural buatan yang berisi banyak input, output, dan lapisan pemrosesan. Setiap lapisan dapat memproses data dengan cara yang berbeda. Output dari satu lapisan menjadi input untuk yang berikutnya. Proses ini memungkinkan pembelajaran mendalam untuk membuat model yang lebih kompleks daripada pembelajaran mesin tradisional.

Pembelajaran mendalam membutuhkan investasi besar untuk menghasilkan model yang sangat disesuaikan atau eksplorasi. Anda mungkin mempertimbangkan solusi lain dalam artikel ini sebelum menambahkan pembelajaran mendalam ke beban kerja Anda.

Untuk informasi selengkapnya, lihat Apa itu pembelajaran mendalam?.

AI Generatif

AI Generatif melatih model untuk menghasilkan konten asli berdasarkan banyak bentuk konten, seperti bahasa alami, visi komputer, audio, atau input gambar. Dengan AI generatif, Anda dapat menggambarkan output yang diinginkan dalam bahasa sehari-hari, dan model dapat merespons dengan membuat teks, gambar, dan kode yang sesuai. Contoh aplikasi AI generatif termasuk Microsoft Copilot dan Azure OpenAI Service.

  • Copilot terutama merupakan antarmuka pengguna yang membantu Anda menulis kode, dokumen, dan konten berbasis teks lainnya. Ini didasarkan pada model OpenAI populer dan diintegrasikan ke dalam berbagai aplikasi Microsoft dan pengalaman pengguna.

  • Azure OpenAI adalah platform pengembangan sebagai layanan (PaaS) yang menyediakan akses ke model bahasa OpenAI yang canggih, seperti o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo dengan Vision, GPT-4, GPT-3.5-Turbo, dan seri model Embeddings. Anda dapat menyesuaikan model ini dengan tugas spesifik Anda, seperti:

    • Pembuatan konten.
    • Ringkasan konten.
    • Pemahaman gambar.
    • Pencarian semantik.
    • Bahasa alami untuk terjemahan kode.

Model bahasa

Model bahasa adalah subset AI generatif yang berfokus pada tugas pemrosesan bahasa alami, seperti pembuatan teks dan analisis sentimen. Model ini mewakili bahasa alami berdasarkan probabilitas kata atau urutan kata yang terjadi dalam konteks tertentu.

Model bahasa konvensional digunakan dalam pengaturan yang diawasi untuk tujuan penelitian di mana model dilatih pada himpunan data teks berlabel baik untuk tugas tertentu. Model bahasa yang telah dilatih sebelumnya menawarkan cara yang dapat diakses untuk mulai menggunakan AI. Mereka lebih banyak digunakan dalam beberapa tahun terakhir. Model-model ini dilatih pada koleksi teks skala besar dari internet melalui jaringan neural pembelajaran mendalam. Anda dapat menyempurnakannya pada himpunan data yang lebih kecil untuk tugas tertentu.

Jumlah parameter, atau bobot, menentukan ukuran model bahasa. Parameter memengaruhi cara model memproses data input dan menghasilkan output. Selama pelatihan, model menyesuaikan bobot untuk meminimalkan perbedaan antara prediksinya dan data aktual. Proses ini adalah bagaimana model mempelajari parameter. Semakin banyak parameter yang dimiliki model, semakin kompleks dan ekspresif. Tetapi juga lebih mahal secara komputasi untuk dilatih dan digunakan.

Secara umum, model bahasa kecil umumnya memiliki kurang dari 10 miliar parameter, dan model bahasa besar memiliki lebih dari 10 miliar parameter. Misalnya, keluarga model Microsoft Phi-3 memiliki tiga versi:

  • Mini, 3,8 milyar parameter
  • Model kecil dengan 7 miliar parameter
  • Parameter sedang, 14 miliar

Untuk informasi selengkapnya, lihat Katalog model bahasa .

Copilot

Ketersediaan model bahasa menyebabkan munculnya cara baru untuk berinteraksi dengan aplikasi dan sistem melalui kopilot digital dan agen spesifik domain yang terhubung. Copilots adalah asisten AI generatif yang terintegrasi ke dalam aplikasi, sering kali sebagai antarmuka obrolan. Mereka memberikan dukungan kontekstual untuk tugas umum dalam aplikasi tersebut.

Microsoft Copilot terintegrasi dengan berbagai aplikasi Microsoft dan pengalaman pengguna. Ini didasarkan pada arsitektur terbuka di mana pengembang non-Microsoft dapat membuat plug-in mereka sendiri untuk memperluas atau menyesuaikan pengalaman pengguna dengan Copilot. Pengembang mitra juga dapat membuat kopilot mereka sendiri dengan menggunakan arsitektur terbuka yang sama.

Untuk informasi selengkapnya, lihat sumber daya berikut ini:

Pembangkitan dengan Pengambilan Data

Retrieval Augmented Generation (RAG) adalah pola arsitektur yang memperkuat kemampuan model bahasa besar (LLM), seperti ChatGPT, yang hanya dilatih pada data publik. Anda dapat menggunakan pola ini untuk menambahkan sistem pengambilan yang menyediakan data dasar yang relevan dalam konteks permintaan pengguna. Sistem pengambilan informasi memberikan kontrol atas data grounding yang digunakan model bahasa saat merumuskan respons. Arsitektur RAG membantu Anda mencakup AI generatif ke konten yang bersumber dari dokumen, gambar, dan format data yang di-vektorisasi. RAG tidak terbatas pada penyimpanan pencarian vektor. Anda dapat menggunakan teknologi penyimpanan data apa pun.

Untuk informasi selengkapnya, lihat Mendesain dan mengembangkan solusi RAG dan Memilih layanan Azure untuk pencarian vektor.

Layanan Azure AI

Dengan layanan Azure AI, pengembang dan organisasi dapat menggunakan API dan model siap pakai, bawaan, dan dapat disesuaikan untuk membuat aplikasi cerdas, siap pasar, dan bertanggung jawab. Kasus penggunaan termasuk pemrosesan bahasa alami untuk percakapan, pencarian, pemantauan, terjemahan, ucapan, visi, dan pengambilan keputusan.

Untuk informasi selengkapnya, lihat sumber daya berikut ini:

Model bahasa kecerdasan buatan

LLM, seperti model OpenAI GPT, adalah alat canggih yang dapat menghasilkan bahasa alami di berbagai domain dan tugas. Untuk memilih model, pertimbangkan faktor-faktor seperti privasi data, penggunaan etis, akurasi, dan bias.

Model terbuka Phi adalah model kecil yang kurang intensif komputasi untuk solusi AI generatif. Model bahasa kecil mungkin lebih efisien, dapat ditafsirkan, dan dapat dijelaskan daripada LLM.

Saat merancang beban kerja, Anda dapat menggunakan model bahasa sebagai solusi yang dihosting di belakang API terukur. Atau, untuk banyak model bahasa kecil, Anda dapat menghosting model bahasa dalam proses atau setidaknya pada komputasi yang sama dengan konsumen. Saat Anda menggunakan model bahasa dalam solusi Anda, pertimbangkan pilihan model bahasa Anda dan opsi hosting yang tersedia untuk membantu memastikan solusi yang dioptimalkan untuk kasus penggunaan Anda.

Platform dan alat pengembangan AI

Platform dan alat pengembangan AI berikut dapat membantu Anda membangun, menyebarkan, dan mengelola pembelajaran mesin dan model AI.

Pembelajaran Mesin Azure

Azure Machine Learning adalah layanan pembelajaran mesin yang dapat Anda gunakan untuk membangun dan menyebarkan model. Azure Machine Learning menawarkan antarmuka web dan SDK bagi Anda untuk melatih dan menyebarkan model dan alur pembelajaran mesin Anda dalam skala besar. Gunakan kemampuan ini dengan kerangka kerja Python sumber terbuka, seperti PyTorch, TensorFlow, dan scikit-learn.

Untuk informasi selengkapnya, lihat sumber daya berikut ini:

Arsitektur referensi pembelajaran mesin untuk Azure

Pembelajaran mesin otomatis

Pembelajaran mesin otomatis (AutoML) adalah proses mengotomatiskan tugas pengembangan model pembelajaran mesin yang memakan waktu dan berulang. Ilmuwan data, analis, dan pengembang dapat menggunakan AutoML untuk membangun model pembelajaran mesin yang memiliki skala, efisiensi, dan produktivitas tinggi sambil mempertahankan kualitas model.

Untuk informasi selengkapnya, lihat sumber daya berikut ini:

MLflow

Ruang kerja Pembelajaran Mesin kompatibel dengan MLflow, yang berarti Anda dapat menggunakan ruang kerja Pembelajaran Mesin dengan cara yang sama seperti Anda menggunakan server MLflow. Kompatibilitas ini memberikan keuntungan berikut:

  • Pembelajaran Mesin tidak menghosting instans server MLflow tetapi dapat menggunakan API MLflow secara langsung.
  • Anda dapat menggunakan ruang kerja Pembelajaran Mesin sebagai server pelacakan Anda untuk kode MLflow apa pun, baik berjalan di Pembelajaran Mesin maupun tidak. Anda perlu mengonfigurasi MLflow untuk menunjuk ke ruang kerja tempat pelacakan harus terjadi.
  • Anda dapat menjalankan rutinitas pelatihan yang menggunakan MLflow di Pembelajaran Mesin tanpa membuat perubahan apa pun.

Untuk informasi selengkapnya, lihat MLflow dan Machine Learning serta MLflow.

Alat AI generatif

  • Prompt flow adalah serangkaian alat pengembangan yang dapat Anda gunakan untuk menyederhanakan siklus pengembangan end-to-end aplikasi AI generatif, mulai dari ideasi, prototipe, pengujian, dan evaluasi hingga penyebaran dan pemantauan produksi. Ini mendukung rekayasa yang cepat melalui mengekspresikan tindakan dalam orkestrasi modular dan mesin alur.

  • Azure AI Foundry membantu Anda bereksperimen, mengembangkan, dan menyebarkan aplikasi dan API AI generatif secara bertanggung jawab dengan platform yang komprehensif. Portal AI Foundry menyediakan akses ke layanan Azure AI, model fondasi, taman bermain, dan sumber daya untuk membantu Anda membangun, melatih, menyempurnakan, dan menyebarkan model AI. Anda juga dapat mengevaluasi respons model dan mengatur komponen aplikasi yang diminta dengan alur permintaan untuk performa yang lebih baik.

  • Copilot Studio memperluas Copilot di Microsoft 365. Anda dapat menggunakan Copilot Studio untuk membuat asisten kustom untuk skenario internal dan eksternal. Gunakan kanvas pembuatan konten komprehensif untuk merancang, menguji, dan menerbitkan asisten. Anda dapat dengan mudah membuat percakapan yang didukung oleh AI generatif, memberikan kontrol yang lebih besar terhadap respons untuk pendamping yang ada, dan mempercepat produktivitas dengan menggunakan alur kerja otomatis.

Platform data untuk AI

Platform berikut menawarkan solusi komprehensif untuk pergerakan data, pemrosesan, penyerapan, transformasi, analitik real time, dan pelaporan.

Microsoft Fabric

Microsoft Fabric adalah analitik end-to-end dan platform data untuk perusahaan yang memerlukan solusi terpadu. Anda dapat memberikan akses tim beban kerja ke data dalam Fabric. Platform ini mencakup pergerakan data, pemrosesan, pengambilan data, transformasi, pengarahan peristiwa waktu nyata, dan pembuatan laporan. Ini menawarkan serangkaian layanan yang komprehensif, termasuk Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse, dan Fabric Databases.

Fabric mengintegrasikan komponen terpisah ke dalam tumpukan kohesif. Alih-alih mengandalkan database atau gudang data yang berbeda, Anda dapat mempusatkan penyimpanan data dengan OneLake. Kemampuan AI disematkan dalam Fabric, yang menghilangkan kebutuhan akan integrasi manual.

Untuk informasi selengkapnya, lihat sumber daya berikut ini:

Salinan dalam Fabric

Anda dapat menggunakan Copilot dan fitur AI generatif lainnya untuk mengubah dan menganalisis data, menghasilkan wawasan, dan membuat visualisasi dan laporan di Fabric dan Power BI. Anda dapat membuat asisten Anda sendiri atau memilih salah satu asisten bawaan berikut:

Keterampilan AI dalam Fabric

Anda dapat menggunakan fitur keterampilan Fabric AI untuk mengonfigurasi sistem AI generatif untuk menghasilkan kueri yang menjawab pertanyaan tentang data Anda. Setelah mengonfigurasi keterampilan AI, Anda dapat membagikannya dengan kolega Anda, yang kemudian dapat mengajukan pertanyaan mereka dalam bahasa sederhana. Berdasarkan pertanyaan mereka, AI menghasilkan kueri pada data yang menjawab pertanyaan tersebut.

Untuk informasi selengkapnya, lihat sumber daya berikut ini:

Platform data berbasis Apache Spark untuk AI

Apache Spark merupakan kerangka kerja pemrosesan paralel yang mendukung pemrosesan dalam memori untuk meningkatkan performa aplikasi analitik big data. Spark menyediakan blok penyusun dasar untuk komputasi kluster dalam memori. Pekerjaan Spark dapat memuat dan menyimpan data ke dalam memori dan mengkuerinya berulang kali, yang lebih cepat daripada aplikasi berbasis disk, seperti Hadoop.

Apache Spark di Microsoft Fabric

Fabric Runtime adalah platform terintegrasi Azure berdasarkan Apache Spark yang memungkinkan implementasi dan manajemen rekayasa data dan pengalaman ilmu data. Fabric Runtime menggabungkan komponen utama dari sumber internal dan sumber terbuka, yang menyediakan solusi komprehensif.

Fabric Runtime memiliki komponen utama berikut:

  • Apache Spark adalah pustaka komputasi terdistribusi sumber terbuka yang kuat yang memungkinkan pemrosesan data skala besar dan tugas analitik. Apache Spark menyediakan platform serbaguna dan berperforma tinggi untuk pengalaman rekayasa data dan ilmu data.

  • Delta Lake adalah lapisan penyimpanan sumber terbuka yang mengintegrasikan transaksi atomitas, konsistensi, isolasi, dan durabilitas (ACID) dan fitur keandalan data lainnya dengan Apache Spark. Terintegrasi dalam Fabric Runtime, Delta Lake meningkatkan kemampuan pemrosesan data dan membantu memastikan konsistensi data di beberapa operasi bersamaan.

  • Paket tingkat default untuk Java, Scala, Python, dan R adalah paket yang mendukung beragam bahasa dan lingkungan pemrograman. Paket ini secara otomatis diinstal dan dikonfigurasi, sehingga pengembang dapat menerapkan bahasa pemrograman pilihan mereka untuk tugas pemrosesan data.

Fabric Runtime dibangun di atas sistem operasi sumber terbuka yang kuat untuk membantu memastikan kompatibilitas dengan berbagai konfigurasi perangkat keras dan persyaratan sistem.

Untuk informasi selengkapnya, lihat runtime Apache Spark di Fabric.

Azure Databricks Runtime untuk Pembelajaran Mesin

Azure Databricks adalah platform analitik berbasis Apache Spark yang memiliki penyiapan satu klik, alur kerja yang disederhanakan, dan ruang kerja interaktif untuk kolaborasi antara ilmuwan data, insinyur, dan analis bisnis.

Anda dapat menggunakan Databricks Runtime for Machine Learning untuk memulai kluster Databricks dengan semua pustaka yang diperlukan untuk pelatihan terdistribusi. Fitur ini menyediakan lingkungan untuk pembelajaran mesin dan ilmu data. Ini berisi beberapa pustaka populer, termasuk TensorFlow, PyTorch, Keras, dan XGBoost. Ini juga mendukung pelatihan terdistribusi melalui Horovod.

Untuk informasi selengkapnya, lihat sumber daya berikut ini:

Apache Spark di Azure HDInsight

Apache Spark di Azure HDInsight merupakan penerapan Microsoft dari Apache Spark di cloud. Kluster Spark di HDInsight kompatibel dengan Azure Storage dan Azure Data Lake Storage, sehingga Anda dapat menggunakan kluster HDInsight Spark untuk memproses data yang Anda simpan di Azure.

SynapseML, sebelumnya dikenal sebagai MMLSpark, adalah pustaka pembelajaran mesin Microsoft untuk Apache Spark. Pustaka sumber terbuka ini menambahkan banyak alat pembelajaran mendalam dan ilmu data, kemampuan jaringan, dan performa tingkat produksi ke ekosistem Spark.

Untuk informasi selengkapnya, lihat sumber daya berikut ini:

Penyimpanan data untuk AI

Anda dapat menggunakan platform berikut untuk menyimpan, mengakses, dan menganalisis data dalam volume besar secara efisien.

Fabric OneLake

OneLake in Fabric adalah data lake terpadu dan logis yang dapat Anda sesuaikan dengan seluruh organisasi Anda. Ini berfungsi sebagai hub pusat untuk semua data analitik dan disertakan dengan setiap tenant Fabric. OneLake in Fabric dibangun di atas fondasi Data Lake Storage.

OneLake dalam Fabric:

  • Mendukung jenis file terstruktur dan tidak terstruktur.
  • Menyimpan semua data tabular dalam format Delta-Parquet.
  • Menyediakan satu data lake dalam batas penyewa yang diatur secara default.
  • Mendukung pembuatan ruang kerja di dalam satu penyewa sehingga organisasi Anda dapat menyebarluaskan kebijakan kepemilikan dan akses.
  • Mendukung pembuatan berbagai item data, seperti lakehouse dan gudang, tempat Anda dapat mengakses data.

Untuk informasi selengkapnya, lihat OneLake, OneDrive untuk data.

Data Lake Storage

Data Lake Storage adalah repositori terpusat tunggal tempat Anda dapat menyimpan data terstruktur dan tidak terstruktur. Gunakan data lake untuk menyimpan, mengakses, dan menganalisis berbagai data dengan cepat dan mudah dalam satu lokasi. Anda tidak perlu menyesuaikan data agar sesuai dengan struktur yang ada. Sebagai gantinya, Anda dapat menyimpan data dalam format mentah atau aslinya, biasanya sebagai file atau sebagai objek besar biner, atau blob.

Data Lake Storage menyediakan semantik sistem file, keamanan tingkat file, dan skala. Dalam penyimpanan ini yang dibangun di Azure Blob Storage, Anda juga mendapatkan penyimpanan berjenjang dengan biaya rendah yang memiliki ketersediaan tinggi dan kemampuan pemulihan bencana.

Data Lake Storage menggunakan infrastruktur Azure Storage untuk membuat fondasi untuk membangun data lake perusahaan di Azure. Data Lake Storage dapat melayani beberapa petabyte informasi sambil mempertahankan ratusan gigabit throughput sehingga Anda dapat mengelola sejumlah besar data.

Untuk informasi selengkapnya, lihat sumber daya berikut ini:

Pemrosesan data untuk AI

Anda dapat menggunakan alat berikut untuk menyiapkan data untuk pembelajaran mesin dan aplikasi AI. Pastikan data Anda bersih dan terstruktur sehingga Anda dapat menggunakannya untuk analitik tingkat lanjut.

Fabric Data Factory

Anda dapat menggunakan Fabric Data Factory untuk mengintegrasikan, menyiapkan, dan mengubah data dari beberapa sumber data, seperti database, gudang data, danau data, dan aliran data waktu nyata. Layanan ini dapat membantu Anda memenuhi persyaratan operasi data saat Anda merancang beban kerja.

Fabric Data Factory mendukung solusi kode dan solusi tanpa kode atau kode rendah:

  • Gunakan alur data untuk membuat kemampuan alur kerja dalam skala cloud. Gunakan antarmuka seret dan letakkan untuk membangun alur kerja yang dapat menyegarkan aliran data Anda, memindahkan data berukuran petabyte, dan menentukan alur aliran kontrol.

  • Gunakan aliran data sebagai antarmuka kode rendah untuk menyerap data dari ratusan sumber data dan mengubahnya dengan menggunakan lebih dari 300 transformasi data.

Untuk informasi selengkapnya, lihat skenario end-to-end Data Factory: Pengenalan dan arsitektur.

Azure Databricks

Anda dapat menggunakan Databricks Data Intelligence Platform untuk menulis kode untuk membuat alur kerja pembelajaran mesin dengan menggunakan rekayasa fitur. Rekayasa fitur adalah proses mengubah data mentah menjadi fitur yang dapat Anda gunakan untuk melatih model pembelajaran mesin. Databricks Data Intelligence Platform mencakup fitur utama yang mendukung rekayasa fitur:

  • Alur data menyerap data mentah, membuat tabel fitur, melatih model, dan melakukan inferensi batch. Saat Anda menggunakan rekayasa fitur dalam Unity Catalog untuk melatih dan mencatat model, model dikemas dengan metadata fitur. Saat Anda menggunakan model untuk penilaian batch atau inferensi online, model tersebut secara otomatis mengambil nilai fitur. Pemanggil tidak perlu tahu tentang nilai atau menyertakan logika untuk mencari atau menggabungkan fitur untuk menilai data baru.

  • Model dan fitur yang melayani titik akhir dapat diakses secara instan dan memberikan latensi milidetik.

  • Pemantauan membantu memastikan performa dan akurasi data dan model.

Anda juga dapat menggunakan Mosaic AI Vector Search untuk menyimpan dan mengambil embedding. Penyematan sangat penting untuk aplikasi yang memerlukan pencarian kesamaan, seperti RAG, sistem rekomendasi, dan pengenalan gambar.

Untuk informasi selengkapnya, lihat Azure Databricks: Menyajikan data untuk pembelajaran mesin dan AI.

Konektor data untuk AI

Alur Azure Data Factory dan Azure Synapse Analytics mendukung banyak penyimpanan dan format data melalui menyalin, aliran data, mencari, mendapatkan metadata, dan menghapus aktivitas. Untuk melihat konektor penyimpanan data yang tersedia, kemampuan yang didukung termasuk konfigurasi yang sesuai, dan opsi Konektivitas Open Database umum, lihat gambaran umum konektor Azure Data Factory dan Azure Synapse Analytics.

AI Kustom

Solusi AI kustom membantu Anda mengatasi kebutuhan dan tantangan bisnis tertentu. Bagian berikut memberikan gambaran umum tentang berbagai alat dan layanan yang dapat Anda gunakan untuk membangun dan mengelola model AI kustom.

Pembelajaran Mesin Azure

Azure Machine Learning adalah layanan cloud untuk mempercepat dan mengelola siklus hidup proyek pembelajaran mesin. Profesional pembelajaran mesin, ilmuwan data, dan insinyur dapat menggunakan layanan ini dalam alur kerja sehari-hari mereka untuk melatih dan menyebarkan model dan mengelola operasi pembelajaran mesin.

Pembelajaran Mesin menawarkan kemampuan berikut:

  • pemilihan Algoritma : Beberapa algoritma membuat asumsi khusus tentang struktur data atau hasil yang diinginkan. Pilih algoritma yang sesuai dengan kebutuhan Anda sehingga Anda bisa mendapatkan hasil yang lebih berguna, prediksi yang lebih akurat, dan waktu pelatihan yang lebih cepat. Untuk informasi selengkapnya, lihat Cara memilih algoritma untuk Pembelajaran Mesin.

  • penyetelan atau pengoptimalan Hyperparameter: Anda dapat menggunakan proses manual ini untuk menemukan konfigurasi hiperparameter yang menghasilkan performa terbaik. Pengoptimalan ini menimbulkan biaya komputasi yang signifikan. Hyperparameter adalah parameter-parameter yang dapat disesuaikan yang memberikan kontrol dalam proses pelatihan model. Misalnya, Anda dapat memilih jumlah lapisan tersembunyi dan jumlah simpul di setiap lapisan jaringan neural. Kinerja model sangat bergantung pada hyperparameter.

    Anda dapat menggunakan Pembelajaran Mesin untuk mengotomatiskan penyetelan hiperparameter dan menjalankan eksperimen secara paralel untuk mengoptimalkan hiperparameter secara efisien.

    Untuk informasi selengkapnya, lihat sumber daya berikut ini:

  • Pelatihan model: Anda dapat secara berulang menggunakan algoritma untuk membuat atau mengajarkan model. Setelah model dilatih, Anda dapat menggunakannya untuk menganalisis data dan membuat prediksi.

    Selama fase pelatihan:

    1. Kumpulan kualitas data yang diketahui ditandai sehingga bidang individual dapat diidentifikasi.

    2. Algoritma yang dikonfigurasi untuk membuat prediksi tertentu menerima data yang ditandai.

    3. Algoritma menghasilkan model yang menangkap pola yang diidentifikasi dalam data. Model ini menggunakan sekumpulan parameter untuk mewakili pola-pola ini.

    Selama validasi:

    1. Data baru ditandai dan digunakan untuk menguji model.

    2. Algoritma disesuaikan sesuai kebutuhan dan mungkin melakukan lebih banyak pelatihan.

    3. Fase pengujian menggunakan data dunia nyata tanpa tag atau target yang telah dipilih sebelumnya. Jika hasil model akurat, model siap digunakan dan dapat disebarkan.

    Untuk informasi selengkapnya, lihat sumber daya berikut ini:

  • AutoML: Proses ini mengotomatiskan tugas pengembangan model pembelajaran mesin yang memakan waktu dan berulang. Ini dapat secara signifikan mengurangi waktu yang diperlukan untuk menghasilkan model pembelajaran mesin siap produksi. AutoML dapat membantu pemilihan model, penyetelan hiperparameter, pelatihan model, dan tugas lainnya, tanpa memerlukan pemrograman ekstensif atau pengetahuan domain.

    Anda dapat menggunakan AutoML saat Anda ingin Machine Learning menggunakan metrik target tertentu untuk melatih dan menyetel model. Anda tidak memerlukan keahlian ilmu data untuk mengidentifikasi proses pembelajaran mesin end-to-end untuk menyelesaikan masalah.

    Profesional dan pengembang pembelajaran mesin di seluruh industri dapat menggunakan AutoML untuk:

    • Menerapkan solusi pembelajaran mesin tanpa pemrograman ekstensif atau pengetahuan pembelajaran mesin.
    • Hemat waktu dan sumber daya.
    • Menerapkan praktik terbaik ilmu data.
    • Berikan pemecahan masalah yang tangkas.

    Untuk informasi selengkapnya, lihat Apa itu AutoML?.

  • Penilaian: Proses ini, juga disebut prediksi , menggunakan model pembelajaran mesin terlatih untuk menghasilkan nilai berdasarkan data input baru. Nilai, atau skor, dapat mewakili prediksi nilai di masa mendatang, tetapi mungkin juga mewakili kategori atau hasil yang mungkin.

    Untuk informasi selengkapnya, lihat sumber daya berikut ini:

  • Rekayasa fitur dan fiturisasi: Data pelatihan terdiri dari baris dan kolom. Setiap baris adalah pengamatan atau rekaman, dan kolom-kolom dari setiap baris adalah fitur-fitur yang menjelaskan setiap rekaman. Biasanya, fitur yang paling mencirikan pola dalam data dipilih untuk membuat model prediktif.

Meskipun Anda dapat menggunakan banyak bidang data mentah untuk melatih model, Anda mungkin perlu membuat fitur rekayasa lain yang memberikan informasi untuk membedakan pola dalam data dengan lebih baik. Proses ini disebut rekayasa fitur, di mana Anda menggunakan pengetahuan domain tentang data untuk membuat fitur yang membantu algoritma pembelajaran mesin belajar lebih baik.

Dalam Pembelajaran Mesin, teknik penskalaan dan normalisasi data diterapkan untuk mempermudah rekayasa fitur. Secara kolektif, teknik dan rekayasa fitur ini disebut fiturisasi dalam eksperimen AutoML. Untuk informasi selengkapnya, lihat fiturisasi data dalam pembelajaran mesin otomatis.

Azure OpenAI

Di Azure OpenAI, Anda dapat menggunakan proses yang dikenal sebagai menyempurnakan untuk menyesuaikan model OpenAI dengan himpunan data pribadi Anda. Langkah penyesuaian ini mengoptimalkan layanan dengan menyediakan:

  • Hasil kualitas lebih tinggi dibandingkan dengan rekayasa prompt saja.
  • Kemampuan untuk melatih lebih banyak contoh daripada batas maksimum konteks permintaan yang biasanya diizinkan oleh model.
  • Penghematan token karena perintah yang lebih pendek.
  • Permintaan latensi yang lebih rendah, terutama ketika Anda menggunakan model yang lebih kecil.

Untuk informasi selengkapnya, lihat sumber daya berikut ini:

Layanan Azure AI untuk AI kustom

layanan Azure AI menyediakan fitur untuk membangun model dan aplikasi AI kustom. Bagian berikut memberikan gambaran umum tentang fitur utama ini.

Ucapan kustom

Ucapan kustom adalah fitur layanan Azure AI Speech. Anda dapat menggunakan ucapan kustom untuk mengevaluasi dan meningkatkan akurasi pengenalan ucapan untuk aplikasi dan produk Anda. Gunakan model percakapan kustom untuk konversi ucapan ke teks secara real-time, terjemahan percakapan, dan transkripsi batch.

Secara default, pengenalan ucapan menggunakan model bahasa universal sebagai model dasar. Model ini dilatih dengan data milik Microsoft dan mencerminkan bahasa lisan yang umum digunakan. Model dasar telah dilatih sebelumnya dengan dialek dan fonetik yang mewakili berbagai domain umum. Saat Anda membuat permintaan pengenalan ucapan, model dasar terbaru untuk bahasa yang didukung digunakan secara default. Model dasar bekerja dengan baik dalam sebagian besar skenario pengenalan ucapan.

Anda dapat menggunakan model kustom untuk menambah model dasar. Misalnya, Anda dapat meningkatkan pengenalan kosakata khusus domain yang khusus untuk aplikasi dengan menyediakan data teks untuk melatih model. Anda juga dapat meningkatkan pengenalan untuk kondisi audio tertentu dari aplikasi dengan menyediakan data audio, termasuk transkripsi referensi.

Jika data mengikuti pola, Anda dapat menggunakan teks terstruktur untuk melatih model. Anda dapat menentukan pengucapan khusus dan menyesuaikan pemformatan tampilan teks dengan normalisasi terbalik teks khusus, penulisan ulang khusus, dan pemfilteran kata-kata kasar khusus.

Penerjemah Khusus

Penerjemah kustom adalah fitur dari layanan Penerjemah Azure AI. Perusahaan, pengembang aplikasi, dan penyedia layanan bahasa dapat menggunakan penerjemah kustom untuk membangun sistem terjemahan mesin neural (NMT) yang disesuaikan. Sistem terjemahan yang disesuaikan terintegrasi dengan sempurna ke dalam aplikasi, alur kerja, dan situs web yang ada.

Anda dapat menggunakan fitur ini untuk membangun dan menerbitkan sistem terjemahan kustom ke dan dari bahasa Inggris. Penerjemah kustom mendukung lebih dari tiga lusin bahasa yang berhubungan langsung dengan bahasa untuk NMT. Untuk daftar lengkap bahasa, lihat dukungan bahasa penerjemah .

Penerjemah kustom menawarkan fitur berikut.

Fitur Deskripsi
Menerapkan teknologi Neural Machine Translation (NMT) Terapkan NMT dari penerjemah kustom untuk meningkatkan terjemahan Anda.
Membangun sistem yang mengetahui terminologi bisnis Anda Sesuaikan dan bangun sistem terjemahan dengan menggunakan dokumen paralel yang memahami terminologi dalam bisnis dan industri Anda.
Gunakan kamus untuk menyusun model Anda Latih model hanya dengan data kamus jika Anda tidak memiliki himpunan data pelatihan.
Berkolaborasi dengan yang lain Berkolaborasilah dengan tim Anda dengan berbagi pekerjaan Anda dengan berbagai orang.
Akses model terjemahan kustom Anda Akses model terjemahan kustom Anda kapan saja dengan menggunakan aplikasi atau program yang ada melalui Microsoft Translator Text API V3.

Model kustom Azure AI untuk Kecerdasan Dokumen

Azure AI Document Intelligence menggunakan teknologi pembelajaran mesin tingkat lanjut untuk mengidentifikasi dokumen, mendeteksi dan mengekstrak informasi dari formulir dan dokumen, dan mengembalikan data yang diekstrak dalam output JSON terstruktur. Gunakan Kecerdasan Dokumen untuk memanfaatkan model analisis dokumen yang telah dibangun sebelumnya atau dilatih, atau memanfaatkan model kustom mandiri yang telah dilatih.

model kustom Kecerdasan Dokumen menyertakan model klasifikasi kustom untuk skenario di mana Anda perlu mengidentifikasi jenis dokumen sebelum Anda memanggil model ekstraksi. Anda dapat memasangkan model klasifikasi dengan model ekstraksi kustom untuk menganalisis dan mengekstrak bidang dari formulir dan dokumen yang khusus untuk bisnis Anda. Gabungkan model ekstraksi kustom mandiri untuk membuat model gabungan yang terdiri dari.

Alat AI kustom

Model AI bawaan berguna dan semakin fleksibel, tetapi cara terbaik untuk mengoptimalkan AI adalah dengan menyesuaikan model dengan kebutuhan spesifik Anda. Dua alat utama untuk membuat model AI kustom adalah AI generatif dan pembelajaran mesin tradisional.

Studio Azure Machine Learning

studio Azure Machine Learning adalah layanan cloud untuk mempercepat dan mengelola siklus hidup proyek pembelajaran mesin. Profesional pembelajaran mesin, ilmuwan data, dan insinyur dapat menggunakannya dalam alur kerja sehari-hari mereka untuk melatih dan menyebarkan model dan mengelola operasi pembelajaran mesin.

  • Bangun dan latih model Pembelajaran Mesin dengan menggunakan semua jenis komputasi, termasuk Spark dan GPU untuk beban kerja AI besar skala cloud.

  • Jalankan AutoML dan gunakan antarmuka pengguna seret dan lepas untuk Pembelajaran Mesin berkode rendah.

  • Terapkan operasi Pembelajaran Mesin end-to-end dan alur yang dapat diulang.

  • Gunakan dasbor AI yang bertanggung jawab untuk deteksi bias dan analisis kesalahan.

  • Mengatur dan mengelola rekayasa prompt dan alur LLM.

  • Sebarkan model melalui titik akhir REST API, inferensi real-time, dan inferensi batch.

  • Gunakan ruang kerja hub untuk berbagi komputasi, kuota, keamanan, dan konektivitas ke sumber daya perusahaan, sambil memusatkan tata kelola untuk TI. Siapkan hub sekali, lalu buat ruang kerja aman langsung dari studio untuk setiap proyek. Gunakan hub untuk mengelola pekerjaan tim Anda di studio dan portal AI Foundry.

AI Foundry

AI Foundry membantu Anda membangun dan menyebarkan aplikasi AI generatif kustom secara efisien dengan kekuatan penawaran Azure AI yang luas.

  • Bangun bersama sebagai satu tim. Hub AI Foundry Anda menyediakan keamanan tingkat perusahaan dan lingkungan kolaboratif yang mencakup sumber daya dan koneksi bersama ke model, data, dan komputasi yang telah dilatih sebelumnya.

  • Atur pekerjaan Anda. Proyek AI Foundry membantu Anda menyimpan status sehingga Anda dapat melakukan iterasi dari ide pertama ke prototipe pertama dan penyebaran produksi pertama. Undang orang lain dengan mudah untuk berkolaborasi dengan Anda.

  • Gunakan platform dan kerangka kerja pengembangan pilihan Anda, termasuk GitHub, Visual Studio Code, LangChain, Semantic Kernel, dan AutoGen.

  • Temukan dan tolok ukur dari lebih dari 1.600 model.

  • Memprovisikan model sebagai layanan (MaaS) melalui API tanpa server dan penyempurnaan yang dihosting.

  • Menggabungkan beberapa model, sumber data, dan modalitas.

  • Bangun RAG dengan menggunakan data perusahaan yang dilindungi, tanpa perlu menyempurnakan.

  • Mengatur dan mengelola rekayasa prompt dan alur LLM.

  • Merancang dan melindungi aplikasi dan API melalui filter dan kontrol yang dapat dikonfigurasi.

  • Evaluasi respons model dengan menggunakan alur evaluasi bawaan dan kustom.

  • Sebarkan inovasi AI ke infrastruktur yang dikelola Azure untuk memberikan pemantauan dan tata kelola berkelanjutan di seluruh lingkungan.

  • Terus memantau aplikasi yang disebarkan untuk keamanan, kualitas, dan konsumsi token dalam produksi.

Untuk informasi selengkapnya, lihat portal AI Foundry versus studio Machine Learning.

Alur perintah di portal AI Foundry

Prompt flow di portal AI Foundry adalah alat pengembangan yang dapat Anda gunakan untuk menyederhanakan seluruh siklus pengembangan aplikasi AI yang didukung oleh LLM. Alur prompt menyediakan solusi komprehensif yang menyederhanakan proses prototipe, bereksperimen, iterasi, dan penyebaran aplikasi AI Anda.

  • Alur perintah adalah fitur yang dapat Anda gunakan untuk membuat, menyesuaikan, atau menjalankan alur.

  • Alur adalah set instruksi yang dapat menerapkan logika AI. Membuat atau menjalankan alur melalui alat, seperti kanvas bawaan atau LangChain. Anda dapat menyimpan iterasi alur sebagai aset. Setelah Anda menyebarkan alur, alur tersebut menjadi API. Tidak semua alur adalah alur perintah. Alur dari prompt adalah salah satu cara dalam membuat alur.

  • Prompt adalah paket input yang dikirim ke model. Ini terdiri dari input pengguna, pesan sistem, dan contoh apa pun. Input pengguna adalah teks yang dikirimkan di jendela obrolan. Pesan sistem adalah serangkaian instruksi untuk model yang mencakup perilaku dan fungsionalitasnya.

  • Alur sampel adalah alur orkestrasi sederhana yang sudah dibuat sebelumnya yang menunjukkan cara kerja aliran. Anda dapat menyesuaikan alur sampel.

  • Permintaan sampel adalah permintaan yang ditentukan untuk skenario tertentu yang dapat Anda salin dari pustaka dan menggunakan as-is atau mengubahnya dalam desain perintah.

Bahasa kode AI kustom

Konsep inti AI adalah penggunaan algoritma untuk menganalisis data dan menghasilkan model untuk menggambarkan, atau menilainya dengan cara yang berguna. Pengembang dan ilmuwan data, dan terkadang algoritma lainnya, menggunakan kode pemrograman untuk menulis algoritma. Dua bahasa pemrograman paling populer untuk pengembangan AI adalah Python dan R.

Python adalah bahasa pemrograman tingkat tinggi yang bertujuan umum. Python memiliki sintaks sederhana dan mudah dipelajari yang menekankan keterbacaan. Tidak ada langkah kompilasi. Python memiliki pustaka standar besar, dan mendukung kemampuan untuk menambahkan modul dan paket. Fitur ini mendorong modularitas dan memungkinkan Anda memperluas kemampuan saat diperlukan. Ada ekosistem AI dan pustaka pembelajaran mesin yang besar dan berkembang untuk Python, termasuk banyak di Azure.

Untuk informasi selengkapnya, lihat sumber daya berikut ini:

R adalah bahasa dan lingkungan untuk komputasi dan grafik statistik. Anda dapat menggunakannya untuk segala sesuatu mulai dari pemetaan tren sosial dan pemasaran yang luas secara online hingga mengembangkan model keuangan dan iklim.

Microsoft sepenuhnya merangkul bahasa pemrograman R dan menyediakan banyak opsi bagi pengembang R untuk menjalankan kode mereka di Azure.

Untuk informasi selengkapnya, lihat Gunakan R secara interaktif diPembelajaran Mesin .

Untuk informasi umum tentang AI kustom di Azure, lihat sumber daya berikut ini:

Kisah pelanggan

Banyak industri menerapkan AI dengan cara yang inovatif dan menginspirasi. Pertimbangkan studi kasus pelanggan berikut dan kisah sukses:

Jelajahi lebih banyak cerita pelanggan AI

Informasi umum tentang Microsoft AI

Pelajari selengkapnya tentang Microsoft AI, dan tetap perbarui berita terkait:

Langkah berikutnya