Inferensi AI di Windows Server

Inferensi AI lokal adalah proses menjalankan model AI terlatih pada infrastruktur yang Anda atau organisasi Anda kendalikan. Skenario utama Windows Server adalah inferensi terdistribusi: model server yang kompatibel dengan OpenAI berjalan di Windows Server, dan klien jarak jauh mengirim permintaan ke endpoint-nya melalui jaringan. Misalnya, Visual Studio Code pada workstation Windows 11 dapat mengirim prompt ke server dan menerima output yang dihasilkan.

Organisasi menggunakan inferensi terdistribusi untuk memberikan akses kepada beberapa klien ke komputasi model bersama sambil mengontrol ke mana permintaan dan output bergerak. Kontrol tersebut bergantung pada lokasi endpoint, jalur jaringan, konfigurasi klien, akuisisi model, diagnostik, dan layanan lain dalam solusi.

Artikel ini membantu administrator dan pengembang Windows Server memutuskan kapan menggunakan inferensi lokal dan mengidentifikasi pertimbangan infrastruktur untuk pilihan tersebut.

Bagaimana inferensi AI bekerja di Windows Server

Dengan menggunakan inferensi AI lokal di Windows Server, aplikasi dan alat jarak jauh terhubung ke alamat jaringan server model, mengirim permintaan, dan menerima respons. Klien tidak memuat atau menjalankan model secara lokal.

Topologi ini memberikan peran yang berbeda pada Windows Server. Server ini memusatkan kapasitas komputasi dan GPU, penyimpanan dan hosting model, akses jaringan, operasi layanan, dan manajemen kapasitas untuk beberapa klien. Administrator mengoperasikan layanan bersama dan infrastrukturnya, sementara pengembang mengonfigurasi klien untuk URL dasar endpoint, pengenal model, API yang didukung, dan metode autentikasi.

Solusi ini memuat elemen-elemen berikut:

  • Klien jarak jauh: Aplikasi, alat pengembangan, atau alat administratif yang mengirimkan prompt atau input model lainnya melalui jaringan. Klien dapat berjalan di Windows 11, Windows Server, atau platform lain yang didukung.
  • Antarmuka: API SDK atau HTTP yang mendefinisikan format permintaan dan respons. Banyak runtime bersama menampilkan API yang kompatibel dengan OpenAI, misalnya.
  • Server model dan model: Runtime berorientasi server yang memuat model terlatih, menjadwalkan permintaan inferensi, dan mengembalikan output melalui endpoint.
  • Infrastruktur Windows Server: Host fisik atau mesin virtual, prosesor, memori, penyimpanan, sumber daya GPU, jaringan, dan alat manajemen yang mendukung dan mengekspos beban kerja bersama.

Endpoint mengimplementasikan satu atau lebih format API yang digunakan klien, tetapi kompatibilitas tidak berarti setiap endpoint mendukung setiap kemampuan. Klien mungkin memerlukan rute tertentu, pengenal model, perilaku streaming, pemanggilan alat atau fungsi, metode autentikasi, atau kolom permintaan. Konfirmasi baik persyaratan klien maupun kemampuan endpoint sebelum Anda menghubungkannya.

Inferensi tertanam memiliki batas yang berbeda. Aplikasi memuat dan menjalankan model pada perangkat yang sama, sering kali dalam proses aplikasi, alih-alih memanggil server model. Windows ML menyediakan kerangka inferensi aplikasi ini untuk model ONNX. Foundry Local juga ditujukan untuk alur kerja pada perangkat. Foundry Local SDK menyematkan runtime ke dalam aplikasi, dan antarmuka baris perintahnya mengelola model dan layanan lokal pada satu perangkat. Opsi-opsi ini dapat berjalan di perangkat keras Windows Server, tetapi tidak menyediakan layanan inferensi terdistribusi yang dioperasikan administrator secara terpusat untuk beberapa klien.

Pilih pendekatan inferensi Anda

Pilih pendekatan berdasarkan di mana inferensi dijalankan, berapa banyak klien yang membutuhkan model, dan siapa yang mengoperasikan runtime. Gunakan Windows Server sebagai endpoint bersama untuk memusatkan model dan komputasi untuk klien jarak jauh. Pendekatan ini menambah kebutuhan jaringan, keamanan, kapasitas, dan ketersediaan. Sebagai alternatif, gunakan inferensi tersemat atau pada perangkat di Windows Server ketika satu aplikasi atau perangkat harus bertanggung jawab atas runtime dan siklus hidup model.

Approach Paling pas Model operasional Batasan penting
Endpoint Windows Server Beberapa aplikasi atau alat jarak jauh yang menggunakan layanan model yang dikelola oleh tim operasi pusat Server model di Windows Server memiliki pemuatan model, penjadwalan permintaan, konkurensi, dan API. Klien jarak jauh menggunakan URL dasar endpoint, pengenal model, dan pengaturan autentikasi yang disetujui organisasi mereka. Produk yang Anda pilih menentukan instalasi runtime, penerapan endpoint, dukungan API, dan karakteristik skala. Artikel ini mengasumsikan bahwa endpoint sudah ada dan klien dapat menjangkaunya.
Windows ML Aplikasi Windows yang menjalankan model ONNX pada perangkat yang sama Aplikasi ini menggunakan ONNX Runtime yang didukung Windows, baik sebagai komponen sistem bersama maupun yang terpisah dengan aplikasi. Penyedia eksekusi opsional menggunakan sumber daya CPU, GPU, atau NPU yang tersedia. Windows ML adalah kerangka kerja inferensi aplikasi, bukan endpoint penyajian model yang kompatibel dengan OpenAI. Persyaratan penyedia eksekusi, driver, perangkat keras, dan model bervariasi.
Foundry Local Aplikasi dan alur kerja pengembangan yang memerlukan inferensi langsung pada satu perangkat serta katalog model yang terkurasi Aplikasi biasanya menjalankan inferensi dalam proses melalui SDK. Foundry Local CLI dapat mengelola model dan layanan lokal di perangkat. Foundry Local dapat berjalan di perangkat keras server, tetapi desainnya tidak menargetkan inferensi server multi-pengguna. Aplikasi ini tidak menyediakan antrian permintaan secara bersamaan, batching berkelanjutan, atau berbagi GPU yang efisien untuk banyak klien simultan.

Pendekatan-pendekatan tersebut tidak saling bertentangan di seluruh organisasi. Satu aplikasi mungkin menyematkan model ONNX melalui Windows ML, pengembang mungkin menggunakan Foundry Local pada satu workstation, dan alat pengembangan jarak jauh serta aplikasi bisnis mungkin menggunakan endpoint bersama di Windows Server. Perlakukan setiap jalur sebagai beban kerja terpisah dengan model, perangkat keras, keamanan, dan kebutuhan dukungan sendiri.

Rencanakan infrastruktur Windows Server untuk inferensi AI

Arsitektur model, jumlah parameter, kuantisasi, panjang konteks, konkurensi permintaan, dan target latensi menentukan komputasi dan memori yang diperlukan. Beberapa model berjalan di CPU, sementara beban kerja lain mendapat manfaat dari akselerasi GPU. GPU bukanlah prasyarat untuk setiap solusi inferensi.

Untuk beban kerja pada host Windows Server fisik, runtime dapat menggunakan perangkat keras dan API yang didukung oleh Windows Server dan vendor perangkat keras. Untuk beban kerja di mesin virtual Hyper-V, pilih opsi virtualisasi GPU yang sesuai. Merencanakan akselerasi GPU di Windows Server membahas akses langsung host, Discrete Device Assignment (DDA), partisi GPU, dan skenario kontainer Windows. Partisi GPU tersedia di Windows Server 2025 atau versi lebih baru dan merupakan pilihan infrastruktur opsional.

Juga rencanakan sumber daya berikut:

  • Memori dan memori GPU: Memperhitungkan kebutuhan model yang dimuat, konteks, dan cache, permintaan bersamaan, dan proses lain pada host.
  • Penyimpanan: Menyediakan kontrol kapasitas dan akses untuk file model, paket runtime, log, dan data sementara. Akuisisi model dapat memerlukan koneksi jaringan eksternal bahkan ketika inferensi berjalan secara lokal.
  • Jaringan: Untuk endpoint bersama, perkirakan bandwidth dan latensi antara klien dan endpoint. Tentukan jaringan dan host mana yang dapat mengakses layanan.
  • Ketersediaan dan kapasitas: Tentukan bagaimana klien berperilaku ketika endpoint tidak tersedia atau beroperasi pada kapasitas penuh. Verifikasi konkurensi dan throughput menggunakan model dan permintaan yang representatif sebelum digunakan di produksi.

Amankan dan operasikan inferensi AI di Windows Server

Penempatan secara lokal tidak dengan sendirinya memberikan batas keamanan. Tentukan batas tempat prompt, data yang diambil, file model, output, log, dan diagnostik harus tetap berada, lalu verifikasi setiap komponen terhadap batas tersebut.

Lindungi lalu lintas jaringan dengan pengaturan TLS yang disetujui, autentikasi dan otorisasi klien, batasi akses endpoint dengan kontrol jaringan, dan simpan kredensial di secret store yang disetujui. Jangan masukkan kredensial ke file sumber atau konfigurasi alat yang bisa dibaca pengguna lain. Tinjau lisensi model dan sumber akuisisi sebelum Anda menyebarkan file model.

Validasi output model sebelum Anda mengandalkannya. Pertahankan pengawasan manusia yang tepat untuk tindakan atau keputusan yang berkonsekuensi.

Kelola infrastruktur Windows Server melalui alat administrasi yang sudah Anda mapan, termasuk Windows Admin Center ketika mendukung operasi yang diperlukan. Ikuti dokumentasi runtime untuk siklus hidup model dan operasi spesifik endpoint. Setidaknya, rencanakan untuk mengamati kesehatan endpoint, latensi permintaan, throughput, kegagalan, penggunaan CPU dan memori, pemanfaatan GPU dan penggunaan memori bila memungkinkan, serta kapasitas penyimpanan. Metrik dan operasi manajemen yang tersedia bervariasi menurut runtime, sehingga artikel ini tidak menetapkan satu implementasi observabilitas tunggal.

Skenario inferensi AI lokal yang umum

Inferensi lokal dapat mendukung beban kerja pengembang, administrator, dan aplikasi sambil menjaga jalur inferensi tetap dalam batas yang dipilih oleh organisasi.

  • Bantuan pengkodean: Hubungkan alat pengembangan yang didukung, seperti Visual Studio Code di Windows 11, ke endpoint yang sudah ada di Windows Server untuk penjelasan, pembuatan, tinjauan, atau pemecahan masalah kode. Kode sumber dan prompt bergerak melalui jaringan ke titik akhir tersebut, jadi sertakan jalur jaringan, titik akhir, dan operatornya dalam batas data.
  • Bantuan administratif: Hubungkan alat administratif ke model yang dapat menjelaskan atau mengusulkan perintah. Tinjau perintah yang dihasilkan dan pahami efeknya sebelum Anda menjalankannya, terutama ketika mereka mengubah status sistem.
  • Pemrosesan dokumen: Gunakan aplikasi untuk merangkum, mengklasifikasikan, mengekstrak, atau mengindeks dokumen dengan model lokal. Aplikasi tetap bertanggung jawab untuk memberikan otorisasi atas dokumen sumber dan output yang dihasilkan.
  • Aplikasi percakapan: Tambahkan pengalaman chat atau menjawab pertanyaan ke aplikasi yang sudah ada. Aplikasi dapat menggabungkan endpoint model dengan data perusahaan yang diizinkan, tetapi harus menegakkan kontrol akses secara independen dari model tersebut.

Langkah selanjutnya untuk inferensi AI lokal di Windows Server

  • Terakhir diperbarui pada