Bagikan melalui

Mulai menggunakan Foundry Local

Penting

  • Foundry Local tersedia dalam pratinjau. Rilis pratinjau publik menyediakan akses awal ke fitur yang sedang dalam penyebaran aktif.
  • Fitur, pendekatan, dan proses dapat berubah atau memiliki kemampuan terbatas, sebelum Ketersediaan Umum (GA).

Panduan ini memandu Anda menyiapkan Foundry Local untuk menjalankan model AI di perangkat Anda.

Prasyarat

Sistem Anda harus memenuhi persyaratan berikut untuk menjalankan Foundry Local:

  • Sistem Operasi: Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.
  • Perangkat keras: RAM minimum 8GB, ruang disk kosong 3GB. RAM 16GB yang direkomendasikan, ruang disk kosong 15GB.
  • Jaringan: Koneksi internet untuk pengunduhan model awal (opsional untuk penggunaan offline)
  • Akselerasi (opsional): GPU NVIDIA (seri 2.000 atau lebih baru), GPU AMD (seri 6.000 atau lebih baru), Qualcomm Snapdragon X Elite (memori 8 GB atau lebih), atau silikon Apple.

Selain itu, pastikan Anda memiliki hak administratif untuk menginstal perangkat lunak di perangkat Anda.

Cepat Mulai

Mulai menggunakan Foundry Local dengan cepat:

  1. Instal Foundry Local

    • Windows: Buka terminal dan jalankan perintah berikut: 
      winget install Microsoft.FoundryLocal
    • macOS: Buka terminal dan jalankan perintah berikut: 
      brew tap microsoft/foundrylocal
brew install foundrylocal

    Atau, Anda dapat mengunduh alat penginstal dari repositori Foundry Local GitHub.

  2. Jalankan model pertama Anda Buka jendela terminal dan jalankan perintah berikut untuk menjalankan model:

    foundry model run phi-3.5-mini

    Model diunduh - yang dapat memakan waktu beberapa menit, tergantung pada kecepatan internet Anda - dan kemudian model dijalankan. Setelah model berjalan, Anda dapat berinteraksi dengannya menggunakan antarmuka baris perintah (CLI). Misalnya, Anda dapat bertanya:

    Why is the sky blue?

    Anda akan melihat respons dari model di terminal: Cuplikan layar output dari perintah eksekusi lokal foundry.

Petunjuk / Saran

Anda dapat mengganti phi-3.5-mini dengan nama model apa pun dari katalog (lihat foundry model list untuk model yang tersedia). Foundry Local mengunduh varian model yang paling sesuai dengan konfigurasi perangkat keras dan perangkat lunak sistem Anda. Misalnya, jika Anda memiliki GPU NVIDIA, GPU tersebut mengunduh versi CUDA model. Jika Anda memiliki NPU Qualcomm, akan mengunduh varian NPU. Jika Anda tidak memiliki GPU atau NPU, GPU akan mengunduh versi CPU.

Jelajahi perintah

Foundry CLI mengatur perintah ke dalam kategori utama ini:

  • Model: Perintah untuk mengelola dan menjalankan model.
  • Layanan: Perintah untuk mengelola layanan Foundry Local.
  • Cache: Perintah untuk mengelola cache model lokal (model yang diunduh pada disk lokal).

Lihat semua perintah yang tersedia dengan:

foundry --help

Untuk melihat perintah model yang tersedia, jalankan:

foundry model --help

Untuk melihat perintah layanan yang tersedia, jalankan:

foundry service --help

Untuk melihat perintah cache yang tersedia, jalankan:

foundry cache --help

Petunjuk / Saran

Untuk panduan lengkap untuk semua perintah CLI dan penggunaannya, lihat Referensi CLI Lokal Foundry.

Memutakhirkan Foundry Local

Untuk meningkatkan Foundry Local ke versi terbaru, gunakan perintah berikut berdasarkan sistem operasi Anda:

  • Windows: Buka terminal dan jalankan: 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS: Buka terminal dan jalankan: 
    brew upgrade foundrylocal

Mencopot pemasangan Foundry Local

Jika Anda ingin menghapus instalasi Foundry Local, gunakan perintah berikut berdasarkan sistem operasi Anda:

  • Windows: Buka terminal dan jalankan: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: Buka terminal dan jalankan: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Langkah selanjutnya