Doğru seçeneği belirleme
Hangi Windows yapay zeka seçeneğini kullanmalıyım?
Hedef donanımınıza ve kullanım örneğine bağlıdır. Windows yapay zeka API'leri Copilot+ PCs için en basit yolu sağlar: model yönetimine gerek olmadan OCR, görüntü açıklaması, metin özetleme ve Phi Silica sohbeti için tek API çağrıları. Daha geniş bir model kataloğuna, Copilot+ PC olmayan donanım desteğine veya OpenAI uyumlu API erişimine ihtiyacınız olduğunda, Foundry Local doğru seçimdir. Windows ML size en fazla denetimi sağlar; tüm ONNX modellerini getirin ve yürütme sağlayıcılarını doğrudan yönetin. Yan yana karşılaştırma için bkz. Windows yapay zeka çözümünüzü seçme.
Windows yapay zeka özelliklerini kullanmak için bir Copilot+ PC veya NPU'ya ihtiyacım var mı?
Hangi özelliği kullandığınıza bağlıdır. Windows AI API'leri için NPU içeren bir Copilot+ PC gerekir. Foundry Local, NPU olmayan cihazlar da dahil olmak üzere DirectX 12 özellikli GPU'ya sahip tüm Windows cihazlarda çalışır. Windows ML çok çeşitli CPU'ları, GPU'ları ve NPU'ları destekler. Ayrıntılar için desteklenen donanım listesine bakın.
Foundry Local'i mevcut OpenAI SDK kodumla kullanabilir miyim?
Evet. Foundry Local, OpenAI uyumlu bir REST API'yi kullanıma sunar. ile foundry service startyerel hizmeti başlatın, ardından OpenAI istemcinizi yerel uç noktaya işaret edin; model adınız, iletileriniz ve akış çağrılarınız değişiklik yapmadan çalışır. Uç nokta biçimi için Foundry Local ile çalışmaya başlayın konusuna bakın.
Foundry Local üretim uygulamaları için uygun mu yoksa hala deneysel mi?
Yerel SDK'lar (C#, Python, JavaScript, Rust) şu anda alfa/ön sürümdedir. Temelindeki ONNX Runtime ve model sunma altyapısı üretim ortamına uygundur. Uygulamaları bugün yayımlarken, SDK API yüzeyinin değişebileceğini göz önünde bulundurun ve paket sürümlerinizi sabitleyin. En güncel kararlılık durumu için Foundry Local nedir bölümüne bakın.
Foundry Local çevrimdışı çalışıyor mu?
Evet, bir model cihaza indirilip önbelleğe alındıktan sonra Foundry Local, bulut bağımlılığı olmadan tamamen cihazda çıkarım gerçekleştirir. İlk model indirme işlemi için İnternet erişimi gerekir. Başlangıçta, Foundry Local model kataloğunu yenilemeye çalışabilir, ancak bu gerekli değildir; cihaz çevrimdışıysa önbelleğe alınmış kataloğa geri döner ve çıkarım normal şekilde devam eder. SDK'nın IsCachedAsync (C#) / is_cached (Python) yöntemi, çıkarımı denemeden önce model kullanılabilirliğini denetlemenize olanak tanır, böylece çevrimdışı olayı düzgün bir şekilde işleyebilirsiniz.
Foundry Local, cihazlar arasındaki donanım farklarını nasıl işler?
Foundry Local başlangıçta kullanılabilir donanımı algılar ve en iyi yürütme sağlayıcısını seçer: Qualcomm NPU (QNN), WinML/DirectML (AMD, Intel, NVIDIA, Qualcomm), CUDA aracılığıyla NVIDIA GPU veya CPU geri dönüşü aracılığıyla DirectX 12 özellikli gpu. Bir modeli takma adını kullanarak (örneğin, phi-3.5-mini) çağırırsınız ve Foundry Local, cihaz için donanıma göre optimize edilmiş varyantı otomatik olarak sunar. Uygulama kodunuz tüm donanım yapılandırmalarında aynıdır.
Veri gizliliği ve güvenliği
Foundry Local, buluta kullanıcı verileri gönderiyor mu?
Hayır. Foundry Local tamamen cihazda çalışır. Çıkarım girdisi ve çıktısı makinenin dışına asla çıkmaz. Tek ağ trafiği, ilk model indirme ve isteğe bağlı katalog meta verileri yenilemeleridir. Başlangıçta, Foundry Local model kataloğunu yenilemeye çalışabilir, ancak bu gerekli değildir; cihaz çevrimdışıysa önbelleğe alınmış kataloğa geri döner ve çıkarım normal şekilde devam eder.
Windows AI API'lerini kullanırken veri gizliliğini nasıl işlemem gerekir?
Windows AI API'leri NPU kullanarak verileri cihazda yerel olarak işler. Giriş verileri Microsoft sunuculara gönderilmez. Sorumlu yapay zeka uygulamaları, onayı ve saydamlığı hakkında rehberlik için bkz. Windows'da Sorumlu Üretken Yapay Zeka Uygulamaları ve Özellikleri Geliştirme.
Platform ve çalışma zamanı
Windows ML nedir?
Windows ML, uygulamanızın sistem genelinde paylaşılan bir ONNX Runtime kullanmasını ve satıcıya özgü yürütme sağlayıcılarını (EP'leri) dinamik olarak indirmesini sağlar; böylece çıkarım, uygulamanızın büyük runtime veya EP ikili dosyalarını beraberinde getirmesine gerek kalmadan cihazın CPU'su, GPU'su veya NPU'su için en iyi duruma getirilir. Kendi ONNX modelinizi getirmeniz gerektiğinde veya EP seçimi üzerinde tam denetim sahibi olmak istediğinizde bunu kullanın. Bkz. Windows ML'ye genel bakış.
DirectML nedir?
DirectML, Direct3D 12 üzerine kurulu makine öğrenmesi için düşük düzeyli bir GPU hızlandırma API'sidir. AMD, Intel, NVIDIA ve Qualcomm'un tüm DirectX 12 özellikli GPU'larını destekler. CUDA kullanılamadığında ONNX Runtime, Windows üzerinde yürütme sağlayıcısı olarak DirectML kullanır.
PyPI üzerinde foundry-local-sdk ile foundry-local-sdk-winml arasındaki fark nedir?
foundry-local-sdk-winml, Windows'a özgü pakettir; Windows ML aracılığıyla donanım hızlandırması içerir ve Windows'ta önerilir.
foundry-local-sdk, donanım hızlandırma olmadan macOS, Linux veya Windows için platformlar arası pakettir. Yalnızca birini yükleyin: iki paket, onnxruntime-core öğesinin farklı sürümlerini sabitler ve ikisi birden yüklendiğinde çakışır.
foundry-local öğesinin PyPI üzerinde (-sdk olmadan) ilgili olmayan bir üçüncü taraf paketi olduğunu unutmayın — foundry-local-sdk veya foundry-local-sdk-winml yükleyin.
Cihazımda hangi GPU veya NPU'ya sahip olduğunu nasıl denetleyebilirim?
Görev Yöneticisi' ni ()Ctrl+Shift+Esc açın, Performans sekmesini seçin ve sol panelde GPU ve NPU girdilerini arayın. Komut satırından da çalıştırabilirsiniz foundry model list — Dökümhane Yerel hizmeti başlattığında donanımınız için hangi yürütme sağlayıcılarının etkin olduğunu görüntüler.