Windows üzerinde ve windows ile akıllı yapay zeka deneyimleri oluşturma özelliği hızla geliştiriliyor.
Windows Copilot Runtime, Copilot+ bilgisayarlarda yapay zeka destekli özellikler ve APIs sunar. Bu özellikler etkin geliştirme aşamasındadır ve her zaman arka planda yerel olarak çalıştırılır.
Windows Copilot Runtime
hakkında daha fazla bilgi edinin.
microsoft, Windows Copilot Runtimeötesinde çeşitli yapay zeka hizmetleri, destek ve rehberlik sunar. Kullanmaya başlamak ve yapay zekayı iş gereksinimleriniz için güvenli bir şekilde tümleştirmeyi öğrenmek için Windows AI belgelerimizdeki yönergeleri inceleyin:
Windows uygulamanızda yapay zekayı nasıl kullanabilirsiniz?
Windows uygulamalarının yapay zeka ile işlevlerini ve kullanıcı deneyimini geliştirmek için Machine Learning (ML) modellerinden yararlanmanın birkaç yolu şunlardır:
Uygulamalar özetlemek, yeniden yazmak, raporlamak veya genişletmek için karmaşık konuları anlamak için Üretken Yapay Zeka modellerini kullanabilir.
Uygulamalar, serbest biçimli içeriği uygulamanızın anlayabileceği yapılandırılmış bir biçime dönüştüren modelleri kullanabilir.
Uygulamalar, kullanıcıların anlam gereği içerik aramasına ve ilgili içeriği hızla bulmasına olanak sağlayan AnlamSal Arama modellerini kullanabilir.
Uygulamalar, karmaşık doğal dil gereksinimlerini karşılamak için doğal dil işleme modellerini kullanabilir ve kullanıcının sorusunu yerine getirmek için eylemleri planlayıp yürütebilir.
Uygulamalar görüntüleri akıllı bir şekilde değiştirmek, konuları silmek veya eklemek, ölçeğini artırma veya yeni içerik oluşturmak için görüntü işleme modellerini kullanabilir.
Uygulamalar, sorunları tanımlamaya ve tahmin etmeye yardımcı olmak için tahmine dayalı tanılama modellerini kullanabilir ve kullanıcıya yol göstermesine yardımcı olabilir veya bunlar için bunu yapabilir.
Bulut tabanlı ve yerel yapay zeka hizmetleri arasında seçim yapma
Yapay zekayı Windows uygulamanızla tümleştirme iki birincil yöntemle elde edilebilir: yerel model veya bulut tabanlı model. İhtiyaçlarınız için doğru seçeneği belirlerken göz önünde bulundurmanız gereken çeşitli yönler vardır.
Kaynak Kullanılabilirliği
Yerel Cihaz: Modeli çalıştırmak CPU, GPU, NPU, bellek ve depolama kapasitesi dahil olmak üzere kullanılan cihazda kullanılabilir kaynaklara bağlıdır. Cihaz yüksek hesaplama gücüne veya yeterli depolama alanına sahip değilse bu sınırlayıcı olabilir.
Phigibi Küçük Dil Modelleri (SLM' ler), bir cihazda yerel olarak kullanmak için daha idealdir.
Copilot+ bilgisayarlar kullanıma hazır yapay zeka özelliklerine sahip Windows Copilot Runtime tarafından çalıştırılan yerleşik modeller sunar.
Bulut: Azure AI Servicesgibi Bulut platformları ölçeklenebilir kaynaklar sunar. İstediğiniz kadar işlem gücü veya depolama alanı kullanabilir ve yalnızca kullandığınız kadar ödeme yapabilirsiniz. OpenAI dil modelleri gibi Büyük Dil Modelleri (LLM' ler) daha fazla kaynak gerektirir, ancak aynı zamanda daha güçlü olur.
Veri Gizliliği ve Güvenliği
Yerel Cihaz: Veriler cihazda kaldığından, modeli yerel olarak çalıştırmak, kullanıcıya veri güvenliği sağlama sorumluluğuyla güvenlik ve gizlilikle ilgili avantajlar sunabilir.
Bulut: Bulut sağlayıcıları güçlü güvenlik önlemleri sunar, ancak verilerin buluta aktarılması gerekir ve bu da bazı durumlarda iş veya uygulama hizmeti bakımcısı için veri gizliliği endişelerine neden olabilir.
erişilebilirlik ve işbirliği
Yerel Cihaz: El ile paylaşılmadığı sürece modele ve verilere yalnızca cihazdan erişilebilir. Bu, model verileri üzerinde işbirliğini daha zor hale getirme potansiyeline sahiptir.
Bulut: Modele ve verilere İnternet bağlantısıyla her yerden erişilebilir. Bu, işbirliği senaryoları için daha iyi olabilir.
Maliyet
Yerel Cihaz: Cihaz donanımına yapılan ilk yatırımdan başka ek maliyet yoktur.
Bulut: Bulut platformları kullandıkça öde modeliyle çalışırken, kullanılan kaynaklara ve kullanım süresine göre maliyetler birikebilir.
Bakım ve Güncelleştirmeler
Yerel Cihaz: Sistemin bakımının ve güncelleştirmelerin yüklenmesinin sorumlusu kullanıcıdır.
Bulut: Bakımı, sistem güncelleştirmeleri ve yeni özellik güncelleştirmeleri bulut hizmeti sağlayıcısı tarafından işlenir ve bu da kullanıcının bakım yükünü azaltır.
Windows Copilot Runtime kullanma
Yerel yapay zeka modeli doğru çözüm olduğunda, copilot+ bilgisayarlardaki kullanıcılara yönelik yapay zeka hizmetlerini tümleştirmek için Windows Copilot Runtime özellikleri kullanabilirsiniz. Windows uygulamanızdan dokunabileceğiniz bu kullanıma hazır yapay zeka özelliklerinden bazıları şunlardır:
Recall: Recalltarafından bulunan içeriğe (metin veya resimler) eylemleri bağlamak için Phi Silica kullanan bir özellik olan Yapmak için Tıklayın tarafından desteklenen, geçmiş etkinliğinizde arama yapmanıza yardımcı olması için yapay zeka kullanan bir UserActivity API'si.
AI Imaging: AI (Image Super Resolution) kullanarak görüntüleri ölçeklendirmek ve keskinleştirmenin yanı sıra bir görüntüdeki nesneleri tanımlamak için (Görüntü Segmentasyonu).
Windows Studio Effects: cihaz kamerasına veya yerleşik mikrofona yapay zeka efektleri uygulamak için.
Bulut tabanlı bir çözüm Windows uygulama senaryonuz için daha iyi çalışıyorsa aşağıdaki öğreticilerden bazıları ilginizi çekebilir.
İster özelleştirilmiş ister kullanıma hazır olsun, Windows uygulamanızdaki yapay zeka özelliklerini desteklemek için bulut tabanlı modellere erişmek için birçok APIs kullanılabilir. Bulut tabanlı bir model kullanmak, yoğun kaynak kullanan görevleri buluta vererek uygulamanızın sorunsuz kalmasını sağlayabilir. Microsoft veya OpenAI tarafından sunulan bulut tabanlı yapay zeka destekli APIs eklemenize yardımcı olacak birkaç kaynak şunlardır:
Azure OpenAI Hizmeti: Windows uygulamanızın GpT-4, GPT-4 Turbo, Görüntü İşlemeli GPT-4 Turbo, GPT-3.5-Turbo, DALLE-3 veya Embeddings model serisi gibi OpenAI modellerine erişmesini istiyorsanız, Azure'ın ek güvenlik ve kurumsal özellikleriyle birlikte bu Azure OpenAI belgelerinde kılavuz bulabilirsiniz.
Azure AI Services: Azure, popüler geliştirme dillerindeki REST APIs ve istemci kitaplığı SDK'ları aracılığıyla sunulan yapay zeka hizmetlerinin tamamını sunar. Daha fazla bilgi için her hizmetin belgelerine bakın. Bu bulut tabanlı hizmetler, geliştiricilerin ve kuruluşların kullanıma hazır, önceden oluşturulmuş ve özelleştirilebilir APIs ve modellerle hızlı bir şekilde akıllı, son teknoloji, pazara hazır ve sorumlu uygulamalar oluşturmalarına yardımcı olur. Konuşmalar, arama, izleme, çeviri, konuşma, görme ve karar alma için doğal dil işleme uygulamaları örnek olarak verilebilir.
Yerel makinenizde özel model kullanma
TensorFlow veya PyTorchgibi platformlarla kendi özel verilerinizi kullanarak kendi modelinizi eğitme olanağınız varsa. Visual Studio Code için ONNX Runtime ve AI Toolkit kullanarak bu özel modeli cihaz donanımında yerel olarak çalıştırarak Windows uygulamanızla tümleştirebilirsiniz.
Visual Studio CodeiçinAI Toolkit, DirectMLaracılığıyla daha iyi performans ve ölçeklendirme için donanım hızlandırma erişimi dahil olmak üzere yapay zeka modellerini yerel olarak indirip çalıştırmanızı sağlayan bir VS Code Uzantısıdır. AI Tookit aşağıdakiler konusunda da size yardımcı olabilir:
Modelleri sezgisel bir oyun alanında veya uygulamanızda REST API ile test etme.
Yeni beceriler oluşturmak, yanıtların güvenilirliğini artırmak, yanıtın tonunu ve biçimini ayarlamak için yapay zeka modelinizi hem yerel olarak hem de bulutta (sanal makinede) hassas ayarlamalar yapın.
Phi-3 ve Mistralgibi popüler küçük dil modellerinde (SLM) ince ayar yapın.
Yapay zeka özelliğinizi buluta veya cihazda çalışan bir uygulamayla dağıtın.
DirectML kullanarak yapay zeka özellikleriyle daha iyi performans için donanım hızlandırmadan yararlanın. DirectML, Windows cihaz donanımınızın cihaz GPU'sunu veya NPU'sunu kullanarak ML modellerinin performansını hızlandırmasını sağlayan düşük düzeyli bir API'dir. DirectML'yi ONNX Runtime ile eşleştirmek, geliştiricilerin kullanıcıları için donanım hızlandırmalı yapay zekayı uygun ölçekte getirmesinin en kolay yoludur. Daha fazla bilgi edinin: DirectML'ye Genel Bakış.
Açık kaynak ML modellerini web'de bulabilirsiniz. En popüler modellerden bazıları şunlardır:
Hugging Face: Transformers kitaplığı tarafından desteklenen, doğal dil işleme için önceden eğitilmiş 10.000'den fazla ML modeli içeren bir merkez. Metin sınıflandırması, soru yanıtlama, özetleme, çeviri, oluşturma ve daha fazlası için modeller bulabilirsiniz.
ONNX Model Zoo: Görüntü işleme, doğal dil işleme, konuşma ve daha fazlası gibi çok çeşitli etki alanlarını ve görevleri kapsayan, ONNX biçiminde önceden eğitilmiş ML modellerinden oluşan bir koleksiyon.
Qualcomm AI Hub: Qualcomm Snapdragon cihazları için iyileştirilmiş çeşitli ML modellerine ve araçlarına erişim sağlayan bir platform. Görüntü, video, ses ve algılayıcı işleme modellerinin yanı sıra mobil cihazlarda ML uygulamaları oluşturmak ve dağıtmak için çerçeveler, kitaplıklar ve SDK'lar bulabilirsiniz. Qualcomm AI Hub ayrıca geliştiriciler ve araştırmacılar için öğreticiler, kılavuzlar ve topluluk desteği sunar.
Pytorch Hub: Araştırmanın yeniden üretilebilirliğini kolaylaştırmak ve yeni araştırmalara olanak tanımak için tasarlanmış önceden eğitilmiş bir model deposu. Makine öğrenmesi araştırmalarının yeniden üretilebilirliğini geliştirmeye yönelik temel yapı taşları sağlayan basit bir API ve iş akışıdır. PyTorch Hub, araştırmanın yeniden üretilebilirliğini kolaylaştırmak için özel olarak tasarlanmış önceden eğitilmiş bir model deposundan oluşur.
TensorFlow Hub: ML modellerini oluşturmak ve eğitme için popüler bir çerçeve olan TensorFlow için önceden eğitilmiş ML modellerinin ve yeniden kullanılabilir bileşenlerin deposu. Görüntü, metin, video ve ses işleme modellerinin yanı sıra öğrenme aktarımı ve ince ayar yapabilirsiniz.
Model Hayvanat Bahçesi: Çeşitli çerçeveler ve görevler için en iyi açık kaynak ML modellerini seçen ve sıralayan bir platform. Modellere kategoriye, çerçeveye, lisansa ve derecelendirmeye göre göz atabilir ve her modelin tanıtımlarını, kodunu ve kağıtlarını görebilirsiniz.
Bazı model kitaplıkları özelleştirilmesi ve bir uygulama aracılığıyla dağıtılması amaçlanmamıştır, ancak geliştirme yaşam döngüsünün bir parçası olarak uygulamalı keşif ve bulma için yararlı araçlardır, örneğin:
Ollama: Ollama, yüz algılama, yaklaşım analizi veya konuşma tanıma gibi çeşitli görevler için kullanıma hazır ML modellerinin bir marketidir. Birkaç tıklamayla modellere göz atabilir, modelleri test edebilir ve uygulamanıza tümleştirebilirsiniz.
LM Studio: Lmstudio, sürükle ve bırak arabirimini kullanarak kendi verilerinizden özel ML modelleri oluşturmanıza olanak tanıyan bir araçtır. Farklı ML algoritmaları arasından seçim yapabilir, verilerinizi önceden işleyebilir ve görselleştirebilir, modellerinizi eğitebilir ve değerlendirebilirsiniz.
Bu kılavuz, idare ilkelerini, uygulamalarını ve süreçlerini anlamanıza, riski belirlemenize, test yöntemlerini önermenize, moderatörler ve filtreler gibi güvenlik önlemlerini kullanmanıza yardımcı olur ve güvenli ve çalışılması gereken bir model seçerken dikkat edilmesi gereken belirli noktaları ortaya çıkarır.
Windows Copilot Runtime cihaz içi üretici yapay zeka modelleri, zararlı içerik için cihaz içi sınıflandırma altyapıları ve varsayılan blok listesi gibi yerel içerik güvenliği özelliklerini zorunlu kılmanıza yardımcı olabilir. Microsoft, Windows'ta yerel modellerle güvenli ve güvenilir yapay zeka deneyimleri oluşturmak için geliştiricileri desteklemeye öncelik veriyor.
Windowsile yapay zeka kullanımı hakkında SSS : "DirectML nedir?", "ONNX nedir?", "ORT nedir?", "NPU nedir?", "SLM nedir?", "Çıkarım nedir?", "İnce ayar nedir?" gibi soruları kapsayan, Windows bağlamında yapay zeka kullanımıyla ilgili terminoloji ve kavramlar hakkında sık sorulan sorular.
ONNX: ML modellerini farklı çerçevelerde ve platformlarda temsil etmek ve takas etmek için açık bir standarttır. ONNX biçiminde önceden eğitilmiş bir ML modeli bulursanız, modeli Windows uygulamanızda yüklemek ve çalıştırmak için ONNX Runtime (ORT) kullanabilirsiniz. ORT, cihazınızın donanım hızlandırmalı çıkarım özelliklerine erişmenize ve ML modelinizin performansını iyileştirmenize olanak tanır. PyTorch veya TensorFlow gibi farklı bir biçimde önceden eğitilmiş bir ML modeliniz varsa, Olivegibi bir model iyileştirme aracı kullanarak bunu ONNX'e dönüştürebilirsiniz. Olive'i kullanma konusunda yardım için bkz. Microsoft Olive ile SLM'ye ince ayar yapma (Üretken Yapay Zeka Uygulama Mimarisi için Yolculuk Serisi). ONNX modellerini oluşturma ve kullanma öğreticileri için bkz. GitHub üzerinde ONNX Öğreticileri. Windows uygulamasında ONNX modellerinin nasıl kullanılacağını gösteren örnekler için bkz. Windows'ta yapay zeka Örnek Galerisi.
PyTorch: Python ve C++ arabirimiyle kullanılabilen çok popüler bir açık kaynak derin öğrenme çerçevesi. Bu büyük olasılıkla ML modellerinde bulabileceğiniz en yaygın biçim olacaktır. PyTorch ML modellerini Windows (C# veya C++) uygulamanızda veya bir web uygulamasında kullanmak istiyorsanız, PyTorch kitaplığı için .NET ve C++ bağlamaları olan TorchSharp ve LibTorchkullanabilirsiniz. TorchSharp ve LibTorch, tensor oluşturmanızı, yüklemenizi ve işlemenizi, sinir ağları oluşturup çalıştırmanızı ve PyTorch biçimini kullanarak modelleri kaydetmenizi ve yüklemenizi sağlar. Örnekler için, TorchSharp Örnekleri, Dağıtım için TorchScript, PyTorch C++ Örneklerikontrol ediniz. Web uygulamaları için, üzerinde ONNX Runtimeile bir web uygulaması oluşturmayı inceleyin. DirectML ile PyTorch modellerini çalıştırma örnekleri için bkz. AI on Windows Sample Gallery.
TensorFlow, makine öğrenmesi ve çeşitli görevler için makine öğrenmesi modelleri oluşturmak ve dağıtmak için kullanılan bir diğer popüler açık kaynak yazılım kitaplığıdır.
Windows Uygulama SDK'sı ile birlikte gelecek olan ve yerel dil modellerine erişmek için kullanılabilen yeni Phi Silica API'leri hakkında bilgi edinin. Sohbet, matematik çözme, kod oluşturma, metin üzerinde mantık yürütme ve daha fazlası için yerel dil modellerine erişebilirsiniz.