Bulut tabanlı ve yerel yapay zeka modelleri arasında seçim yapma

Microsoft, Windows yapay zeka özelliklerini tümleştirmek isteyen uygulama geliştiricileri için hem yerel, cihaz içi işlemeyi hem de ölçeklenebilir, bulut tabanlı çözümleri destekleyen kapsamlı ve esnek bir platform sunar.

Bulut tabanlı ve yerel yapay zeka modelleri arasında seçim, özel gereksinimlerinize ve önceliklerinize bağlıdır. Birçok üretim uygulaması karma strateji kullanır: önce yerel Windows bir yapay zeka API'sini veya yerel modeli deneyin, ardından model yüklü olmadığında, cihaz desteklenmediğinde, kullanıcı model indirmeye onay vermediğinde veya görev daha büyük bir model gerektirdiğinde bir bulut uç noktasına geri dönün.

Dikkate alınması gereken faktörler şunlardır:

  • Veri gizliliği, uyumluluk ve güvenlik
  • Kaynak kullanılabilirliği
  • Erişilebilirlik ve işbirliği
  • Maliyet
  • Bakım ve güncellemeler
  • Performans ve gecikme süresi
  • Ölçeklenebilirlik
  • Bağlantı gereksinimleri
  • Model boyutu ve karmaşıklığı
  • Araç setleri ve ilişkili ekosistem
  • Özelleştirme ve denetim

Uygulama geliştiricileri için önemli karar faktörleri

  • Veri gizliliği, uyumluluk ve güvenlik

    • Yerel, şirket içi: Veriler cihazda kaldığından, modeli yerel olarak çalıştırmak, kullanıcı üzerinde veri güvenliği sorumluluğuyla birlikte güvenlik ve gizlilikle ilgili avantajlar sunabilir. Geliştirici güncelleştirmeleri yönetme, uyumluluğu sağlama ve güvenlik açıklarını izleme sorumluluğunu üstlenir.

    • Bulut: Bulut sağlayıcıları güçlü güvenlik önlemleri sunar, ancak verilerin buluta aktarılması gerekir ve bu da bazı durumlarda iş veya uygulama hizmeti bakımcısı için veri gizliliği endişelerine neden olabilir. Verilerin buluta gönderilmesi, verilerin niteliğine ve uygulamanın çalıştığı bölgeye bağlı olarak GDPR veya HIPAA gibi veri koruma düzenlemelerine de uygun olmalıdır. Bulut sağlayıcıları genellikle güvenlik güncelleştirmelerini ve bakımlarını işler, ancak kullanıcıların güvenli API'leri kullandıklarını ve veri işleme için en iyi yöntemleri kullandıklarını güvence altına almaları gerekir.

  • Kaynak kullanılabilirliği

    • Yerel, şirket içi: Modeli çalıştırmak CPU, GPU, NPU, bellek ve depolama kapasitesi dahil olmak üzere kullanılan cihazda kullanılabilen kaynaklara bağlıdır. Cihaz yüksek hesaplama gücüne veya yeterli depolama alanına sahip değilse bu sınırlayıcı olabilir. gibi PhiKüçük Dil Modelleri (SLM'ler), bir cihazda yerel kullanım için daha uygundur. Copilot+ bilgisayarlar tarafından Microsoft Foundry on Windowsdesteklenen kullanıma hazır yapay zeka özelliklerine sahip yerleşik modeller sunar.

    • Bulut:Yapay Zeka Hizmetleri gibiAzure bulut platformları ölçeklenebilir kaynaklar sunar. İstediğiniz kadar işlem gücü veya depolama alanı kullanabilir ve yalnızca kullandığınız kadar ödeme yapabilirsiniz. OpenAI dil modelleri gibi Büyük Dil Modelleri (LLM' ler) daha fazla kaynak gerektirir, ancak aynı zamanda daha güçlü olur.

  • Erişilebilirlik ve işbirliği

    • Yerel, şirket içi: El ile paylaşılmadığı sürece modele ve verilere yalnızca cihazda erişilebilir. Bu, model verileri üzerinde işbirliğini daha zor hale getirme potansiyeline sahiptir.

    • Bulut: Modele ve verilere İnternet bağlantısıyla her yerden erişilebilir. Bu, işbirliği senaryoları için daha iyi olabilir.

  • Maliyet

    • Yerel, şirket içi: Cihaz donanımına yapılan ilk yatırımın ötesinde ek maliyet yoktur.

    • Bulut: Bulut platformları kullandıkça öde modeliyle çalışırken, kullanılan kaynaklara ve kullanım süresine göre maliyetler birikebilir.

  • Bakım ve Güncelleştirmeler

    • Yerel, şirket içi: Sistem bakımı ve güncelleştirmelerin yüklenmesi kullanıcı tarafından sorumludur.

    • Bulut: Bakımı, sistem güncelleştirmeleri ve yeni özellik güncelleştirmeleri bulut hizmeti sağlayıcısı tarafından işlenir ve bu da kullanıcının bakım yükünü azaltır.

  • Performans ve Gecikme Süresi

    • Yerel, şirket içi: Verilerin ağ üzerinden gönderilmesi gerekmediğinden modeli yerel olarak çalıştırmak gecikme süresini azaltabilir. Ancak performans, cihazın donanım özellikleriyle sınırlıdır.

    • Bulut: Bulut tabanlı modeller güçlü donanımdan yararlanabilir, ancak ağ iletişimi nedeniyle gecikmeye neden olabilir. Performans, kullanıcının İnternet bağlantısına ve bulut hizmetinin yanıt süresine göre değişebilir.

  • Ölçeklenebilirlik

    • Yerel, şirket içi: Modeli yerel bir cihazda ölçeklendirmek için önemli donanım yükseltmeleri veya daha fazla cihaz eklenmesi gerekebilir ve bu da maliyetli ve zaman alıcı olabilir.

    • Bulut: Bulut platformları kolay ölçeklenebilirlik sunar ve fiziksel donanım değişikliklerine gerek kalmadan kaynakları isteğe bağlı olarak hızlı bir şekilde ayarlamanıza olanak sağlar.

  • Bağlantı Gereksinimleri

    • Yerel, şirket içi: Yerel bir cihaz, sınırlı bağlantıya sahip ortamlarda yararlı olabilecek bir modeli çalıştırmak için İnternet bağlantısı gerektirmez.

    • Bulut: Bulut tabanlı modeller, erişim için kararlı bir İnternet bağlantısı gerektirir ve ağ sorunlardan etkilenebilir.

  • Çalışma zamanı kullanılabilirliği ve geri dönüş

    • Yerel, şirket içi: Yerel yapay zeka özellikleri donanıma, sürüme, WindowsWindows Uygulama SDK'sı sürümüne, bölgeye ve isteğe bağlı bir modelin yüklenip yüklenmediğine bağlı olabilir. Yerel bir yapay zeka özelliğini çağırmadan önce hazır olma durumunu denetleyin ve gerekli model indirme veya onay akışında kullanıcıya yol gösterebilirsiniz. Yapay zeka API'leri içinWindows, Yapay zeka API'lerini kullanmaya başlama Windows ve tek tek API sayfalarında belgelenen API'ye özgü hazır olma düzenini kullanın.

    • Bulut: Bulut uç noktası, yerel model geçerli cihazda hazır olmadığında veya desteklenmediğinde bir geri dönüş sağlayabilir. Gizliliğe duyarlı senaryolar için geri dönüşün otomatik mi, kullanıcı denetimi mi yoksa devre dışı mı olduğuna karar verin. Kullanıcı arabiriminin verilerin cihazdan ne zaman ayrıldığını açıkladığından emin olun.

  • Model Boyutu ve Karmaşıklığı

    • Yerel, şirket içi: Yerel cihazlar, donanım kısıtlamaları nedeniyle çalıştırılabilen modellerin boyutu ve karmaşıklığıyla ilgili sınırlamalara sahip olabilir. gibi Phidaha küçük modeller yerel yürütme için daha uygundur.

    • Bulut: Bulut platformları, ölçeklenebilir altyapıları nedeniyle OpenAI tarafından sağlananlar gibi daha büyük ve daha karmaşık modelleri işleyebilir.

  • Araçlar ve ilişkili ekosistem

    • Yerel, şirket içi: , Microsoft Foundry ML ve Microsoft Foundry on Windowsgibi WindowsFoundry Localyerel yapay zeka çözümleri, Uygulama SDK'sı ve ONNX Çalışma Zamanı ile Windows tümleştirerek geliştiricilerin modelleri en düşük dış bağımlılıklarla doğrudan masaüstü veya uç uygulamalara eklemesine olanak tanır.

    • Bulut: , Microsoft Foundry AI Hizmetleri ve Azure OpenAI Hizmeti gibi Azurebulut yapay zeka çözümleri, yapay zeka uygulamaları oluşturmak için kapsamlı bir API ve SDK kümesi sağlar. Bu hizmetler DevOps, GitHubAzure, Semantik Çekirdek ve diğer Copilot hizmetlerle Azure sorunsuz bir şekilde tümleştirilip büyük ölçekte uçtan uca düzenleme, model dağıtımı ve izleme olanağı sağlayacak şekilde tasarlanmıştır.

  • Özelleştirme ve Denetim

    • Yerel, şirket içi: Yerel modeller, yüksek düzeyde uzmanlık gerektirmeden kullanıma sunulur. Microsoft Foundry on Windows kullanıma hazır gibi Phi Silica modeller sunar. Alternatif olarak ML, Windows geliştiricilerin doğrudan cihazlarda ONNX Çalışma Zamanı ile eğitilenler gibi özel modelleri çalıştırmasına Windows olanak tanır. Bu, model ve davranışı üzerinde yüksek düzeyde denetim sağlayarak belirli kullanım örneklerine göre ince ayar ve iyileştirme sağlar. Foundry Local ayrıca geliştiricilerin modelleri cihazlarda yerel olarak Windows çalıştırmasına olanak sağlayarak model ve davranışı üzerinde yüksek düzeyde denetim sağlar.

    • Bulut: Bulut tabanlı modeller ayrıca hem kullanıma hazır hem de özelleştirilebilir seçenekler seçerek geliştiricilerin modeli kendi ihtiyaçlarına göre uyarlarken önceden eğitilmiş özelliklerden yararlanmasına olanak tanır. Microsoft Foundry kurumsal AI operasyonları, model oluşturucuları ve uygulama geliştirme için birleştirilmiş bir platform olarak hizmet Azure teklifidir. Bu temel, üretim sınıfı altyapıyı kolay arabirimlerle birleştirerek geliştiricilerin altyapıyı yönetmek yerine uygulama oluşturmaya odaklanmasını sağlar.

Bulut AI Örnekleri

Bulut tabanlı bir çözüm uygulama senaryonuz için daha iyi çalışıyorsa, aşağıdaki eğitimlerden bazıları ilginizi çekebilir Windows.

İster özelleştirilmiş ister kullanıma hazır olsun, uygulamanızdaki Windows yapay zeka özelliklerini desteklemek için bulut tabanlı modellere erişmek için birçok API kullanılabilir. Bulut tabanlı bir model kullanmak, yoğun kaynak kullanan görevleri buluta vererek uygulamanızın sorunsuz kalmasını sağlayabilir. Microsoft veya OpenAI tarafından sunulan bulut tabanlı yapay zeka destekli API'leri eklemenize yardımcı olacak birkaç kaynak şunlardır:

  • WinUI 3 / Windows Uygulama SDK'sı masaüstü uygulamanıza OpenAI sohbet tamamlama özelliklerini ekleyin: Bulut tabanlı OpenAI ChatGPT tamamlama özelliklerini WinUI 3 / Windows Uygulama SDK'sı masaüstü uygulamasıyla tümleştirmeye yönelik bir öğretici.

  • DALL-E'yi WinUI 3 / Windows Uygulama SDK masaüstü uygulamanıza ekleyin: Bulut tabanlı OpenAI DALL-E görüntü oluşturma özelliklerini WinUI 3 / Windows Uygulama SDK masaüstü uygulamasıyla entegre etmek için bir öğretici.

  • Azure OpenAI Hizmeti: Uygulamanızın Windows GPT-4, GPT-4 Turbo ve Görüntü İşlemeli GPT-4 Turbo, GPT-3.5-Turbo, DALLE-3 veya Embeddings model serisi gibi OpenAI modellerine Azureerişmesini istiyorsanız, ek güvenlik ve kurumsal özellikleriyle birlikte bu Azure OpenAI belgelerinde kılavuz bulabilirsiniz.

  • Azure AI Hizmetleri: Azure POPÜLER geliştirme dillerindeki REST API'leri ve istemci kitaplığı SDK'ları aracılığıyla sunulan yapay zeka hizmetlerinin tamamını sunar. Daha fazla bilgi için her hizmetin belgelerine bakın. Bu bulut tabanlı hizmetler, geliştiricilerin ve kuruluşların kullanıma hazır, önceden oluşturulmuş ve özelleştirilebilir API'ler ve modeller ile hızlı bir şekilde akıllı, son teknoloji, pazara hazır ve sorumlu uygulamalar oluşturmalarına yardımcı olur. Konuşmalar, arama, izleme, çeviri, konuşma, görme ve karar alma için doğal dil işleme uygulamaları örnek olarak verilebilir.

Karma yerel/bulut yolu tasarlama

Uygulamanızın kullanılabilir olduğunda yerel çıkarımdan yararlanması, ancak desteklenmeyen cihazlarda veya yerel bir model hazır olmadan önce yararlı bir deneyim sağlaması gerektiğinde karma bir yol kullanın.

  1. Önce yerel özelliği seçin. Senaryonuzla eşleştiğinde yapay Windows zeka API'siyle başlayın veya belirli bir modeli çalıştırmanız gerektiğinde ML / Foundry Local kullanınWindows.
  2. Kullanımdan önce hazır olup olmadığını denetleyin. Başlangıçta veya özellik gösterilmeden önce yerel özelliğin hazır olma durumunu sorgula. API özelliğin desteklenmediğini, yüklenmediğini veya indirilmesi gerektiğini bildiriyorsa, körü körüne çağırmayın.
  3. Yerel modelin indirilmesi gerektiğinde onay isteyin. Bazı yerel modeller isteğe bağlıdır ve birkaç GB olabilir. İndirme boyutunu, modelin neden gerekli olduğunu ve uygulamanın onsuz devam edip etemeyeceğini açıklayın.
  4. Bulut geri dönüşünü tanımlama. Yerel model hazır değilse, bulut uç noktasını yalnızca kullanıcı ve kuruluş verilerin cihazdan ayrılmasına izin verirse çağırın. Yerel ve bulut yollarını aynı uygulama düzeyinde soyutlamanın arkasında tutarak uygulamanın geri kalanının çıkarımın nerede çalıştığına bağlı olmamasını sağlayın.
  5. Davranışı gözlemlenebilir tutun. Kuruluşunuz bu veri işleme yöntemini onaylamadıysa, hangi yolun kullanıldığını, hazır olma başarısızlıklarını, model indirme sonuçlarını ve buluta geri dönüş hatalarını günlüğe kaydedin; ancak istemleri, belirteçleri veya hassas içeriği günlüğe kaydetmeyin.

Karma geri dönüş karar akışı

Bu akışı başlangıç noktası olarak kullanın:

  1. Kullanıcı bir yapay zeka özelliği başlattığında yerel bir yapay zeka özelliğinin göreve uygun olup olmadığını denetleyin.
  2. Göreve uyan yerel bir özellik yoksa bulut yapay zekasını veya başka bir hizmeti kullanın.
  3. Yerel bir özellik göreve uyuyorsa, özelliğin geçerli cihazda hazır olup olmadığını denetleyin.
  4. Yerel özellik hazırsa yerel çıkarım çalıştırın.
  5. Yerel özelliğin bir model indirmesine ihtiyacı varsa, indirmeye başlamadan önce kullanıcı onayı isteyin.
  6. Kullanıcı onay verirse modeli indirin veya hazırlayın, ardından yerel çıkarımı yeniden deneyin.
  7. Kullanıcı onay vermiyorsa veya yerel özellik desteklenmiyorsa, senaryo için bulut geri dönüşüne izin verilip verilmediğini denetleyin.
  8. Bulut geri dönüşüne izin veriliyorsa bulut yolunu kullanın.
  9. Bulut geri dönüşüne izin verilmiyorsa cihaz, model veya ilke gereksinimini açıklayın ve özelliği devre dışı bırakın veya gizleyin.

Yerel hazırlık ayrıntıları için bkz. Windows Yapay zeka API'leri, Windows Yapay zeka API'lerine başlarken, Windows ve Foundry Local.

  • Last updated on