Makine öğrenmesi yaşam döngüsünü anlama
Bu ünitede tipik makine öğrenmesi yaşam döngüsünü ve bu yaşam döngüsünün yaygın zorluklarını ele aacağız. Baştan sona özel bir model oluşturuyorsanız veya başlangıç noktası olarak önceden eğitilmiş bir model kullanıyorsanız işleme genel bakış sağlar. Bu bilgi, veri bilimi projelerine yaklaşmanızı sağlamalıdır.
Makine öğrenmesi zorlukları ve makine öğrenmesi işlemlerinin ihtiyacı
OpenAI tarafından sunulanlar gibi yapay zeka önceden hazırlanmış modellerin son patlaması, kuruluşların bir veri bilimi projesinin gerektirebileceği göz korkutucu kaynak miktarını önemli ölçüde azaltmaya yardımcı olabilir. Ancak daha fazla kuruluş yapay zeka denemesi yaptıkçe makine öğrenmesi yaşam döngüsünün yapay zeka modeli oluşturmaktan veya önceden oluşturulmuş bir modeli yeniden kullanmaktan daha karmaşık olduğunu fark eder.
Kuruluşunuz Azure AI Services tarafından sağlananlar gibi önceden hazırlanmış yapay zeka modellerini kullanıyor olsa bile büyük olasılıkla verileri, kodu, model ortamlarını ve makine öğrenmesi modellerini belgeleyip yönetmeniz gerekebilir. Modelleri geliştirmek, paketlemek ve dağıtmak, performanslarını izlemek ve zaman zaman yeniden eğitmek için süreçler oluşturmanız gerekir. Üstelik çoğu kuruluş aynı anda birden fazla modeli üretim aşamasına geçirdiğinden sürecin karmaşıklığını daha da artırmaktadır.
Bu karmaşıklık ile etkili bir şekilde başa çıkmak için bazı en iyi yöntemler gereklidir. Ekipler arası işbirliğine, süreçleri otomatikleştirmeye ve standartlaştırmaya ve modellerin kolayca denetlenmesini, açıklanabilmesini ve yeniden kullanılmasını sağlamaya odaklanır. Bunu yapmak için veri bilimi ekipleri makine öğrenmesi işlemleri yaklaşımını kullanır. Bu metodoloji, geliştiricilerin ve veri bilim insanlarının mücadeleleri benzer olduğundan, uygulama geliştirme döngüsü için operasyonları yönetmeye yönelik endüstri standardı olan DevOps'tan (geliştirme ve operasyonlar) esinlenilmiştir.
İlk olarak kendi yapay zeka modelinizi oluşturuyorsanız ve ardından önceden hazırlanmış modeller kullanıyorsanız tipik makine öğrenmesi yaşam döngüsünün nasıl göründüğüne bakalım. Veri bilimciler, makine öğrenmesi operasyon uygulamalarını kolaylaştırmak için Microsoft'un bir platformu olan Azure Machine Learning'den makine öğrenmesi iş akışlarını yönetebilir ve yürütebilir. Bu tür araçlar, ekiplerin otomasyon aracılığıyla birçok işlemin iyileştirilebildiği paylaşılan, denetlenebilir ve güvenli bir ortamda işbirliği yapmasına yardımcı olur.
Kendi yapay zeka modelinizi oluşturmak için makine öğrenmesi yaşam döngüsü
Bu klasik yaklaşımdır ve veri bilimi projesinin tüm olağan adımlarını kapsar. Birçok senaryoda, elde edilen yapay zeka modeli daha genel bir önceden oluşturulmuş modelden daha iyi performans gösterir.
- Veri kümesini hazırlama. Yapay zeka verilerde başlar. İlk olarak, veri bilimciler modeli eğitecek verileri hazırlamaları gerekir. Genellikle yaşam döngüsünün en çok zaman alan aşaması budur. Bu görev kendi veri kümenizi bulmayı veya oluşturmayı, makineler tarafından kolayca okunabilmesi için temizlemeyi, temsili bir örnek olmasını sağlamayı, hedefinize uygun değişkenleri bulmayı vb. içerir.
- Eğit ve test et. Daha sonra veri bilimciler, makine öğrenmesi modelini eğitmek için verilere algoritmalar uygular. Sonrasında bu model yeni verilerle test edilerek tahminlerin ne kadar isabetli olduğuna bakılır.
- Paket. Model bir uygulamaya doğrudan yerleştirilemiyor. Kapsayıcılı olması gerekir, böylece binasında kullanılan tüm araçlar ve çerçevelerle çalışabilir.
- Doğrula'yı seçin. Bu noktada ekip, modelin performansının iş hedeflerine kıyasla ne durumda olduğunu değerlendirir. Test yeterince iyi ölçümler döndürmüştür, ancak yine de model gerçek bir iş senaryosunda kullanıldığında beklendiği gibi çalışmayabilir.
- 1-4 arası adımları yineleyin. Tatmin edici bir modele ulaşmak için yüzlerce saat eğitim yapılması gerekebilir. Geliştirme ekibi eğitim verilerini ayarlayarak, algoritma hiper parametrelerini düzenleyerek veya tamamen farklı algoritmalar deneyerek modelin birden çok sürümünü eğitebilir. İdeal bir senaryoda her ayarlamadan sonra daha iyi bir model elde edilir. Gelinen noktada modelin iş kullanım örneğine en uygun olan sürümünü belirlemek geliştirme ekibinin görevidir.
- Dağıtma. Son olarak, modeli bulutta (genellikle bir API aracılığıyla), şirket içi sunucuda veya uçta kameralar, IoT ağ geçitleri veya makineler gibi cihazlarda dağıtır.
- İzleme ve yeniden eğitme. Başlangıçta iyi çalışan modellerin dahi sürekli izlenmesi, konuyla olan ilgisinin ve doğruluk düzeyinin korunması için yeniden eğitilmesi gerekir.
Önceden oluşturulmuş bir model kullanarak makine öğrenmesi yaşam döngüsü
Varsayılan seçenek, sıfırdan kendi modelinizi oluşturmaktır. Ancak, önceden hazırlanmış modellerin patlaması paradigması değiştirdi. Veri bilimi projelerinizi önceden hazırlanmış modelleri tümleştirmeye ve bunları iş gereksinimlerinize uyarlamaya dayandırmak giderek yaygın hale geliyor. Bu yaklaşım iş akışını önemli ölçüde değiştirebilir.
- Doğrulama: Önceden oluşturulmuş bir model kullanmak, kuruluşların yalnızca model için çalışıp çalışmadığını denetleyerek başlaması anlamına gelir. Hangi önceden hazırlanmış modelin kullanılacağını ve ne kadar uygun olduğunu en kısa sürede anlamak önemlidir.
- 1-4 arası adımları yineleyin: Veri bilimciler, sonuçlar yeterince iyi olana kadar 1-4 arası adımları yineler. Önceden hazırlanmış modelin gerekenleri sunması genellikle biraz çaba gerektirebilir.
- Mühendis istemleri: Önceden oluşturulmuş bir modelle elde edilen sonuçları iyileştirmek için ilk seçenektir. Modelin her nüansı anlaması için ekibin neye ihtiyacı olduğunu açıklaması gerekir. Bu görev, model gelene kadar isteğin (istem) yeniden ifadesini içerir. Zaman alabilir. Ancak, vatandaş geliştiriciler ve hatta son kullanıcılar, veri bilimcileri tarafından yönlendirildiyse hızlı mühendislik yapabilir. Bu yaklaşım, iş kullanıcılarına daha fazla güç verir.
- Veri kümesini özelleştirme: İstem mühendisliği sonuçları yeterince geliştirmiyorsa, bunun nedeni önceden oluşturulmuş modelin hedeflenen kullanım örneği için çok genel olması olabilir. Daha sonra veri bilimciler modeli özel eğitim verileriyle tamamlaması gerekir.
- Eğitme ve test: Veri bilimciler, 3. adımın ek verileriyle önceden hazırlanmış modellerin üzerine özel bir eğitim katmanı ekleyebilir. Bu şekilde, çözmeye çalıştıkları yapay zeka sorununa göre uyarlanmış, önceden oluşturulmuş modelin yeni bir sürümünü elde ederler. Bir diğer seçenek de, önceden hazırlanmış olanın bıraktığı boşlukları kapsayan tam bir özel model geliştirmektir. Birçok model bir yapay zeka çözümünde birlikte bulunabilir.
- Paketle ve dağıt: Önceden oluşturulmuş bir modeli kullanmanın farklı yolları vardır. Çoğu durumda API aracılığıyla kullanmak yeterli olabilir. Bu yaklaşım, kuruluşun sahip olmadığı ve özelleştiremiyorsa, ancak paketleme ve dağıtma zamanından tasarruf ettiği anlamına gelir. Özel eğitim düzeyi varsa yapay zeka ekibinin modelin bu yeni sürümünü paketlemesi ve dağıtması gerekir.
- İzleme: Tüm modellerde olduğu gibi, kenarını korumak için önceden oluşturulmuş olanların da düzenli olarak denetlenmiş olması gerekir. Veri bilimciler, önceden oluşturulmuş yeni modellerde güncel olmalıdır. Bir noktada yeni özel eğitimler de gerekebilir.
İki yaklaşımdan hangisi daha iyidir? Senaryoya bağlıdır. Önceden hazırlanmış modellerle çalışmak, daha az kaynak gerektirme ve sonuçları daha hızlı teslim etme avantajına sahiptir. Ancak, önceden oluşturulmuş modeller çok çeşitli kullanım örneklerini çözmek için eğitilir, bu nedenle çok özel ihtiyaçları karşılamakta zorlanabilirler. Bu gibi durumlarda, tam bir özel model daha iyi bir fikir olabilir. Her iki yaklaşımın esnek bir karışımı genellikle tercih edilir ve ölçeklendirmeye yardımcı olur. Yapay zeka ekipleri, en kolay kullanım örnekleri için önceden hazırlanmış modelleri kullanarak kaynak tasarrufu sağlarken, bu kaynakları en zor senaryolar için özel yapay zeka modelleri oluşturmaya yatırım yapabilir. Daha fazla yineleme, önceden oluşturulmuş modelleri yeniden eğiterek geliştirebilir.
Şimdi makine öğrenmesi işlemlerinin sağlayabilecekleri avantajları ve iş değerini ayrıntılı olarak ele alalım.