Test planlarından otomatikleştirilmiş testleri çalıştırma
Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019
Test planlarınızda test çalışmalarını otomatikleştirin ve bunları doğrudan Azure Test Planlarından çalıştırın. Otomatikleştirilmiş testler size aşağıdaki avantajları sağlar:
- Derleme veya Yayın iş akışlarında testleri çalıştırma konusunda bilgi sahibi olmayabilecek test kullanıcıları için kullanıcı dostu bir işlem.
- Filtre ölçütlerini karşılayan tüm testlerin çalıştırıldığı Derleme veya Yayın iş akışlarında zamanlanmış test yerine, seçilen testleri isteğe bağlı olarak çalıştırma esnekliği.
- Test altyapısı sorunları nedeniyle başarısız olan birkaç testi yeniden çalıştırma özelliği veya başarısız testler için düzeltmeler içeren yeni bir derlemeniz var.
Önkoşullar
- Proje erişimi: Projeye eklendiğinden emin olun.
- Erişim düzeyleri: En az Temel erişime veya daha yüksek erişime sahip olduğunuzdan emin olun.
- Daha fazla bilgi için bkz . El ile test erişimi ve izinleri.
- Aşağıdaki öğelere de sahip olmanız gerekir.
- Visual Studio 2017 veya Visual Studio 2015 veya önceki sürümleri kullanan otomatik test yöntemleriyle ilişkili otomatikleştirilmiş testlerinizi içeren bir test planı.
- Test ikili dosyalarını içeren derlemeler oluşturan derleme işlem hattı.
- Test etmek için bir uygulama. Uygulamayı derleme ve yayın iş akışının bir parçası olarak dağıtabilir ve isteğe bağlı test için de kullanabilirsiniz.
- Yayın oluşturma ve yönetme, yayın ortamını düzenleme ve dağıtımı yönetme izinleri. Daha fazla bilgi için bkz . Sürüm izinleri.
Ortamınızı ayarlama
Test Planları sayfasında test planınızı seçin, kısayol menüsünü açın ve ardından Test planı ayarları'nı seçin.
Test planı ayarları iletişim kutusunda, test ikili dosyalarını içeren derlemeler oluşturan derleme işlem hattını seçin. Daha sonra test etmek için belirli bir derleme numarası seçebilir veya testler çalıştırıldığında sistemin otomatik olarak en son derlemeyi kullanmasına izin vekleyebilirsiniz.
Azure Test Planlarındaki test planlarından testleri çalıştırmak için Test Yöneticisi'nden otomatik testleri çalıştır şablonundan oluşturulmuş bir yayın işlem hattına ihtiyacınız vardır. Bu şablon kullanılarak oluşturulmuş mevcut bir yayın işlem hattınız varsa, bunu seçin ve ardından test yürütmesi için yayın işlem hattında mevcut aşamayı seçin. Aksi takdirde, Visual Studio Test görevinin zaten eklenmiş olduğu tek bir aşama içeren yeni bir yayın işlem hattı oluşturmak için iletişim kutusunda Yeni oluştur'u seçin.
Derleme veya yayın işlem hattından test koduma parametreleri Nasıl yaparım? geçirebilirsiniz?
Yayın işlem hattına anlamlı adlar atayın ve gerektiği gibi hazırlama yapın.
Aracı bilgisayarda Visual Studio zaten yüklüyse bu adımı atlayın. Aksi takdirde Visual Studio Test Platformu Yükleyicisi görevini işlem hattı tanımına ekleyin.
Visual Studio Test görevini yayın işlem hattına ekleyin ve aşağıdaki gibi yapılandırın:
Visual Studio Test görevinin 2. sürümünün seçili olduğunu doğrulayın. Sürüm numarası, görev ayarları panelinin açılan listesinde gösterilir.
Select tests using seçeneğinin Test çalıştırması olarak ayarlandığını doğrulayın. Bu ayar ne anlama geliyor?
Test platformu sürümü ayarı için Araçlar Yükleyicisi tarafından yüklendi'yi seçin.
Fiziksel tarayıcılarda veya kalın istemcilerde çalışan kullanıcı arabirimi testleriniz varsa, aracının otomatik oturum açma etkin bir etkileşimli işlem olarak çalışacak şekilde ayarlandığından emin olun. Derlemeyi veya sürümü kuyruğa almadan önce etkileşimli olarak çalışacak bir aracı ayarlamanız gerekir. Test karışımı ui testleri içeriyor onay kutusu aracıyı otomatik olarak etkileşimli modda yapılandırmaz; yalnızca hatalardan kaçınmak için aracıyı uygun şekilde yapılandırmak için anımsatıcı olarak kullanılır.
Kullanıcı arabirimi testlerini başsız bir tarayıcıda çalıştırıyorsanız etkileşimli işlem yapılandırması gerekli değildir.
Test platformunun nasıl sağlandığını ve Visual Studio sürümünü veya test makinelerinde yüklü olan test platformunun konumunu seçin.
Testleriniz uygulama URL'leri veya veritabanı bağlantı dizesi gibi giriş parametrelerine ihtiyaç duyuyorsa, derleme yapıtlarından ilgili ayarlar dosyasını seçin. Bu dosya yapıtlara dahil değilse, ayarlar dosyasını bırakma konumunda yayımlamak için derleme işlem hattınızdaki Derleme yapıtlarını yayımla görevlerini kullanabilirsiniz. Aşağıdaki örnekte, uygulama URL'si çalıştırma ayarları dosyasında kullanıma sunulur ve Test çalıştırması parametrelerini geçersiz kıl ayarı kullanılarak bir hazırlama URL'sine ayarlamak için geçersiz kılınır .
Visual Studio Test görevinin seçenek ayarları hakkında bilgi için bkz . Visual Studio Test görevi.
Aracı iş öğesini seçin ve dağıtım kuyruğunun testleri çalıştırmak istediğiniz makineleri içeren sıraya ayarlandığını doğrulayın. Testleriniz aracı havuzundan özel makineler gerektiriyorsa çalışma zamanında seçen talepler ekleyebilirsiniz.
Paralellik'i Birden çok yürütme olarak ayarlayarak ve aracı sayısını belirterek testleri birden çok aracıya dağıtarak test sürelerini en aza indirebilirsiniz.
Not
IE, Firefox veya Chrome gibi fiziksel tarayıcılarda CodeUI veya Selenium gibi kullanıcı arabirimi testleri çalıştırıyorsanız, makinelerdeki aracı hizmet olarak değil etkileşimli modda çalışıyor olmalıdır. Diğer ayrıntılar.
Yayın işlem hattının İşlem Hattı sayfasında, test ikili dosyalarını içeren derleme işlem hattının bu yayın işlem hattına yapıt kaynağı olarak bağlandığını doğrulayın.
Yayın işlem hattını kaydedin .
Bu örneğin 2. adımındaki Test planı ayarları iletişim kutusunda Yeni oluştur'u seçtiyseniz, test planı ayarlarınızı içeren tarayıcı sayfasına dönün. Test planı ayarları iletişim kutusunda, kaydettiğiniz yayın işlem hattını ve aşamayı seçin.
Otomatikleştirilmiş testleri çalıştırma
Test Planları web portalında test planını açın ve otomatikleştirilmiş testleri içeren bir test paketi seçin.
Çalıştırmak istediğiniz testleri seçin, Çalıştır menüsünü açın ve ardından Testi çalıştır'ı seçin.
Bu testlerin test ikili dosyaları, derleme işlem hattınız tarafından oluşturulan derleme yapıtlarında kullanılabilir olmalıdır.
Test işlemini başlatmak için Tamam'ı seçin. Sistem yalnızca otomatikleştirilmiş testlerin seçildiğini denetler (el ile yapılan testler yoksayılır), Visual Studio Test görevinin mevcut olduğundan ve geçerli ayarlara sahip olduğundan emin olmak için aşamayı doğrular, kullanıcının seçili yayın işlem hattı için yayın oluşturma iznini denetler, bir test çalıştırması oluşturur ve ardından seçilen aşamaya yayın oluşturulmasını tetikler.
Test ilerleme durumunu görüntülemek ve başarısız testleri analiz etmek için Test çalıştırmasını görüntüle'yi seçin. Test sonuçları hata iletisi, yığın izleme, konsol günlükleri ve ekler gibi başarısız testlerde hata ayıklamaya yönelik ilgili bilgilere sahiptir.
Test yürütme tamamlandıktan sonra, Azure Test Planlarının Çalıştırmalar sayfası test sonuçlarını gösterir. Çalıştırma özeti sayfasında çalıştırmaya genel bir bakış gösterilir.
Testleri çalıştırmak için kullanılan Yayın bağlantısı vardır. Bu bağlantı, daha sonra geri dönüp sonuçları analiz etmeniz gerekirse testleri çalıştıran sürümü bulmayı kolaylaştırır. Yayın günlüklerini görüntülemek için yayını açmak istiyorsanız bu bağlantıyı da kullanın.
Not
Otomatikleştirilmiş test sonuçları için dosyaların el ile eklenmesi desteklenmez.
Testlerim çalışmazsa göz atması gereken tipik hata senaryoları veya sorunları nelerdir?
Test sonuçları sayfasında, test çalıştırması içindeki her test için sonuçlar listelenir. Hata iletisi, yığın izleme, konsol günlükleri ve ekler gibi başarısız testler için hata ayıklama bilgilerini görmek için bir test seçin.
Test Planları sayfasını açın ve test yürütme tamamlandıktan sonra testlerinizin güncelleştirilip güncelleştirilmediğini görmek için test planını seçin. Son test sonuçlarını görmek için bir test seçin.
SSS
Azure Test Planları hakkında aşağıdaki sık sorulan sorulara (SSS) bakın.
S: Azure Test Planlarından otomatikleştirilmiş testler çalıştırmak için hangi izinlere ihtiyacım var?
Y: Proje Katılımcısı olmanız veya aşağıdaki izinlere sahip olmanız gerekir:
- Sürüm oluşturma
- Yayınları yönetme
- Yayın aşamasını düzenle
- Dağıtımı yönetme
Daha fazla bilgi için bkz . Sürüm izinleri.
S: Belirli bir test çalıştırması örneği için test planı düzeyinde derleme veya aşama kümesini geçersiz kılabilir miyim?
Y: Evet, bunu Seçeneklerle çalıştır komutunu kullanarak yapabilirsiniz. Sol sütunda test paketinin kısayol menüsünü açın ve Seçeneklerle çalıştır'ı seçin.
Seçeneklerle çalıştır iletişim kutusuna aşağıdaki değerleri girin ve Tamam'ı seçin:
- Test türü ve çalıştırıcı: Yayın Aşamasını kullanarak otomatikleştirilmiş testler'i seçin.
- Derleme: Test ikili dosyalarını içeren derlemeyi seçin. Test sonuçları bu derlemeyle ilişkilendirilir.
- Yayın İşlem Hattı: Seçili derleme yapıtını tüketebilecek yayın işlem hatları listesinden bir işlem hattı seçin.
- Yayın Aşaması: Yayın işlem hattınızda yapılandırılan aşamanın adını seçin.
S: Testleri çalıştırmak için sürüm aşamalarını neden kullanmalısınız?
Y: Azure Pipelines, test ikili dosyalarını yapıt olarak almak ve testleri çalıştırmak için cazip bir düzenleme iş akışı sunar. Bu iş akışı, zamanlanmış test iş akışında kullanılan kavramları paylaşır; yani zamanlanmış iş akışında test çalıştıran kullanıcılar uyarlamayı kolaylaştırır; örneğin, mevcut bir zamanlanmış test yayın işlem hattını kopyalayarak.
Bir diğer önemli avantaj, görev kataloğunda testleri çalıştırmadan önce ve çalıştırdıktan sonra gerçekleştirilecek çeşitli etkinlikleri etkinleştiren zengin bir görev kümesinin kullanılabilirliğidir. Örnek olarak test verilerini hazırlama ve temizleme, yapılandırma dosyaları oluşturma ve temizleme ve daha fazlası verilebilir.
S: Visual Studio Test görevi sürüm 2'de "Test çalıştırması" seçme işlemi nasıl çalışır?
Y: Test yönetimi alt sistemi, yürütme için seçilen test listesini geçirmek için test çalıştırması nesnesini kullanır. Test görevi test çalıştırması tanımlayıcısını arar, kapsayıcı ve test yöntemi adları gibi test yürütme bilgilerini ayıklar, testleri çalıştırır, test çalıştırması sonuçlarını güncelleştirir ve test çalıştırmasında test sonuçlarıyla ilişkili test noktalarını ayarlar. Denetim açısından bakıldığında, Visual Studio görevi geçmiş sürümlerden ve test çalıştırması tanımlayıcılarından isteğe bağlı test yürütme için gönderilen testlere bir izleme sağlar.
S: Aracı etkileşimli modda mı yoksa hizmet olarak mı çalıştırılmalıdır?
Y: Kodlanmış UI veya Selenium testleri gibi UI testleri çalıştırırsanız, aracının bir web tarayıcısı başlatmasına izin vermek için test makinelerindeki aracı, hizmet olarak değil, otomatik oturum açma etkinken etkileşimli modda çalışıyor olmalıdır. PhantomJS gibi başsız bir tarayıcı kullanıyorsanız aracı bir hizmet olarak veya etkileşimli modda çalıştırılabilir. Daha fazla bilgi için bkz . Derleme ve sürüm aracıları, Windows'da aracı dağıtma ve Aracı havuzları.
S: Selenium testlerinin nasıl çalıştırıldığına ilişkin ayrıntılı belgeleri nerede bulabilirim?
Y: Bkz. Selenium testlerini kullanmaya başlama.
S: Aynı test için birden çok yapılandırma seçersem ne olur?
Y: Şu anda isteğe bağlı iş akışı yapılandırmaya duyarlı değildir.
S: Farklı derlemelerden ürün ikili dosyalarını ve test ikili dosyalarını indirmem gerekirse ne olur? Veya Jenkins gibi bir kaynaktan yapıtlar edinmem gerekirse?
Y: Geçerli özellik, azure pipelines iş akışı kullanılarak isteğe bağlı olarak test edilecek tek bir ekip derlemesi için iyileştirilmiştir. Jenkins gibi Azure dışı Pipelines yapıtları da dahil olmak üzere çok yapıtlı sürümlere yönelik desteği kullanıcı geri bildirimlerine göre değerlendiriyoruz.
S: Zaten zamanlanmış bir test yayın işlem hattım var. İsteğe bağlı test çalıştırmak için aynı işlem hattını yeniden kullanabilir miyim yoksa yeni bir işlem hattı mı oluşturmalıyım?
Y: Azure Test Planlarından isteğe bağlı otomatik test için ayrı bir yayın işlem hattı kullanmanızı ve hazırlamanızı öneririz çünkü:
Birkaç isteğe bağlı test çalıştırmak istediğinizde uygulamayı dağıtmak istemeyebilirsiniz. Zamanlanmış test aşamaları genellikle ürünü dağıtmak ve ardından testleri çalıştırmak için ayarlanır.
Her isteğe bağlı çalıştırma için yeni sürümler tetiklenir. Her gün birkaç isteğe bağlı test çalıştırması yürüten çok sayıda test ediciniz varsa, zamanlanmış test yayın işlem hattınız bu çalıştırmaların yayınlarıyla aşırı yüklenebilir ve bu da zamanlanmış test ve üretime dağıtım içeren işlem hattı için tetiklenen sürümleri bulmayı zorlaştırabilir.
Visual Studio Test görevini giriş olarak test çalıştırması tanımlayıcısı ile yapılandırmak isteyebilirsiniz, böylece yayını neyin tetiklediğini izleyebilirsiniz. Daha fazla bilgi için bkz. Visual Studio Test görevinde "Test çalıştırması (isteğe bağlı çalıştırmalar için)" nasıl seçilir?
S: Bu çalıştırmaları tetikleyebilir ve Sonuçları Microsoft Test Yöneticisi'nde görüntüleyebilir miyim?
Y: Hayır. Microsoft Test Manager, Team Foundation derlemelerinde otomatikleştirilmiş testler çalıştırmayı desteklemez. Yalnızca Azure Pipelines için web tabanlı arabirimde çalışır. Tüm yeni el ile ve otomatik test ürün geliştirme yatırımları web tabanlı arabirimdedir. Microsoft Test Manager için başka geliştirme planlanmıyor. Bkz . Microsoft Test Manager kullanımıyla ilgili yönergeler.
S: Ekibimde birden çok test edici var. Aynı yayın işlem hattını kullanarak farklı test paketlerinden veya test planlarından testleri paralel olarak çalıştırabilir mi?
Y: Aşağıdaki durumlarda birden çok test çalıştırmasını paralel olarak tetikleme amacıyla aynı yayın işlem hattını kullanabilirler:
Aşamayla ilişkili aracı havuzunda paralel istekleri karşılamak için yeterli aracı vardır. Yeterli aracı kullanılamıyorsa çalıştırmalar tetiklenebilir ancak aracılar kullanılabilir duruma gelene kadar işlenmek üzere kuyruk serbest kalır.
Paralel işleri etkinleştirmek için yeterli işiniz var. Daha fazla bilgi için bkz . Azure Pipelines'ta paralel işler veya TFS'de paralel işler.
Test ediciler aynı testleri paralel olarak çalıştırmaz. Bunun yapılması, yürütme sırasına bağlı olarak sonuçların üzerine yazılmasına neden olabilir.
Birden çok farklı test çalıştırmasının paralel olarak yürütülmesini sağlamak için, birden çok sürüm dağıtılmayı beklerken davranış için Azure Pipelines aşama tetikleyicisi seçeneğini aşağıdaki gibi ayarlayın:
Uygulamanız farklı kaynaklardan paralel olarak çalışan testleri destekliyorsa, bu seçeneği Birden çok sürümün aynı anda dağıtılmasını izin ver olarak ayarlayın.
Uygulamanız farklı kaynaklardan paralel olarak çalışan testleri desteklemiyorsa, bu seçeneği Aynı anda yalnızca bir etkin dağıtıma izin ver olarak ayarlayın.
S: Derleme veya yayın işlem hattından test koduma parametreleri Nasıl yaparım? geçirebilirsiniz?
Y: Değerleri test kodunuz için parametre olarak geçirmek için runsettings dosyası kullanın. Örneğin, birkaç aşama içeren bir sürümde, her birindeki test görevlerine uygun uygulama URL'sini geçirebilirsiniz. Runsettings dosyası ve eşleşen parametreler Visual Studio Test görevinde belirtilmelidir.
S: Testlerim çalıştırılmıyorsa göz atması gereken tipik hata senaryoları veya sorunları nelerdir?
Y: Sorunları aşağıdaki gibi denetleyin ve çözün:
Derlemeyi seçtikten sonra testleri çalıştırmak istediğim yayın işlem hattı ve aşaması gösterilmiyor.
- Derlemeyi oluşturan derleme işlem hattının yayın işlem hattının Yapıtlar sekmesinde birincil yapıt olarak bağlı olduğundan emin olun.
Bir sürümü tetiklemem için yeterli izne sahip olmadığıma dair bir hata alıyorum.
- Yayın işlem hattının Güvenlik menüsünde Kullanıcı için yayın oluşturma ve Dağıtımları yönetme izinlerini yapılandırın. Bkz. Sürüm izinleri.
Otomatikleştirilmiş test bulunamadı hatası alıyorum.
Testlerim yürütülmedi ve yayın işlem hattının yanlış olduğundan şüpheleniyorum.
- Testleri çalıştırmak için kullanılan sürüm örneğine erişmek ve yayın günlüklerini görüntülemek için Çalıştırma özeti sayfasındaki bağlantıyı kullanın.
Testlerim hata durumuna geçiyor veya aşamaya yayın tetiklense bile "devam ediyor" kalıyor.
- Seçtiğiniz yayın aşamasında doğru görevin ve sürümün seçili olup olmadığını denetleyin. Visual Studio Test görevinin 2. veya sonraki bir sürümünü kullanmanız gerekir. Görevin sürüm 1'i ve İşlevsel Testleri Çalıştır görevi desteklenmez.