Aracılığıyla paylaş

Azure AI Video Indexer Kendi Yapay Zeka Modelinizi Getirin (BYO) modeline genel bakış

Bu makale, Azure AI Video Indexer'ın kendi yapay zeka modelinizi getirmesine genel bir bakış sağlar.

Giriş

Medya verilerinizin ayrıntılı bir analizini oluşturmak için üçüncü taraf, sınıflandırma ve algılama modelleri gibi diğer kaynaklardan gelen içgörüleri birleştirebilirsiniz. Microsoft tarafından sunulan herhangi bir modelden, bir dış özel modelden veya Azure Video Indexer tarafından sunulan özelleştirilmiş Kişi, Marka, Konuşma veya Dil modellerinden birini veya daha fazlasını kullanabilirsiniz.

Bu özellik Arc tarafından etkinleştirilen VI için de kullanılabilir.

Uyarı

YASAL UYARI: Microsoft'un Azure OpenAI Hizmeti kullanım kuralları , Microsoft'un uyumsuzluk için bu özelliğe erişiminizi ve kullanımınızı sonlandırma hakkını içeren Kendi Modelinizi Getir özelliğini kullanımınız için geçerlidir.

Fiyatlandırma

Video Indexer BYO modeliyle, dizin oluşturma işleminin listelenen maliyetinin ötesinde ek maliyetler doğurmadan video içgörü nesnelerine özel içgörüler ekleyebilirsiniz. Ancak, dış ortam ve modelle ilgili tüm maliyetler Video Indexer'ın faturalama fiyatının bir parçası olarak kabul edilmemelidir. Dış mantığı iyileştirmek ve maliyetleri azaltmak için en iyi yöntemler bölümümüzü gözden geçirmenizi kesinlikle öneririz.

Genel iş akışı

  1. Video, Azure AI Video Indexer ile yüklenir ve dizinlenir.
  2. Dizin oluşturma işlemi tamamlandığında bir olay oluşturulur.
  3. Özel kodunuz olayı dinler ve video sonrası işleme işlemini başlatır.
    1. Video Indexer tarafından ayıklanan içgörüleri alın.
    2. Video bölümünün anahtar karesini alın.
    3. Anahtar çerçeveyi özel yapay zeka modeline gönderin.
    4. Özel içgörüleri Video Indexer'a geri yamalayın.
      Genel kendi iş akışınızı oluşturma sürecinin diyagramı.

Önkoşullar

ByO modeli özelliğini Azure AI Video Indexer ile kullanmaya başlamadan önce şunları gerçekleştirmeniz gerekir:

  1. Video varlıklarını alan ve içgörü döndüren harici bir yapay zeka modeli eğitin veya getirin.
  2. Şu özel kodu oluşturun:
    1. Event Hubs etkinliklerini dinler.
    2. Olaylardan video id öğesini ayıklar.
    3. VI API'lerini çağırarak ilgili varlıkları alır. Bu senaryoda, Video Dizini Al ve Çerçeve SAS URL'lerini Al isteyin.
    4. Varlıkları dış yapay zeka modeline gönderir.
    5. Özel yapay zeka modelinden alınan içgörüleri temel alan bir JSON nesnesi oluşturur.
    6. İstekleri Düzeltme Eki Güncelleştirme Video Dizini.

Şema

Özel verileri doldurma değerleri aşağıdaki gibidir:

Adı Açıklama Gerekli
ad Dış AI modeli adı doğru
görüntü adı Video Indexer'da görüntülenecek içgörü grubu adı doğru
görüntü türü Bu özel içgörü grubu için kullanıcı arabirimi gösterimi türünü tanımlar. Varsayılan değer: Kapsüller
Olası türler:
Kapsül – Yalnızca bir düzey metin
CapsuleAndTags -Şu anda yalnızca iki düzey metin bulunmaktadır, gelecekte daha fazla eklenecek.		 yanlış
resultaten Dış yapay zeka modeli tarafından algılanan içgörüleri temsil eden nesne dizisi doğru
sonuçlar.id Sonuç nesnesinin kullanıcı tarafından sağlanan kimliği, sonuç kapsamında benzersiz olmalıdır doğru
sonuçlar.türü Bu alan, dış yapay zeka modeli tarafından kategorilere ayrılmış içgörü türünü temsil eder. Genel bir içgörü kategorisini temsil etmek için kullanılır; başka bir deyişle, belirli bir çerçevede bu türle ilgili birden fazla içgörü tanımlanabilir. İçgörü türlerine örnek olarak şunlar verilebilir: basketball, crowd clapping, white shirt. doğru
sonuçlar.altTür Bu alan, dış yapay zeka modeli tarafından kategorilere ayrılmış içgörü türünü temsil eder. Belirli bir içgörü kategorisini temsil etmek için kullanılır; bu da belirli bir çerçevede tanımlanan bu türe ilişkin yalnızca tek bir içgörü olabileceği anlamına gelir. İçgörü türlerine örnek olarak şunlar verilebilir: basketball #23, John clapping, Dana’s white shirt. yanlış
results.metaData İçgörüler hakkında daha fazla veri yanlış
sonuçlar.örnekler İçgörülerin tespit edildiği zaman pencerelerini temsil eden bir dizi. doğru
sonuçlar.örnekler.güven Harici modelin geri döndürdüğü güvenilirlik puanıyla ayarlayın yanlış
sonuçlar.örnekler.başlat Videodaki örneğin başlangıç zamanı. Biçim: hh.mm.ss.ff yanlış
results.instances.end Videodaki örneğin bitiş saati. Biçim: hh.mm.ss.ff yanlış
sonuçlar.durumlar.ayarlananBaşlangıç Kullanıcı arabiriminde görüntülendiğinde kullanılır, Başlangıç'taki değerle ayarlanır yanlış
sonuçlar.örnekler.ayarlaSon Kullanıcı arayüzünde görüntülendiğinde kullanılır ve End değerini kullanarak ayarlanır. yanlış

Kare Hızı

Azure AI Video Indexer, Temel/Standart video düzeyi için bir FPS ve ileri düzey için dört FPS destekler. Daha yüksek kare hızları desteklenmez. İndekslemeyi optimize etmek için:

  • Yalnızca algılanan ses, nesne veya kişi içeren çerçeveler gibi ilgi çekici olan belirli kesimleri işleme veya
  • Örneğin, her 5 saniyede bir daha düşük FPS'yi ölçün veya örnekleyin.

Çerçeve seçimi

Zaman seçimi için çerçeveleri ve sayfa boyutu parametrelerini atlayabilirsiniz. Zaman aralığını belirlemek için formül, atlama kareleri değerinin FPS ile çarpılması ile sayfa boyutu değerinin FPS ile çarpımının toplamından oluşur.

URL:https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/FramesFilePaths[?urlsLifetimeSeconds][&pageSize][&skip][&accessToken]

Parametreler:

Adı Açıklama Gerekli
videoId Videonun kimliği doğru
urlsLifetimeSeconds URL'lerin ömrü (saniye olarak) doğru
Pagesize Her çağrı için döndürülecek kare sayısı üst sınırı yanlış
atlamak Atlanacak kare sayısı yanlış
accessToken URL sorgu dizesinde parametre olarak veya Yetkilendirme üst bilgisinde Taşıyıcı belirteci olarak verilmelidir. Erişim belirteci kapsamı Hesap ve izin Okuyucu olmalıdır. doğru

Yanıt:FrameFilePathsResult

Adı Açıklama Gerekli
resultaten FrameUriData Listesi Yanlış
NextPage Sayfalama verileri (skip, pageSize, isDone) Yanlış

FrameFilePathData

Adı Açıklama
ad Çerçeve dosyasının adı
frameIndex Çerçevenin indeksi
StartTime Videodaki çerçevenin başlangıç zamanı
EndTime Videodaki çerçevenin bitiş saati
filePath Bulut ortamındaki çerçevenin Sas URI'si veya uç ortamlarda dosya yolu

Şema biçiminde özel uygulamadan gönderilen örnek veriler

"customInsights": [
    {
        "Name": "tattoo",  
        "displayName": "Tattoo’s model",
        "displayType": "CapsuleAndTag",
        "Results": [   
            {   
                "id": 1,   
                "Type": "Dragon",   
                "WikiDataId": "57F",   
                "SubType": "Leg tattoo",   
                "Metadata": "",   
                "Instances": [
                    {
                        "Confidence": 0.49,
                        "AdjustedStart": "0:00:32.72", 
                        "AdjustedEnd": "0:00:42.72",
                        "start": "0:00:32.72",
                        "end": "0:00:42.72",
                    }
                ]
            }
        ]
    }... 

Kendi Modelinizi Getirin örnekleri

İlgili içerik