LLM istemleriyle Azure AI Video Indexer

Uyarı

Azure AI Video Indexer (VI) geçtiğimiz yıl kullanımdan kaldırılma nedeniyle Azure Media Services'a (AMS) bağımlılığının kaldırılmaya başlanacağını duyurdu. Özellik ayarlamaları ve değişiklikler duyuruldu ve bir geçiş kılavuzu sağlandı.

Geçişi tamamlamak için son tarih 30 Haziran 2024'dü. VI, VI hesabınızı güncelleştirebilmeniz ve AMS VI varlık geçişini 31 Ağustos 2024'e kadar kabul edebilmeniz için güncelleştirme/geçiş son tarihini uzatmıştır.

Ancak 30 Haziran'dan sonra VI hesabınızı güncelleştirmediyseniz yeni videoları dizine ekleyemez veya geçirilmemiş videoları oynatamazsınız. Hesabınızı 30 Haziran'dan sonra güncelleştirirseniz, dizin oluşturmayı hemen sürdürebilirsiniz, ancak AMS VI geçişi aracılığıyla geçirilene kadar hesap güncelleştirmeden önce dizine alınmış videoları oynatamazsınız.

Genel bakış

Azure AI Video Indexer, Büyük Dil Modelleri (LLM) ile tümleştirilir. LLM'ler, video içeriği ve daha fazlası hakkında sorular sormak için kullanabileceğiniz doğal dil yapay zeka modelleridir. Azure AI Video Indexer'ın içgörülerini LLM'lerle kolayca kullanılabilecek bir istemi hazır biçimde ayıklayın. Videoların istem için hazır biçimini oluşturmak için videoları yeniden dizine almanız gerekmez.

Kullanım Örnekleri

Video Özetlemesi Oluşturma: LLM modelinden tüm videoların veya video segmentlerinin özetlerini oluşturmasını isteyebilirsiniz. Bu segmentler, ihtiyaçlarınıza bağlı olarak bilgilendirici bir özet, bir teaser veya başka bir özet gibi çeşitli özet türleri oluşturmak için birleştirilebilir.

Aranabilirlik: Video içeriğini metin tabanlı, istem hazır bir biçime dönüştürerek, video içeriğinizde ayrıntılı, doğal dil aramaları yapabilirsiniz. Bu, belirli sorgulara göre büyük video kitaplıklarında bulunabilirliği önemli ölçüde geliştirebilir.

İçerik Oluşturma: Videolarınızda belirli duygular veya olaylarla ilişkili belirli anlar için video kitaplığınızı sorgulayabilirsiniz. Örneğin, bir video serisinden 'komik' veya 'üzgün' anları alabilir ve bunu bir promosyon veya vurgu oluşturmak için kullanabilirsiniz. Benzer şekilde, "son on yıldaki geçmiş depremler" gibi belirli ilgi çekici olaylarla ilgili anları alabilirsiniz.

Eğitim Amaçları: Öğrencilerin materyalleri gözden geçirmesini ve anlamasını kolaylaştırmak için ders videolarından özetler oluşturun. Öğrenciler ders materyalleriyle ilgili belirli sorular da sorabilirler. Öğrenme deneyimini daha verimli hale getirmek için makalenin tartışıldığı videonun tam bölümüne başvurabilirsiniz.

Etkileşimli Deneyimler: Videonun içeriğine göre kullanıcı sorgularını yanıtlayan video tabanlı sohbet botları veya sanal yardımcılar gibi etkileşimli deneyimler oluşturabilirsiniz.

Nasıl çalışır?

Çıkışın istenmeye hazır olması için video, hem videonun özüne hem de istem boyutuna uyan tutarlı bölümlere ayrılır. Bölümler, Azure AI Video Indexer Sahne Segmentasyonu ve diğer içgörülere göre bölünür. İstem içeriğinin sonuçları ayrı ayrı bir araya gelir ve segment başına oluşturulur. Örneğin:

İçgörüler

Aşağıdaki tabloda, istem oluşturma için kullanılan içgörüler yer alır.

VI İçgörüleri	Etiket ve biçim
Video başlığı	[Video başlığı] <video başlığı>
Nesne algılama	[Algılanan nesneler] <nesne 1>, <nesne 2>, ...
Etiketler	[Görsel etiketler] <etiket 1>, <etiket 2>, ...
OCR	[OCR] <ocr cluster1><ocr cluster2> ...
Transkript ve konuşmacılar	[Transkript] <konuşmacı adı>: <transkript satırları>\n<konuşmacı adı>: <transkript satırları>\n ...
Yüzler	[Bilinen kişiler] <yüz 1>, <yüz 2>, ...
Ses efektleri (AED)	[Ses efektleri] < efekt 1>, <efekt 2>, ...
Segmentin videodaki konumu	[Etiketler] [Başlangıç, Orta, Bitiş, Sıralı krediler]

Video için istem içeriği oluşturma

Her segment için prompt-Ready biçimini almak için dizine alınan videonuzda İçerik İstemi API'sini kullanın.

Not

İstem içeriği içgörüleri, videonun dizinini oluşturmak için kullanılan belirli ön ayara tabidir.

• İstem İçeriği API'sini oluşturmak için POST komut istemi içeriği oluşturma isteğini kullanın.
• İstem içeriğini görüntülemek için PromptContent Alma isteğini kullanın.

Örnek istek

AVI hesap kimliğinizi ve video kimliğinizi kullanın.

POST https://api.videoindexer.ai/trial/Accounts/{accountId}/Videos/{videoId}/PromptContent

Örnek yanıt

index
{
  "algoVersion": "2.0.0",
  "schemaVersion": "0.0.1",
  "partition": null,
  "name": "10_best_dressed_grammy",
  "sections": [
    {
      "id": 0,
      "start": "0:00:00",
      "end": "0:00:40.915875",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] necktie\n[Visual labels] human face, clothing, person, woman, suit, wedding dress, dress, indoor, wall, carpet, rug, fashion, lady, long hair, fashion accessory, fashion design\n[OCR] TROPHy, LIFE, SPECIAL, EDITION, news FEED, BY

 CLEVVER, CLEVVER, @NazPerez, BEST DRESSED CELEBS AT 2018 GRAMMYS\n[Transcript] Check out the 10 best dressed celebs from the 2018 Grammy Awards and don't forget to subscribe to our channel to get all the latest celebrity updates.\nFrom white roses to white hot looks, this year's Grammy Awards was a feast of fashion thanks to so many celebs bringing their A game to the show.\nSo let's kick off this list of the best dress from the red carpet, starting with Lady Gaga.\nGaga looked like a gothic Princess in her dramatic all black ball gown.\nThe Armani Preve dress featured A Lacy bodysuit and billowing black skirt with a huge train.\nAga's black heeled boots were also some of the highest we've ever seen, like ever, but we wouldn't expect anything less from Mama Monster.\nAnother look we love from the carpet was Anna Kendrick's sexy suit by Belmont."
    },
    {
      "id": 1,
      "start": "0:00:40.915875",
      "end": "0:01:17.202125",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] remote\n[Visual labels] human face, clothing, person, dress, carpet, rug, fashion, lady, furniture, female person, fashion model, model, haute couture, smile\n[OCR] TROPHy, LIFE, news FEED, BEST DRESSED CELEBS AT 2018 GRAMMYS, D CELEBS AT 2018 GRAMMYS, BEST DRESSED\n[Transcript] Anna gave the structured look a sexy feminine touch by wearing a Lacy strapless top underneath and some pale pink stilettos.\nHer suit may have said business, but her relaxed WAVY hairstyle said I came to get down.\nNext on our list is the literally red hot Camila Cabello.\nCamila was all glitzing glam in her strapless Vivian Westwood gown.\nThat humped her curves perfectly.\nCamila opted to wear her hair up and accessorized with some serious bling, but it's that plunging neckline that has this unable to look away.\nAnother look we loved came courtesy of Miley Cyrus, who absolutely slayed in this black velvet bodysuit.\nMiley looked beyond chic, from her classic Hollywood hairstyle to her glitter heels."
    },
}

Sınırlamalar

İstem özelliği, mümkün olduğunca çok içgörü içeren videolar için iyileştirilmiştir.