HoloLens (1. nesil) Uzamsal 220: Uzamsal ses

Önemli

Karma Gerçeklik Academy öğreticileri HoloLens (1. nesil), Unity 2017 ve Karma Gerçeklik Immersive Headsets düşünülerek tasarlanmıştır. Bu nedenle, bu cihazlar için geliştirme konusunda hala rehberlik arayan geliştiriciler için bu öğreticileri yerinde bırakmanın önemli olduğunu hissediyoruz. Bu öğreticiler, HoloLens 2 için kullanılan en son araç kümeleri veya etkileşimlerle güncelleştirilmez ve Unity'nin daha yeni sürümleriyle uyumlu olmayabilir. Desteklenen cihazlarda çalışmaya devam etmek için bakımları yapılacaktır. HoloLens 2 için yeni bir öğretici serisi yayınlanmıştır.

Uzamsal ses hologramlara hayat verir ve dünyamızda onlara varlık verir. Hologramlar hem ışık hem de seslerden oluşur ve hologramlarınızı görmenizi kaybederseniz uzamsal ses bunları bulmanıza yardımcı olabilir. Uzamsal ses, radyoda duyacağınız tipik sese benzemedi, 3B alanda konumlandırılan sestir. Uzamsal ses sayesinde hologramların arkanızda, yanınızda, hatta kafanızda gibi görünmesini sağlayabilirsiniz! Bu kursta şunları yapacaksınız:

• Geliştirme ortamınızı Microsoft Spatial Sound kullanacak şekilde yapılandırın.
• Etkileşimleri geliştirmek için Uzamsal Ses'i kullanın.
• Uzamsal Ses'i Uzamsal Eşleme ile birlikte kullanın.
• Ses tasarımını ve en iyi karıştırma yöntemlerini anlayın.
• Özel efektleri geliştirmek ve kullanıcıyı Karma Gerçeklik dünyaya getirmek için ses kullanın.

Cihaz desteği

Kurs	HoloLens	Çevreleyici kulaklıklar
MR Spatial 220: Uzamsal ses	✔️	✔️

Başlamadan önce

Önkoşullar

• Doğru araçlar yüklü olarak yapılandırılmış bir Windows 10 bilgisayar.
• Bazı temel C# programlama yetenekleri.
• MR Basics 101'i tamamlamış olmanız gerekirdi.
• Geliştirme için yapılandırılmış bir HoloLens cihazı.

Proje dosyaları

• Projenin gerektirdiği dosyaları indirin. Unity 2017.2 veya sonraki bir sürümü gerektirir.
  • Unity 5.6 desteğine hala ihtiyacınız varsa lütfen bu sürümü kullanın. Bu sürüm artık güncel olmayabilir.
  • Unity 5.5 desteğine hala ihtiyacınız varsa lütfen bu sürümü kullanın. Bu sürüm artık güncel olmayabilir.
  • Unity 5.4 desteğine hala ihtiyacınız varsa lütfen bu sürümü kullanın. Bu sürüm artık güncel olmayabilir.
• Dosyaları masaüstünüzde veya ulaşılmaya kolay başka bir konumda arşivden çıkarın.

Not

İndirmeden önce kaynak kodu incelemek isterseniz GitHub'da kullanılabilir.

Errata ve Notlar

• Kodunuzda kesme noktalarına gitmek için Visual Studio'da Araçlar-Seçenekler-Hata>> Ayıklama'nın altında "Yalnızca Kodumu Etkinleştir" seçeneğinin devre dışı bırakılması (işaretlenmemiş) olması gerekir.

1. Bölüm - Unity Kurulumu

Hedefler

• Unity'nin ses yapılandırmasını Microsoft Spatial Sound kullanacak şekilde değiştirin.
• Unity'de bir nesneye 3B ses ekleyin.

Yönergeler

• Unity'i başlatın.
• Aç’ı seçin.
• Masaüstü'nüze gidin ve daha önce arşivlediğiniz klasörü bulun.
• Başlangıç\Decibel klasörüne tıklayın ve ardından Klasör Seç düğmesine basın.
• Unity'de projenin yüklenmesini bekleyin.
• Proje panelinde Scenes\Decibel.unity dosyasını açın.
• Hiyerarşi panelinde HologramCollection'ı genişletin ve P0LY'yi seçin.
• Denetçi'de AudioSource'u genişletin ve Uzamsallaştır onay kutusu olmadığına dikkat edin.

Varsayılan olarak Unity bir uzamsallaştırıcı eklentisi yüklemez. Aşağıdaki adımlar projede Spatial Sound'un etkinleştirilmesini sağlar.

• Unity'nin üst menüsünde Proje Ayarlarını > Düzenle > Ses'e gidin.
• Spatializer Eklentisi açılan listesini bulun ve MS HRTF Spatializer'ı seçin.
• Hiyerarşi panelinde HologramCollection > P0LY'yi seçin.
• Denetçi panelinde Ses Kaynağı bileşenini bulun.
• Uzamsallaştır onay kutusunu işaretleyin.
• Spatial Blend kaydırıcısını 3B'ye kadar sürükleyin veya düzenleme kutusuna 1 girin.

Şimdi projeyi Unity'de oluşturacak ve çözümü Visual Studio'da yapılandıracağız.

1. Unity'de Dosya > Derleme Ayarları'nı seçin.
2. Sahneyi eklemek için Açık Sahne Ekle'ye tıklayın.
3. Platformlistesinden Evrensel Windows Platformu seçin ve Platformu Değiştir'e tıklayın.
4. Özellikle HoloLens için geliştiriyorsanız Hedef cihaz'ıHoloLens olarak ayarlayın. Aksi takdirde , Herhangi bir cihazda bırakın.
5. Derleme Türü'ninD3D ve SDK'nınEn Son yüklü (SDK 16299 veya üzeri olmalıdır) olarak ayarlandığından emin olun.
6. Oluştur'a tıklayın.
7. "Uygulama" adlı yeni bir Klasör oluşturun.
8. Uygulama klasörüne tek tıklayın.
9. Klasör Seç'e basın.

Unity tamamlandığında bir Dosya Gezgini penceresi görüntülenir.

1. Uygulama klasörünü açın.
2. Decibel Visual Studio Çözümünü açın.

HoloLens'e dağıtıyorsanız:

1. Visual Studio'daki üst araç çubuğunu kullanarak hedefi Hata Ayıklama'dan Yayın'a ve ARM'den x86'ya değiştirin.
2. Yerel Makine düğmesinin yanındaki açılan oka tıklayın ve Uzak Makine'yi seçin.
3. HoloLens cihazınızın IP adresini girin ve Kimlik Doğrulama Modu'nu Evrensel (Şifrelenmemiş Protokol) olarak ayarlayın. Seç’e tıklayın. Cihazınızın IP adresini bilmiyorsanız Ayarlar > Ağ & İnternet > Gelişmiş Seçenekleri'ne bakın.
4. Üst menü çubuğunda Hata Ayıkla -> Hata Ayıklama Olmadan Başlat'a tıklayın veya Ctrl + F5 tuşlarına basın. Cihazınıza ilk kez dağıtılıyorsa, bunu Visual Studio ile eşleştirmeniz gerekir.

Çevreleyici bir mikrofonlu kulaklığa dağıtıyorsanız:

1. Visual Studio'da üst araç çubuğunu kullanarak hedefi Hata Ayıklama'dan Yayın'a ve ARM'den x64'e değiştirin.
2. Dağıtım hedefinin Yerel Makine olarak ayarlandığından emin olun.
3. Üst menü çubuğunda Hata Ayıkla -> Hata Ayıklama Olmadan Başlat'a tıklayın veya Ctrl + F5 tuşlarına basın.

Bölüm 2 - Uzamsal Ses ve Etkileşim

Hedefler

• Ses kullanarak hologram gerçekçiliğini geliştirin.
• Sesi kullanarak kullanıcının bakışını yönlendirin.
• Sesi kullanarak hareket geri bildirimi sağlayın.

Bölüm 1 - Gerçekçiliği Geliştirme

Önemli Kavramlar

• Hologram seslerini uzamsallaştır.
• Ses kaynakları hologram üzerinde uygun bir konuma yerleştirilmelidir.

Ses için uygun konum holograma bağlı olacak. Örneğin, hologram bir insana aitse, ses kaynağı ayakların değil ağzın yakınında bulunmalıdır.

Yönergeler

Aşağıdaki yönergeler holograma uzamsal bir ses ekler.

• Hiyerarşi panelinde HologramCollection'ı genişletin ve P0LY'yi seçin.
• Denetçi panelindeki AudioSource'ta, AudioClip'in yanındaki daireye tıklayın ve açılır menüden PolyHover'ı seçin.
• Çıkış'ın yanındaki daireye tıklayın ve açılır menüden SoundEffects'i seçin.

Project Decibel, ses gruplarının ses düzeylerini ayarlamayı etkinleştirmek için Unity AudioMixer bileşenini kullanır. Sesler bu şekilde gruplandırılarak, her sesin göreli ses düzeyi korunurken genel ses düzeyi ayarlanabilir.

• AudioSource'ta3B Ses Ayarları'nı genişletin.
• Doppler Düzeyini0 olarak ayarlayın.

Doppler düzeyini sıfır olarak ayarlamak, hareket (hologramdan veya kullanıcıdan) kaynaklanan perdedeki değişiklikleri devre dışı bırakır. Doppler'ın klasik bir örneği hızlı hareket eden bir arabadır. Araba sabit bir dinleyiciye yaklaşırken, motorun perdesi yükselir. Dinleyiciyi geçtiğinde ses perdesi mesafeyi düşürür.

Bölüm 2 - Kullanıcının Bakışını Yönlendirme

Önemli Kavramlar

• Önemli hologramlara dikkat çekmek için ses kullanın.
• Kulaklar, gözlerin nereye bakması gerektiğini yönlendirmeye yardımcı olur.
• Beyin bazı beklentileri öğrendi.

Öğrenilen beklentilerin bir örneği, kuşların genellikle insanların başında olmasıdır. Bir kullanıcı bir kuş sesi duyarsa, ilk tepkisi aramaktır. Kullanıcının altına bir kuş yerleştirmek, sesin doğru yönüne bakmalarına neden olabilir, ancak arama ihtiyacı beklentisine göre hologramı bulamamalarına neden olabilir.

Yönergeler

Aşağıdaki yönergeler, hologramı bulmak için sesi kullanabilmeniz için P0LY'nin arkanızda gizlenebilmesini sağlar.

• Hiyerarşi panelinde Yöneticiler'i seçin.
• Denetçi panelinde Konuşma Girişi İşleyicisi'ni bulun.
• Konuşma Girişi İşleyicisi'ndeGit Gizle'yi genişletin.
• İşlev Yok seçeneğiniPolyActions.GoHide olarak değiştirin.

Bölüm 3 - Hareket Geri Bildirimi

Önemli Kavramlar

• Ses kullanarak kullanıcıya pozitif hareket onayı sağlama
• Kullanıcıyı bunaltmayın - aşırı yüksek sesler önünüzde olsun
• Zarif sesler en iyi şekilde çalışır - deneyimi gölgede kullanmayın

Yönergeler

• Hiyerarşi panelinde HologramCollection'ı genişletin.
• EnergyHub'ı genişletin ve Temel'i seçin.
• Denetçi panelinde Bileşen Ekle'ye tıklayın ve Hareket Sesi İşleyicisi'ni ekleyin.
• Hareket Sesi İşleyicisi'nde, Gezinti Başlatılan Klip ve Gezinti Güncelleştirilmiş Klip'in yanındaki daireye tıklayın ve her ikisi için de açılır menüden RotateClick'i seçin.
• Visual Studio'da yüklemek için "GestureSoundHandler" öğesine çift tıklayın.

Hareket Ses İşleyicisi aşağıdaki görevleri gerçekleştirir:

• Bir AudioSource oluşturun ve yapılandırın.
• AudioSource'unu uygun GameObject konumuna yerleştirin.
• Hareketle ilişkili AudioClip'i çalar.

Yapılandırma ve Dağıtma

1. Unity'de Dosya > Derleme Ayarları'nı seçin.
2. Oluştur'a tıklayın.
3. Uygulama klasörüne tek tıklayın.
4. Klasör Seç'e basın.

Araç Çubuğu'nda "Release", "x86" veya "x64" ve "Remote Device" (Uzak Cihaz) ifadesinin yer alıp almadığını denetleyin. Aksi takdirde, bu Visual Studio'nun kodlama örneğidir. Çözümü Uygulama klasöründen yeniden açmanız gerekebilir.

• İstenirse proje dosyalarını yeniden yükleyin.
• Daha önce olduğu gibi Visual Studio'dan dağıtın.

Uygulama dağıtıldıktan sonra:

• P0LY'de gezindikçe sesin nasıl değiştiğini gözlemleyin.
• P0LY'nin arkanızda bir konuma taşınmasını sağlamak için "Git Gizle" deyin. Sesin yanından bul.
• Enerji Merkezi'nin tabanına bakın. Hologramı döndürmek için sola veya sağa dokunup sürükleyin ve tıklama sesinin hareketi nasıl onayladığını görün.

Not: Sizinle birlikte etiketlenecek bir metin paneli vardır. Bu, bu kurs boyunca kullanabileceğiniz kullanılabilir sesli komutları içerir.

Bölüm 3 - Uzamsal Ses ve Uzamsal Haritalama

Hedefler

• Ses kullanarak hologramlar ile gerçek dünya arasındaki etkileşimi onaylayın.
• Fiziksel dünyayı kullanarak sesi kapat.

Bölüm 1 - Fiziksel Dünya Etkileşimi

Önemli Kavramlar

• Fiziksel nesneler genellikle bir yüzey veya başka bir nesneyle karşılaştığında ses çıkarır.
• Sesler, deneyim içinde bağlama uygun olmalıdır.

Örneğin, bir tablonun üzerine bardak ayarlamak, bir metal parçasının üzerine kayayı bırakmaktan daha sessiz bir ses çıkarmalıdır.

Yönergeler

• Hiyerarşi panelinde HologramCollection'ı genişletin.
• EnergyHub'ı genişletin ve Temel'i seçin.
• Denetçi panelinde Bileşen Ekle'ye tıklayın ve Ses ve Eylemle Yerleştirmek için Dokun'u ekleyin.
• Ses ve eylemle yerleştirmek için dokunun:
  • Dokunarak Ebeveyn Yerleştir'i işaretleyin.
  • Yerleştirme SesiniYerleştir olarak ayarlayın.
  • Teslim Alma Sesini Alma olarak ayarlayın.
  • Hem Teslim Alma Eyleminde hem de Yerleştirme Eyleminde altında sağ alttaki + tuşuna basın. EnergyHub'ı sahneden Yok (Nesne) alanlarına sürükleyin.
    • Teslim Alma Eylemi altında İşlev Yok ->EnergyHubBase ->ResetAnimation seçeneğine tıklayın.
    • Yerleştirme Eylemi altındaİşlev Yok ->EnergyHubBase ->OnSelect seçeneğine tıklayın.

Bölüm 2 - Ses Tıkanıklık

Önemli Kavramlar

• Işık gibi ses de kapatılabilir.

Klasik bir örnek, konser salonudur. Bir dinleyici salonun dışında durduğunda ve kapı kapalı olduğunda, müzik boğuk geliyor. Genellikle hacimde de bir azalma olur. Kapı açıldığında, sesin tam spektrumu gerçek ses düzeyinde duyulur. Yüksek frekanslı sesler genellikle düşük frekanslardan daha fazla emilir.

Yönergeler

• Hiyerarşi panelinde HologramCollection'ı genişletin ve P0LY'yi seçin.
• Denetçi panelinde Bileşen Ekle'ye tıklayın ve Ses Yayıcı'yı ekleyin.

Ses Verici sınıfı aşağıdaki özellikleri sağlar:

• AudioSource'un biriminde yapılan tüm değişiklikleri geri yükler.
• Kullanıcının, AudioEmitter'ın bağlı olduğu GameObject yönündeki konumundan bir Physics.RaycastNonAlloc gerçekleştirir.

RaycastNonAlloc yöntemi, hem ayırmaları hem de döndürülen sonuç sayısını sınırlamak için bir performans iyileştirmesi olarak kullanılır.

• Karşılaşılan her IAudioInfluencer için ApplyEffect yöntemini çağırır.
• Artık karşılaşmayan her önceki IAudioInfluencer için RemoveEffect yöntemini çağırın.

AudioEmitter'ın çerçeve bazında değil, insan zamanı ölçeklerinde güncelleştirildiğini unutmayın. Bu yapılır çünkü insanlar genellikle etkinin her çeyrek veya saniyenin yarısından daha sık güncelleştirilmesi gerektiği için yeterince hızlı hareket etmemektedir. Bir konumdan diğerine hızlı bir şekilde ışınlayan hologramlar illüzyonu bozabilir.

• Hiyerarşi panelinde HologramCollection'ı genişletin.
• EnergyHub'ı genişletin ve BlobOutside'ı seçin.
• Denetçi panelinde Bileşen Ekle'ye tıklayın ve Ses Kapatıcısı'nı ekleyin.
• Ses Kapatıcı'daKesme Sıklığı'yı1500 olarak ayarlayın.

Bu ayar AudioSource sıklıklarını 1500 Hz ve altı ile sınırlar.

• Birim Geçişini0,9 olarak ayarlayın.

Bu ayar, AudioSource'un ses düzeyini geçerli düzeyinin %90'ını azaltır.

Ses Occluder aşağıdakiler için IAudioInfluencer uygular:

• AudioSource yönetilen satın alma AudioEmitter'a bağlanan bir AudioLowPassFilter kullanarak bir kapatma efekti uygulayın.
• Ses Kaynağı'na birim azaltma uygular.
• Nötr kesme sıklığı ayarlayarak ve filtreyi devre dışı bırakarak efekti devre dışı bırakır.

Nötr olarak kullanılan frekans 22 kHz 'dir (22000 Hz). Bu frekans, insan kulağı tarafından duyulabilecek nominal maksimum frekansın üzerinde olması nedeniyle seçilmiştir, bu da ses üzerinde fark edilebilir bir etki yaratmaz.

• Hiyerarşi panelinde SpatialMapping'i seçin.
• Denetçi panelinde Bileşen Ekle'ye tıklayın ve Ses Kapatıcısı'nı ekleyin.
• Ses Kapatıcı'daKesme Sıklığı'yı750 olarak ayarlayın.

Kullanıcı ile AudioEmitter arasındaki yolda birden çok alıcı olduğunda, filtreye en düşük sıklık uygulanır.

• Birim Geçişini0,75 olarak ayarlayın.

Kullanıcı ile AudioEmitter arasındaki yolda birden çok okluder olduğunda, birim geçişi ek olarak uygulanır.

• Hiyerarşi panelinde Yöneticiler'i seçin.
• Denetçi panelinde Konuşma Giriş İşleyicisi'ni genişletin.
• Konuşma Girişi İşleyicisi'ndeGo Charge'ı genişletin.
• İşlev Yok ayarınıPolyActions.GoCharge olarak değiştirin.

• Buraya Gel'i genişletin.
• İşlev Yok seçeneğiniPolyActions.ComeBack olarak değiştirin.

Yapılandırma ve Dağıtma

• Daha önce olduğu gibi projeyi Unity'de derleyin ve Visual Studio'da dağıtın.

Uygulama dağıtıldıktan sonra:

• P0LY'nin Enerji Merkezi'ne girmesini sağlamak için "Go Charge" deyin.

Sesteki değişikliği not edin. Sesi boğuk ve biraz daha sessiz olmalı. Kendinizi Enerji Merkezi ile aranızda bir duvar veya başka bir nesneyle konumlandırabiliyorsanız, gerçek dünya tarafından tıkanması nedeniyle sesin daha fazla tıkanması fark etmelisiniz.

• P0LY'nin Enerji Merkezi'ni terk edip kendisini önünüzde konumlandırması için "Buraya Gel" deyin.

P0LY Enerji Hub'ına çıktıktan sonra ses tıkanıklıklarının kaldırıldığını unutmayın. Hala tıkanıklık duyuyorsanız, P0LY gerçek dünya tarafından kapatılmış olabilir. P0LY için net bir görüş hattına sahip olduğunuzdan emin olmak için hareket etmeyi deneyin.

Bölüm 3 - Oda Modelleri

Önemli Kavramlar

• Alanın boyutu, ses yerelleştirmesine katkıda bulunan subliminal kuyruklar sağlar.
• Oda modelleri AudioSource başına ayarlanır.
• Unity için MixedRealityToolkit, oda modelini ayarlamaya yönelik kod sağlar.
• Karma Gerçeklik deneyimler için gerçek dünyaya en uygun oda modelini seçin.

Sanal Gerçeklik senaryosu oluşturuyorsanız sanal ortama en uygun oda modelini seçin.

Bölüm 4 - Ses Tasarımı

Hedefler

• Etkili ses tasarımı için dikkat edilmesi gereken noktaları anlayın.
• Karma teknikleri ve yönergeleri öğrenin.

Bölüm 1 - Ses ve Deneyim Tasarımı

Bu bölümde önemli ses ve deneyim tasarımı konuları ve yönergeleri ele alınmaktadır.

Tüm sesleri normalleştirme

Bu, ses başına ses düzeylerini ayarlamak için özel durum kodu gereksinimini ortadan kaldırarak zaman alabilir ve ses dosyalarını kolayca güncelleştirme özelliğini sınırlar.

Bağlı olmayan bir deneyim için tasarlama

HoloLens tam olarak kapsanan, bağlı olmayan bir holografik bilgisayardır. Kullanıcılarınız hareket halindeyken deneyimlerinizi kullanabilir ve kullanabilir. Etrafta dolaşarak ses karışımınızı test etmeye özen gösterin.

Hologramlarınızdaki mantıksal konumlardan ses yayma

Gerçek dünyada, bir köpek kuyruğundan havlamaz ve bir insanın sesi ayaklarından gelmez. Seslerinizin hologramlarınızın beklenmedik kısımlarından yayılmasını önle.

Küçük hologramlar için, geometrinin merkezinden ses yaymak makuldür.

Tanıdık sesler en yerelleştirilebilir

İnsan sesi ve müziğini yerelleştirmek çok kolaydır. Birisi adınızı çağırırsa, sesin geldiği yönü ve ne kadar uzak olduğunu çok doğru bir şekilde belirleyebilirsiniz. Kısa, tanıdık olmayan seslerin yerelleştirilmesi zordur.

Kullanıcı beklentilerinden daha uyumlu olun

Yaşam deneyimi, bir sesin konumunu belirleme yeteneğimizde rol oynar. İnsan sesinin yerelleştirilmesinin özellikle kolay olmasının bir nedeni de budur. Seslerinizi yerleştirirken kullanıcınızın öğrendiği beklentilerin farkında olmak önemlidir.

Örneğin, kuşlar görüş çizgisinin (uçan veya ağaçta) üzerinde olma eğiliminde olduğundan, bir kişi bir kuş şarkısı duyduğunda genellikle arar. Bir kullanıcının sesin doğru yönünü döndürmesi nadir değildir, ancak yanlış dikey yöne bakar ve hologramı bulamadıklarında kafası karışır veya hayal kırıklığına uğrar.

Gizli yayıcılardan kaçının

Gerçek dünyada, bir ses duyarsak, genellikle sesi yayan nesneyi tanımlayabiliriz. Bu, deneyimlerinizde de geçerli olmalıdır. Kullanıcıların bir sesi duyması, sesin nereden geldiğini bilmesi ve nesneyi göreememesi çok rahatsız edici olabilir.

Bu kılavuzda bazı özel durumlar vardır. Örneğin, bir alandaki kriket gibi ortam seslerinin görünür olması gerekmez. Yaşam deneyimi, görmemize gerek kalmadan bu seslerin kaynağı hakkında bilgi sahibi olmamızı sağlar.

Bölüm 2 - Ses Karıştırma

HoloLens'te karışımınızı %70 hacim için hedefle

Karma Gerçeklik deneyimler hologramların gerçek dünyada görülmesini sağlar. Ayrıca gerçek dünya seslerinin duyulmasına da izin vermelidirler. %70'lik bir birim hedefi, kullanıcının deneyimlerinizin sesinin yanı sıra etrafındaki dünyayı da duymasını sağlar.

%100 hacimli HoloLens dış sesleri boğmalıdır

%100 hacim düzeyi, Sanal Gerçeklik deneyimine benzdir. Görsel olarak, kullanıcı farklı bir dünyaya taşınır. Aynı şey gerçek sesli olarak tutulmalıdır.

Ses kategorilerini ayarlamak için Unity AudioMixer'ı kullanma

Karışımınızı tasarlarken, ses kategorileri oluşturmak ve birim olarak ses düzeyini artırma veya azaltma özelliğine sahip olmak genellikle yararlıdır. Bu, her sesin göreli düzeylerini korurken, genel karışımda hızlı ve kolay değişikliklere olanak tanır. Yaygın kategoriler şunlardır: ses efektleri, ambiyans, seslendirme ve arka plan müziği.

Sesleri kullanıcının bakışını temel alarak karıştırma

Çoğu zaman, bir kullanıcının nereye baktığına (veya bakmadığını) temel alarak deneyiminizdeki ses karışımını değiştirmek yararlı olabilir. Bu tekniğin yaygın kullanımlarından biri, holografik çerçevenin dışındaki hologramların ses düzeyini azaltarak kullanıcının önündeki bilgilere odaklanmasını kolaylaştırmaktır. Bir diğer kullanım da kullanıcının dikkatini önemli bir olaya çekmek için sesin ses düzeyini artırmaktır.

Karışımınızı oluşturma

Karışımınızı oluştururken, deneyiminizin arka plan sesiyle başlamanız ve öneme göre katmanlar eklemeniz önerilir. Bu durum genellikle her katmanın öncekinden daha yüksek olmasına neden olur.

Karışımınızı ters huni olarak, en az önemli (ve genellikle en sessiz sesler) altta olacak şekilde hayal ederek, karışımınızı aşağıdaki diyagrama benzer şekilde yapılandırmanız önerilir.

Seslendirme ilginç bir senaryodur. Oluşturduğunuz deneyime bağlı olarak bir stereo (yerelleştirilmemiş) sese sahip olmak veya sesinizi uzamsal hale getirmek isteyebilirsiniz. Microsoft tarafından yayımlanan iki deneyim, her senaryonun mükemmel örneklerini gösterir.

HoloTour üzerinden stereo ses kullanır. Ekran okuyucusu görüntülenmekte olan konumu açıkladığında, ses tutarlıdır ve kullanıcının konumuna bağlı olarak değişmez. Bu, ekran okuyucusunun ortamın uzamsal seslerinden uzaklaşmadan sahneyi açıklamasını sağlar.

Parçalar , dedektif şeklinde uzamsallaştırılmış bir ses kullanır. Dedektifin sesi, kullanıcının dikkatini odada gerçek bir insanymış gibi önemli bir ipucuna taşımaya yardımcı olmak için kullanılır. Bu, gizemi çözme deneyimine daha da fazla daldırma hissi sağlar.

Bölüm 3 -Performans

CPU kullanımı

Uzamsal Ses kullanıldığında 10 - 12 yayıcı CPU'nun yaklaşık %12'sini tüketir.

Uzun ses dosyalarını akışla aktarma

Ses verileri özellikle yaygın örnek hızlarında (44,1 ve 48 kHz) büyük olabilir. Genel bir kural, uygulama belleği kullanımını azaltmak için 5 - 10 saniyeden uzun ses dosyalarının akışla aktarılmasıdır.

Unity'de, dosyanın içeri aktarma ayarlarında ses dosyasını akış için işaretleyebilirsiniz.

Bölüm 5 - Özel Efektler

Hedefler

• "Sihirli Pencereler"e derinlik ekleyin.
• Kullanıcıyı sanal dünyaya getirin.

Sihirli Pencereler

Önemli Kavramlar

• Gizli bir dünyaya görünümler oluşturmak görsel olarak ilgi çekicidir.
• Hologram veya kullanıcı gizli dünyaya yaklaştığında ses efektleri ekleyerek gerçekçiliği geliştirin.

Yönergeler

• Hiyerarşi panelinde HologramCollection'ı genişletin ve Yeraltı Dünyası'nı seçin.
• Underworld'i genişletin ve VoiceSource'ı seçin.
• Denetçi panelinde Bileşen Ekle'ye tıklayın ve Kullanıcı Sesi Efekti'ni ekleyin.

VoiceSource'a bir AudioSource bileşeni eklenir.

• AudioSource'taÇıkış'ıUserVoice (Mixer) olarak ayarlayın.
• Uzamsallaştır onay kutusunu işaretleyin.
• Spatial Blend kaydırıcısını 3B'ye kadar sürükleyin veya düzenleme kutusuna 1 girin.
• 3B Ses Ayarları'nı genişletin.
• Doppler Düzeyini0 olarak ayarlayın.
• Kullanıcı Sesi Efekti'ndeÜst Nesne'yi sahneden Yeraltı Dünyası olarak ayarlayın.
• Maksimum Uzaklık değerini 1 olarak ayarlayın.

Maksimum Uzaklık ayarı, Kullanıcı Sesi Efekti'ne, efekt etkinleştirilmeden önce kullanıcının üst nesneye ne kadar yakın olması gerektiğini bildirir.

• Kullanıcı Sesi Efekti'ndeKoro Parametreleri'ne tıklayın.
• Derinlik değerini 0,1 olarak ayarlayın.
• 1 Ses Düzeyine Dokunun, 2 Ses Düzeyi'ne dokunun ve 3 Ses Düzeyi'ne dokunun seçeneğini 0,8 olarak ayarlayın.
• Özgün Ses Düzeyini0,5 olarak ayarlayın.

Önceki ayarlar, kullanıcının sesine zenginlik eklemek için kullanılan Unity AudioChorusFilter parametrelerini yapılandırıyor.

• Kullanıcı Sesi Efekti'ndeYankı Parametreleri'ne tıklayın.
• Gecikmeyi300 olarak ayarlayın
• Çürüme Oranını0,2 olarak ayarlayın.
• Özgün Ses Düzeyini0 olarak ayarlayın.

Önceki ayarlar, kullanıcının sesinin yankıya neden olması için kullanılan Unity AudioEchoFilter parametrelerini yapılandırıyor.

User Voice Effect betiği şu işlemden sorumludur:

• Betiğin eklendiği kullanıcı ile GameObject arasındaki mesafeyi ölçme.
• Kullanıcının GameObject ile karşılaşıp karşılaşmayacağını belirleme.

Etkinin etkinleştirilmesi için uzaklık fark etmeksizin kullanıcının GameObject ile karşı karşıya olması gerekir.

• AudioSource'a AudioChorusFilter ve AudioEchoFilter uygulama ve yapılandırma.
• Filtreleri devre dışı bırakarak efekti devre dışı bırakma.

User Voice Effect, yüksek kaliteli ses akışını seçmek ve Unity'nin ses sistemine yönlendirmek için MixedRealityToolkit for Unity'den Mikrofon Akışı Seçici bileşenini kullanır.

• Hiyerarşi panelinde Yöneticiler'i seçin.
• Denetçi panelinde Konuşma Giriş İşleyicisi'ni genişletin.
• Konuşma Girişi İşleyicisi'ndeYeraltı Dünyalarını Göster'i genişletin.
• No İşleviniUnderworldBase.OnEnable olarak değiştirin.

• Yeraltı Dünyalarını Gizle'yi genişletin.
• İşlev Yok seçeneğiniUnderworldBase.OnDisable olarak değiştirin.

Yapılandırma ve Dağıtma

• Daha önce olduğu gibi projeyi Unity'de derleyin ve Visual Studio'da dağıtın.

Uygulama dağıtıldıktan sonra:

• Bir yüzeye (duvar, zemin, masa) yüzleyin ve "Yeraltı Dünyası'nı Göster" deyin.

Yeraltı dünyası gösterilir ve diğer tüm hologramlar gizlenir. Yeraltı dünyasını görmüyorsanız, gerçek bir yüzeyle karşı karşıya olduğunuzdan emin olun.

• Yeraltı hologramının 1 metre içinde yaklaşın ve konuşmaya başlayın.

Artık sesinize ses efektleri uygulandı!

• Yeraltı dünyasından uzaklaşın ve efektin artık nasıl uygulanmadığını fark edin.
• Yeraltı dünyasını gizlemek için "Yeraltı Dünyasını Gizle" deyin.

Yeraltı dünyası gizlenir ve daha önce gizli olan hologramlar yeniden görünür.

Son

Tebrikler! Mr Spatial 220: Spatial sound'i tamamladınız.

Dünyayı dinleyin ve deneyimlerinizi sesle hayata geçirin!