Case study - Ricerca di più personal computing

Le opportunità di domani diventano possibili creando prodotti oggi. Le soluzioni fornite da questi prodotti rivelano ciò che è necessario per anticipare il futuro. Con la realtà mista questo è particolarmente vero: le informazioni dettagliate significative provengono dal recupero pratico con il lavoro reale, ovvero dispositivi reali, clienti reali, problemi reali.

Microsoft fa parte del team di progettazione che aiuta i partner aziendali a creare esperienze per la propria azienda usando Windows Mixed Reality. Nel corso dell'anno scorso, il nostro team si è concentrato su HoloLens e ha compreso come il dispositivo olografico principale di Microsoft possa offrire valore ai clienti oggi. Lavorando a stretto contatto con designer e sviluppatori di queste aziende, il nostro team si concentra sulla scoperta di soluzioni che sarebbero tecnicamente infeasbili, finanziariamente impraticabili o altrimenti impossibili senza HoloLens.

HoloAnatomy della Case Western Reserve University

La creazione di queste soluzioni consente ai team interni di Microsoft di prepararsi per la prossima generazione di elaborazione. Scoprire in che modo utenti e aziende interagiscono con tecnologie di base come realtà mista, voce e intelligenza artificiale, aiuta Microsoft a creare dispositivi, piattaforme e strumenti migliori per gli sviluppatori. Se si è un progettista o uno sviluppatore che esplora questo spazio, capire cosa stanno imparando i team dai partner oggi è fondamentale per prepararsi alle opportunità di realtà mista di domani.

L'ambizione di Microsoft per la realtà mista

Viviamo la nostra vita tra due mondi: il fisico e il digitale. Entrambi hanno punti di forza fondamentali che usiamo per aumentare ed estendere le nostre abilità. Possiamo parlare in persona con un amico, usando i nostri sensi fisici per comprendere cose come il linguaggio del corpo, o possiamo aumentare la nostra capacità di parlare con un video chat con un amico di chilometri di distanza. Fino ad ora questi due mondi, e i rispettivi punti di forza, sono stati fondamentalmente separati.

Il mondo fisico è uno degli atomi e della fisica. Usiamo i nostri sensi per prendere decisioni, sfruttando anni di comportamento appreso per interagire con oggetti e persone negli ambienti. Nonostante la facilità di queste interazioni, siamo limitati dalle nostre capacità fisiche e dalle leggi della natura.

Il mondo digitale è uno dei bit e della logica. I calcoli vengono eseguiti immediatamente, mentre le informazioni possono essere distribuite senza sforzo. Nonostante la velocità e il flusso di informazioni, le interazioni sono troppo spesso limitate a schermi di piccole dimensioni, input astratti e feed rumorosi.

HoloStudio

E se potessimo combinare i vantaggi dei mondi fisici e digitali? Questa è la pietra angolare delle esperienze nello spettro della realtà mista: un mezzo in cui la coesistenza fisica e digitale interagisce senza problemi. La combinazione di questi mondi crea una nuova base per interagire più naturalmente con la tecnologia, un'evoluzione nel personal computing.

Lo spettro della realtà mista è esploso mentre gli sviluppatori hanno iniziato a esplorare le opportunità di immersione e presenza. Portare gli utenti nel mondo digitale con esperienze immersive (realtà virtuale) e creare oggetti digitali nel mondo fisico con esperienze olografiche (realtà aumentata). Ma quali sono i vantaggi del mapping del mondo fisico al mondo digitale? Cosa succede quando si danno gli occhi ai computer per vedere?

La tecnologia fondamentale di visione fotografica dietro gli ologrammi agisce come un paio di occhi per il computer per vedere l'ambiente intorno a te: oggetti nel mondo, persone intorno a te, cambiano man mano che accadono. Una comprensione digitale del contesto nel mondo fisico. Ciò porta a un'enorme quantità di informazioni, le implicazioni di cui stiamo iniziando a capire solo.

Culminante delle tecnologie di base

Il calcolo è troppo spesso una cosa tangibile. Afferrando i nostri dispositivi per dirgli chi siamo e cosa vogliamo. Contorndo il nostro pensiero e allineando ciò che diciamo per corrispondere a ciò che crediamo che il computer deve sentire.

La promessa della realtà mista, soprattutto nel mondo reale con esperienze olografiche, è ridurre il carico di interazione con la tecnologia. Riduzione del carico cognitivo man mano che gli utenti esplorano i livelli di astrazione intrinseci al calcolo. In che modo è possibile progettare esperienze che non solo sfruttano la comprensione contestuale, ma semplificano l'analisi e l'azione? Due tecnologie che contribuiscono stanno anche tentando di risolvere questo problema:

• La voce, in termini di parlato e conversazione, consente agli utenti di comunicare con i computer tramite mezzi più naturali, rispondendo ai bot tramite testo o eseguendo comandi all'hardware di conversazione.
• L'intelligenza artificiale sta alimentando esperienze che distillino le informazioni dettagliate da set di dati sempre più complessi. Anche se l'intelligenza artificiale è un argomento enorme, i recenti progressi hanno fornito le basi per i dispositivi che si basano su visione artificiale, assistenti digitali più naturali e raccomandazioni per gli utenti.

La realtà mista offre un supporto per combinare queste tecnologie in un'unica esperienza utente. La voce diventa un metodo potente e naturale per l'input quando indossa un visore VR olografico. L'intelligenza artificiale funge da crittografia critica per contestualizzare le enormi quantità di informazioni che connettono i mondi fisici e digitali. Ecco perché Sataya Nadella si riferisce a HoloLens come "il computer finale", è un dispositivo che culmina per tre tecnologie principali. Una piattaforma che consente agli esseri umani di interagire più facilmente con la crescente complessità dei dispositivi e dei servizi.

Meno interfaccia in faccia

Un dispositivo che culmina che collega il mondo fisico al mondo digitale ci consente di progettare esperienze che si adattano più naturalmente, senza astrazioni complesse. Prendere in considerazione le esperienze create: quando vengono rimosse le barriere di astrazione, quanta parte dell'interfaccia viene lasciata? Quali parti del flusso dell'app cambiano quando si conoscono l'utente e il relativo contesto? Quanti menu e pulsanti rimangono?

Si pensi, ad esempio, a esperienze condivise in realtà mista come lo strumento OnSight Jet Propulsion Laboratory della NASA creato per gli scienziati. Invece di creare un sistema per esaminare i dati marziani (astraendo i dati su schermi o schermi), hanno portato scienziati all'interno dei dati, inserendoli in modo efficace sulla superficie di Marte mentre collaboravano.

NASA/JPL OnSight

Invece di trovare il pulsante per attirare l'attenzione su una geologia marziana, gli scienziati possono puntare direttamente a esso. Nessun menu, nessuna penna, nessuna curva di apprendimento per usare lo strumento in modo efficace. Sfruttando le nostre capacità note dal mondo fisico, le interazioni più naturali nella realtà mista possono aggirare l'alfabetizzazione tecnica profonda anche negli strumenti di settore più avanzati.

Analogamente, la voce e l'intelligenza artificiale possono estendere l'interazione naturale in questo modo. Quando gli assistenti digitali possono "vedere" nel mondo intorno a noi, le conversazioni si sentiranno meno complesse. Un bot nello strumento della NASA potrebbe estrarre il contesto dagli scienziati che conferiscano la geologia marziana, fungendo da fonte di informazioni pronte (e conversazionali) quando gli scienziati fanno un gesto e chiedono "questo" o "che". Un computer che sa che il contesto è pronto per passare con le informazioni appropriate all'utente, tramite un metodo di interazione più appropriato per il contesto.

Basandosi su una base

In questo mondo di esperienze contestuali, la ristorazione alla mobilità dell'utente è fondamentale. Spostandosi in modo fluido tra dispositivi e servizi, con contesti altamente personalizzati, gli utenti viaggiano senza problemi sul mondo fisico, creando una sfida enorme per la piattaforma. Quando il mondo fisico diventa un end-point digitale, l'interoperabilità regna suprema.

"Riunire l'universo digitale e il mondo fisico sbloccherà il potenziale umano... consentendo a ogni persona e organizzazione sul pianeta di ottenere di più."
— Satya Nadella

Windows Mixed Reality è uno sforzo per creare una piattaforma per un ecosistema di dispositivi, consentendo agli sviluppatori di creare esperienze immersive, accessibili e compatibili per il maggior pubblico possibile. Il futuro non sarà limitato a un singolo produttore, e non solo a un singolo dispositivo. Auricolari, dispositivi mobili, PC, accessori... tutte queste cose fisiche devono interagire (oltre a elementi digitali come grafici e servizi) attraverso una piattaforma sottostante per garantire la promessa della realtà mista.

Progettazione per le esperienze di domani oggi

Ognuna delle tecnologie di base alla base di questa nuova classe di esperienze consente ai progettisti e agli sviluppatori di creare esperienze accattivanti e di successo oggi. Riducendo l'astrazione, possiamo interagire più direttamente con il mondo digitale, consentendoci di progettare in modi che aumentano e amplificano le capacità umane. La tecnologia vocale (tramite bot e assistenti digitali come Cortana) consente agli utenti di eseguire conversazioni e scenari sempre più complessi, mentre la tecnologia di intelligenza artificiale (tramite strumenti come Servizi cognitivi Microsoft) sta causando alle aziende di ripensare il modo in cui gli utenti interagiranno con tutti gli elementi, dai social media alla gestione della supply chain.

Questi tipi di interazioni si basano sia su una nuova classe di strumenti di progettazione che sul supporto fondamentale della piattaforma. La creazione di questi strumenti e la creazione di questa piattaforma per dispositivi e servizi si basa sulla comprensione di come le esperienze di domani risolveranno problemi reali e tangibili. Abbiamo identificato cinque aree di opportunità in cui i nostri partner aziendali hanno fornito soluzioni preziose e dove crediamo che l'investimento continuo ci aiuterà a prepararci per questa nuova classe di calcolo.

Aree di opportunità

L'ultimo anno di partnership tra sviluppatori ha scoperto aree di opportunità che hanno avuto un forte interesse con i clienti e hanno creato soluzioni aziendali di successo. Da scienziati e tecnici a progettisti e clienti, sono emerse cinque aree di opportunità in cui i partner Microsoft trovano valore con la realtà mista. Queste aree forniscono già informazioni approfondite sulle esigenze future di piattaforme come Windows Mixed Reality e consentono di comprendere in che modo queste nuove esperienze avranno un impatto sulle modalità di apprendimento, collaborazione, comunicazione e creazione.These areas are already providing massive insight into the future needs of platforms like Windows Mixed Reality and can help you help you understand how these new experience will impact the ways we learn, collaborate, communicate, and create.

1. Creazione e progettazione

Una delle principali opportunità della realtà mista è la possibilità di vedere e manipolare progetti 3D in tempo reale, in un ambiente reale, a dimensioni e scalabilità reali. Gli strumenti di progettazione e creazione di prototipi hanno sfuggito ai confini degli schermi, ritornando in un regno di design solitamente riservato a materiali tangibili e fisici come legno e argilla.

Autodesk ha creato un'esperienza di realtà mista finalizzata a migliorare la collaborazione nell'intero processo di sviluppo del prodotto. La capacità di ingegneri e progettisti di esaminare e criticare i modelli 3D nel proprio ambiente ha permesso loro di eseguire l'iterazione su una progettazione in tempo reale. Questo non solo ha abilitato prototipi più veloci, ma ha dato modo di prendere decisioni più sicure nel processo.

Esperienze come questa evidenziano la necessità di esperienze di collaborazione di base, la possibilità per gli utenti di visualizzare e comunicare con oggetti condivisi. L'obiettivo di Autodesk è quello di espandere il prodotto da professionisti e ingegneri di design a artisti digitali, studenti e hobbyisti. Man mano che il livello di esperienza 3D degli utenti diminuisce, la capacità di interagire con gli oggetti diventa naturalmente fondamentale.

2. Assemblaggio e produzione

Dalla crescente quantità di specializzazione nei piani di fabbrica ai rapidi progressi della gestione della catena di approvvigionamento, l'accesso facile alle informazioni rilevanti è fondamentale. La realtà mista offre la possibilità di sintetizzare set di dati estesi e fornire visualizzazioni visive che facilitano aree come la navigazione e le operazioni. Si tratta spesso di campi estremamente tecnici e di nicchia in cui l'integrazione con set di dati e servizi personalizzati è fondamentale per ridurre la complessità e offrire un'esperienza di successo.

Il produttore dell'ascensore RobertoKrupp ha creato un'esperienza per i tecnici del servizio ascensore, consentendo loro di visualizzare e identificare i problemi in preparazione di un lavoro. Con un team che si estende su oltre 24.000 tecnici, dispositivi come HoloLens consentono a questi tecnici di avere accesso remoto e senza mani alle informazioni tecniche ed esperti.

In questo caso, Lakrupp evidenzia un concetto potente che le informazioni critiche e contestualmente rilevanti possono essere distribuite rapidamente agli utenti. Mentre guardiamo avanti a una nuova classe di esperienze, distillato grandi quantità di informazioni possibili per il contenuto rilevante per l'utente sarà fondamentale.

3. Formazione e sviluppo

La rappresentazione di oggetti e informazioni in tre dimensioni offre nuovi modi per spiegare gli scenari visivamente e con la comprensione spaziale. Il training diventa un'area fondamentale dell'opportunità, sfruttando la capacità di rappresentare digitalmente oggetti enormi e complessi (come motori jet) per creare simulazioni di training per una frazione del costo di una soluzione fisica.

Japan Airlines ha sperimentato programmi di concetto per fornire formazione supplementare per la meccanica del motore e gli equipaggi di volo. I motori jet massicci (sia di dimensioni che di complessità) possono essere rappresentati in 3D, ignorando le limitazioni del mondo fisico per spostare e ruotare oggetti virtuali intorno ai tirocinanti, consentendo loro di vedere come funzionano i componenti delle compagnie aeree in tempo reale.

Il training con componenti virtuali (e la riduzione della necessità di simulatori di training fisici costosi) è un modo fondamentale per offrire valore negli scenari aziendali. Man mano che questo scenario si espande (come si è visto in aree come medicina), la visione artificiale diventa particolarmente importante per riconoscere oggetti univoci nell'ambiente, comprendere il contesto dell'utente e fornire istruzioni pertinenti.

4. Comunicazione e comprensione

Le interazioni tra due persone (sia che entrambi i partecipanti si trovino in dispositivi di realtà mista o che uno si trovi su un PC o un telefono tradizionale) possano fornire un senso di immersione all'interno di un nuovo ambiente o un senso di presenza quando comunicano virtualmente con gli altri. Negli scenari aziendali questo senso di presenza è un vantaggio per i team mobili, contribuendo ad aumentare la comprensione dei progetti e ridurre la necessità di viaggiare.

Il produttore tecnologico commerciale Trimble ha sviluppato una soluzione per i professionisti del settore dell'architettura e della costruzione per collaborare e rivedere il lavoro durante lo sviluppo della costruzione. I professionisti possono immergersi in remoto in un progetto per discutere lo stato di avanzamento o essere in posizione e rivedere i piani come avrebbero guardato (nella loro forma finale) nell'ambiente intorno a loro.

Le esperienze condivise sono un'area importante di investimento per Microsoft, con app come Skype che esplorano nuovi modi per rappresentare gli esseri umani nello spazio digitale. I team stanno esplorando registrazioni videometriche, avatar e ricreazioni dello spazio fisico di un partecipante.

5. Intrattenimento e coinvolgimento

La natura dell'immersione nella realtà mista può avere un impatto enorme sul modo in cui i clienti interagiscono con l'intrattenimento e il marketing. Artisti e studi di intrattenimento hanno esplorato la realtà mista come un mezzo interessante per la narrazione, mentre le aziende stanno esplorando le implicazioni per il brand marketing. Dalle demo di prodotto negli showroom privati ai pezzi di visione raccontati all'esposizione commerciale, i contenuti possono essere distribuiti in modi più coinvolgenti e personalizzati.

Volvo ha creato un'esperienza per mostrare i modelli di auto più recenti (immergendo gli utenti in diversi colori e configurazioni) evidenziando il funzionamento dei sensori avanzati per creare un'esperienza di guida migliore e più sicura. Portare i clienti attraverso un'esperienza guidata dello showroom consente a Volvo di raccontare la storia dietro la caratteristica dell'auto all'avanguardia, offrendo al tempo stesso una rappresentazione memorabile della loro storia del marchio.

L'intrattenimento è in molti modi che spinge i limiti della realtà mista (soprattutto la realtà virtuale) e forse più convincente in questo spazio è come interagirà con l'area precedente dell'opportunità: comunicazione e comprensione. Con più utenti, ognuno con la propria variante di dispositivi e metodi di interfaccia, è possibile immaginare un vasto futuro di personalizzazione nell'ambito dell'intrattenimento.

Inizia subito a costruire

È difficile dire quale sarà il futuro della realtà mista per i consumatori, ma concentrarsi su problemi unici, acquisire le mani con hardware reale e sperimentare oggi con l'intersezione tra realtà mista, voce e intelligenza artificiale è fondamentale. Microsoft è solo un'introduzione alla realtà mista, ma l'apprendimento dai successi realizzati dalle aziende oggi ti aiuterà a creare le esperienze di domani.

Prossima stazione di scoperta

Se si sta seguendo il percorso di scoperta definito, è possibile esplorare le nozioni di base della realtà mista. Da qui è possibile passare all'argomento di base successivo:

Coinvolgente, ergonomico, istintivo e senza cavi

In alternativa, passare a Realtà mista esperienze principali:

Fare in modo che l'utente possa operare comodamente (comfort)

Informazioni sull'autore

Mark Vitazko Designer @Microsoft dell'esperienza utente