HoloLens medopfinder Avi Bar-Zeev deler: The Road To All-weather AR Glasses

Vejen til all-weather XR-briller

I over 30 år har jeg arbejdet med XR, metaverset og rumlig databehandling, herunder assisteret eller rådgivet om 10 forskellige XR-headsetprojekter. Jeg har været så heldig at bidrage til en række projekter tidligt, for det meste ved at bevise eller afvise krav og definere nøglebrugeroplevelser, før teams bruger 1 milliard USD på at bygge dem. Undervejs har jeg lært lektier om, hvad der virker og hvad der ikke gør. Nogle gange er det rigtige svar "endnu ikke modent."

Jeg vil ikke afsløre nogen oplysninger, som min tidligere arbejdsgiver stadig anser for ejendomsret. Jeg vil give links til offentliggjorte patenter, der kan give os lidt indsigt. Det er det egentlige formål med patenter, tro det eller ej. Selvfølgelig ville jeg undgå patenter, som jeg tror ville invitere til spekulation.

Det er vigtigt at være forsigtig med ikke at tage noget, jeg siger eller skriver, som bevis for nogen virksomheds produktplaner, eller endda nogen kritik af nogens indsats. Det var slet ikke min hensigt.

Som baggrund var den første rigtige XR-oplevelse, jeg byggede, en CAVE. På det tidspunkt lånte jeg en $250,000 computer og kæmpe projektor, og investerede yderligere $30,000 i råmaterialer. Disneys $100,000 VR-headset, som blev lavet i 90'erne, nåede aldrig det kommercielle marked. Det kræver kabler, der hænger fra loftet for at bære vægten, men hundredtusinder har prøvet det.

I januar 2010 håber jeg, at vi vil være klar til at begynde at udvikle brugsklare XR-forbrugsbriller. Det er tid til at gøre et stort sprøjt i dette langsomt bevægende felt. Plus, Google Glass og Magic Leap dukkede op omkring samme tid. Heldigvis var en af ​​de opgaver, vi fik hos Microsofts inkubationsteam, at finde nye ideer til den næste generation af XBox.

"Vær aggressiv, selv få os til at sige 'det her er vanvittigt'," sagde en Xbox-chef dengang.

Jeg har bestemt "radikale" ideer. Vores lille team begyndte snart at arbejde på et nyt produktkoncept "Screen Zero": at erstatte alle skærme med én skærm. Jeg var ansvarlig for teknisk udforskning og var med til at definere oplevelsen i det første formative år. Mine grunde til at forlade er ikke pladsen værd i denne artikel. Men efter mere end tusind mennesker lancerede HoloLens i 2016.

Dette er banebrydende udstyr. Men det er stadig ikke en wearable til al slags vejr. Ingen af ​​dagens Magic Leap 2, Snap Spectacles, Varjo eller Quest.

Så hvad skal der præcist til for at opnå AR-briller, der kan bruges hele dagen?

1. Maksimalisme og Minimalisme

Den maksimalistiske tilgang, som den HoloLens til sidst tog, refererer til konsolideringen af ​​adskillige sensorer, algoritmer og strøm til et avanceret system. Når vi har fået ingeniør- og brugeroplevelsen på plads, kan vi teoretisk indsnævre den. Men det tager mere tid, og det kan tage op til et årti for visse elektronikprodukter at optimere strømmen alene.

Cambria og lignende enheder er tilsvarende maksimalistiske, så meget, at de simulerer AR med en kæmpe uigennemsigtig VR-skærm og flere kameraer, med præcis pixel-for-pixel kontrol over blandingen af ​​virkelighed og simulering. Maksimalisme er bedst til avancerede applikationer og kerne-F&U. Nogle hævder, at selvom applikationerne er mere industrielle, er de de eneste værktøjer, der virker i øjeblikket.

Men selv de dyreste enheder på markedet i dag kan ikke bæres hele dagen og kan ikke bruges til almindelige sociale interaktioner eller endda til at gå sikkert på gaden. Maksimalistiske funktioner såsom holografiske eller lysfeltsvisninger er endnu ikke modne.

På den anden side inkluderer enheder med en minimalistisk tilgang Amazon Echo Frames, Snap Spectacles og Ray-Ban Stories, for at nævne nogle få. De pakker kun teknologi, der passer inden for de nuværende begrænsninger i formfaktoren til bærbare briller, og de forlader ofte skærme helt.

Alligevel, kan briller uden skærm tælle som XR?

Hvis det forbedrer ens situationelle perspektiv, vil jeg sige ja. En podcast eller musikmix er ikke XR, fordi den stadig ikke fornemmer dig eller dit nuværende miljø. GPS-navigationsapps er lidt af et match, men ikke nok. Tilføjelse af rumlig lyd og kameraer til AI og præcis positionering tæller bestemt som XR, selv uden en skærm.

Minimalistiske tilgange kan sælge flere produkter på kort sigt, og de fokuserer normalt på et specifikt aspekt og gør det til en klassens bedste løsning. Hvis du kan gøre det rigtigt, som Walkman og iPhone, kan du sælge for milliarder af dollars. Men tro ikke, at minimalisme er let, for på mange måder er det svært at gøre det godt.

2. Bedste metode

Jeg havde håbet, at XBox's Screen Zero var en hybrid mellem minimalistiske briller og en maksimalistisk konsol. AR-briller skal have samme størrelse som Oakley-briller eller mindre. Den næste vært vil gøre det meste af de tunge løft for op til fire par briller i samme rum.

3. Ergonomi, energiforbrug og varme

Hvorfor skilles? Det kommer ned til energiforbrug, eller mere præcist: varme.

Alt arbejdet på en computer ender i form af varme, og andre kan omfatte fotoner og/eller mekaniske drev, såsom lyd. Hvor meget varme? Et par lette AR-briller kan generere omkring en watt energi.

En typisk smartphone kan generere omkring 10 watt og derefter varme op. En vært eller pc kan forbruge 10-100 gange mere energi end en smartphone og derfor 100-1000 gange mere energi end briller. Tænk små LED-lygter og kæmpe tørretumblere. Det er en kæmpe forskel i energiforbruget.

For at balancere energiforbruget har vi brug for løsninger svarende til det, jeg har arbejdet på siden 2010, såsom datafusion, split rendering, optimeret rendering streams. For lavere båndbredder fungerer eye-tracking-baseret tidsforvrængningsgengivelse godt og dækker kommunikationsforsinkelser.

CPU, kamera, skærm og RAM bruger meget energi og genererer meget varme. Så hemmeligheden er at bruge dem sparsomt i de fleste tilfælde. Tænk brugerdefineret hardware med lavt strømforbrug: nye kontekstuelle sensorer, skærme med ultralavt strømforbrug og algoritmer, der smart "vågner op".

Dette vil tage tid at løse. For eksempel, hvis din optiske mus og værtscontroller ikke er i standby, vil deres batterier tømmes, så de starter med en tethered løsning. I dag kan en optisk mus holde flere måneder på et lille batteri.

4. Udenfor stuen

For at understøtte en bred vifte af anvendelsestilfælde skal optisk transparente AR-systemer ideelt set blokere lys fra lyse omgivelser (selv vindues- eller stuebelysning), bedre personalisere og blande rumlig lyd med virkeligheden, justere optisk fokus, fange og gengive andres virtuelle hologrammer og mere.

Selvom enheden er opdelt i hovedenheden og headsettet, er der stadig for mange "ting" i vores hoved. En kæmpe ergonomisk udfordring er at slippe af med de gigantiske stropper, som de fleste XR-enheder stadig bruger, og som får headset til at ligne ansigtsnære bugs.

Enhver form for stropper, der kræver spænding, vil begrænse mangfoldigheden af ​​brugerbasen (i betragtning af hovedstørrelsesvariationer og modtagelighed for at rode hår), og det vil reducere sandsynligheden for at bære briller. Det betyder, at all-weather udstyr skal være super let og generelt passe lige så godt som almindelige briller.

At komme til størrelsen på Oakley-briller eller mindre betyder ofte, at man flytter mere af systemet til en klips eller fjernbetjening. Magic Leap tilbyder sådan et klip. Jeg har bemærket, at XR-enheder bruger en opsætning af nakkebånd, hvilket betyder, at computerkomponenterne hænger rundt om forbrugerens hals. Med dette opdelte design, jo mere separat arbejde der udføres, jo lettere kan øje/hoved-samlingen være.

I 2010 var jeg personligt mere interesseret i biceps, fordi det var et ankerpunkt og en kort linje, hvis det var nødvendigt. Dette holder tungere og varmere komponenter væk fra hovedet og nakken og har en masse overfladeareal til at sprede varmen. Biosensorer placeret på armen kan også registrere bevægelser, svarende til hvordan Meta bruger Control plus Labs-enheden til at læse bevægelser fra håndleddet. På denne måde kan produktdesignere stadig sige "ingen kabler".

5. Fokus

Fordi et stort antal voksne har brug for at korrigere nær- og fjernsyn, skal en formfaktor, der kan bæres hele dagen, ofte forstørre og fokusere den virkelige verden for os. Dette betyder som minimum, at linserne skal understøtte tilpasset synsparameteroptik. Et bølgelederfirma, som Snap købte, annoncerede tidligere planer om at integrere den relaterede optik i funktionelle synslinser, men det har været svært.

Men er én synsparameter nok? Mange voksne har kun brug for briller til at læse eller køre bil (langsynethed), hvilket betyder, at de har brug for briller for at kunne skifte til forskellige tilstande. Så har vi brug for to eller tre par dyre briller? Eller bifokale, trifokale, der bøjer lyset i overensstemmelse hermed afhængigt af, hvor du kigger? (Praktisk, men ikke ideelt)

En løsning, jeg skubber på, er dynamisk optisk justering, der tillader det samme par briller at understøtte læsning eller kørsel og endda forstørre småt og fjerne skilte. Dette giver også flere venner mulighed for nemt at prøve det. Forestil dig, hvis din XBox kun understøtter singleplayer-spil, og du har to eller tre venner i rummet? Sikke en nederdel.

De nuværende bedste dynamiske fokuseringsmetoder inkluderer Alvarez (mekanisk glide) og væskefyldte justerbare linser. Mekaniske løsninger har en tendens til at reducere pålideligheden. Der går en del F&U til at stable specielle LCD'er og ændre fokus elektronisk. Mega opkøbte et firma til at løfte opgaven.

Så er der problemet med at fokusere det virtuelle billede baseret på den aktuelle synslinje. Avegant og Magic Leap viste os, hvordan man hurtigt skifter mellem to brændvidder og simulerer en simpel lysfeltsvisning, som er vigtig for at navigere "virtuelle objekter" med den rette brændvidde inden for vingefanget. Jeg har undersøgt flere måder at kontinuerligt scanne brændvidden før, men kommercielle skærme er ikke hurtige nok i praksis.

At spore dine øjne kan hjælpe med behandlingen, reducere beregningsbelastningen og give mere naturligt brugerinput. Jeg er meget fortrolig med eye-tracking-problemet og advarer beslutningstagere om risiciene tidligt.

Endelig, på forretningssiden, tjener Luxottica mange penge ved at sælge billige briller til høje priser. Det dominerer markedet i dag, og de fleste brillemærker kender du. XR-brillefirmaer skal arbejde med dem eller imod dem, og ingen af ​​dem er nemme valg. Meta valgte at arbejde sammen med dem om at udvikle Ray-Ban-brillerne. Virksomhedens konkurrenter omfatter Warby Parke og andre små aktører. Du kan ikke sælge gode nye produkter uden gode distributionskanaler og samarbejdspartnere.

6. Kontrast

Magic Leap 2 tilbyder en måde at selektivt sløre den naturlige verden. Jeg har arbejdet på dette problem siden 2010, men der er stadig ingen perfekt løsning. En række optiske ingeniører anså det ikke for nødvendigt. Årsagerne er som følger:

Det er almindeligt forstået, hvorfor transparente "additive" displays ikke kan gøre "sort". RGB{{0}},0,0 for sort, som faktisk ikke tilføjer noget og ikke er synlig i det eksisterende lys. Vi kan dog nemt narre dig til at opfatte sorte og skygger ved at nærme os lysere områder.

Det virkelig vanskelige problem opstår, når du tager dine XR-briller udendørs og ser på en væg oplyst af skarpt sollys, sandsynligvis i nærheden af ​​et mørkt eller skyggefuldt område. Visse områder kan være 1000 til 10000 gange lysere end andre. Kontrasten er så udtalt indendørs, at AR-visuelt ser direkte skræmmende ud. Optiske ingeniører hævder ofte, at for at overvinde dette, skal du udsende mere lys. Deres optik er typisk kun 1 procent -10 procent effektiv, hvilket betyder, at det meste af lyset ikke engang kommer ind i dine øjne og blot tilføjer mere varme. Husk på, at du ikke bare kan designe et system omkring optik, fordi varme er en af ​​de største begrænsende faktorer.

Virkeligheden er, at ethvert par gennemsigtige AR- eller video-gennemsigtige briller skal tage højde for den virkelige scene, når de foretager visuelle forbedringer. I tilfælde af gennemsigtighed skal glas ofte trækkes fra den rigtige belysning for at opnå den ønskede endelige farve. I tilfælde af videoperspektiv kan displayet erstatte hele pixlen, men enhver gennemsigtighed i den virtuelle 3D-scene skal stadig blandes med baggrundsfarven aflæst fra kameraet. Så det, du dybest set ser på, er et højenergikamera og kredsløb, der enten er gennemsigtige eller uigennemsigtige. Dette er en enorm designbegrænsning, da den tilføjer energi og vægt, mens den blokerer øjnene.

På overfladen er selektiv skygge med klare briller billigere end at tilføje strøm til skærmen eller tilføje et kamera. I 2010 placerede jeg en simpel monokrom LCD foran bølgelederen. Det fungerer som forventet og gengiver solide 3D-objekter med bløde sorte konturer. Men det har ulemper, herunder behovet for dynamisk kalibrering, LCD-skærmen forvrænger virkeligt lys (hovedsageligt brydningen af ​​kontrolledningerne). Den har dårligt dynamikområde alene. Udendørs har du nogle gange brug for næsten 100 procent opacitet. Indendørs, især i sociale situationer og teletilstedeværelse, vil man gerne være mere gennemsigtig for at se folk direkte i øjnene.

Den største indvending mod denne tilgang er, at LCD'er eller andre rumlige lysmodulatorer ofte er ude af fokus, en tomme fra øjet. Men forvrængningen er sådan, at med de rigtige plus og minus gennemsigtige AR-skærme og nogle hurtige, laveffektsensorer, kan dine solbriller blokere for sollys, blænding eller forlygter uden at dæmpe dit syn andre steder. Du kan subtilt formørke verden og få anbefalede bøger til at se funklende ud. Med mere avanceret subtraktion (filtrering) kan brillerne endda omfarve verden, forbedre nattesynet og endda give biometrisk feedback, når du føler dig rastløs eller distraheret.

Jeg lavede forskellige demo-ting og brugte lang tid på at lede efter en bedre måde. Men de har alle visse ulemper. Implementeringen af ​​Magic Leap 2 giver mig dog håb om, at kerneproblemerne bliver løst.

7. Netværk

Radioer kræver også energi, så der er altid en afvejning i et opdelt system. Den mest lovende fremtid ligger i brugen af ​​avancerede radiofrekvenser for at opnå lavere effekt og højere båndbredde end i dag. Men den største udfordring er, at denne frekvens ikke kan passere gennem hud eller vægge (på godt og ondt). Så løsningen skal være meget smart, da radiobølger hopper og stråler rundt i rum og mennesker, så der skal muligvis bruges flere sendere, end der er i dag. Dette tilføjer naturligvis omkostninger og kompleksitet.

For wearables til hele dagen kræver det også, at netværket er tilgængeligt, før du sælger produkter, der er afhængige af det. Denne begrænsning er den største grund til, at virksomheder aldrig frigiver den opdelte gengivelsesløsning, jeg går ind for. 5G er tættere på det, vi har brug for, men i det mindste i USA løser dette for det meste problemet med lavere latenstid og flere mennesker, der bruger netværket på samme tid. Vi har brug for mere end 5G, men det er en god start.

For at slippe af med den originale "vært" (eller lignende) i rummet, og samtidig bevare en lille og let formfaktor, har vi brug for en måde at "kante" databehandling på, kombineret på en måde, der ikke invaderer vores privatliv. At sende deres biometriske sensordata til enhver kant eller cloud-løsning er meget bekymrende for alle, fordi det let kan misbruges.

8. Kamera

Det er svært at sætte kameraet til brillerne. Google Glass har begået mange fejl i social accept og er blevet udsat for omfattende angreb. Men Snap ser ud til at have få problemer i den forbindelse. Samtidig har Facebook arbejdet på at indfange detaljerne i alles liv, formentlig for at kunne levere mere personlige annoncer, uanset om vi kan lide det eller ej.

Visse kameraer er energikrævende, såsom digitalisering af 3D-scener og digital okklusion af mennesker eller genstande. For at placere 3D-grafik korrekt skal du løbende spore hovedet i rummet, og kameraer er stadig den førende løsning. Ved at udnytte IMU-sensorer øger vi energiforbruget.

At tage billeder eller videoer er et ret populært tilfælde, især hvis det er mere naturligt og praktisk end andre enheder. Men på grund af størrelse og strømbegrænsninger vil kvaliteten af ​​billederne være lavere end på en typisk smartphone. At give et lille hvidt lys i rammen er ikke nok til at løse det komplekse problem med social godkendelse.

Sceneforståelse er nemmere at forestille sig som et væsentligt træk ved kamerabriller, til dels fordi det ikke behøver at tage billeder af andre mennesker, men endnu vigtigere åbner det op for den vigtigste nye use case for at bære briller hele dagen: situationsforståelse.

9. Erfaring

I 2010 er den R&D, jeg mest håber at udvikle, AR-briller, der understøtter kraftfulde eye-tracking og body-tracking-funktioner og udforsker en mere naturlig rumlig computerbrugergrænseflade ud over det traditionelle "rektangel i et rektangel" af pc'er og mus. Selvom hardwaren bestemt har sine begrænsninger, kræver udbredt anvendelse af XR, at nogen tager fat på det erfaringsmæssige spørgsmål om "hvordan" man skal interagere i fremtiden? "3D box in a box" er tydeligvis ikke. Så vi har stadig meget arbejde at gøre.

Mens Meta fokuserer deres VR-indsats på at bestå den såkaldte "Visual Turing Test", skal XR-briller, der kan bæres hele dagen, være mere nyttige end andre. Mange forestiller sig AR-lag eller -kanaler, der gennemsyrer vores virkelighed, markerer alt, hvad vi ser, tilføjer information, fortæller rumlige historier i 3D og gentegner verden. Selvom dette sandsynligvis vil være on-demand, er det ikke den daglige oplevelse, jeg ville forvente.

Det meste af tiden ønsker folk at forbedre det, de ofte gør: kommunikere, navigere, opdage verden omkring os, forstå og endda ændre et sted, shoppe, opleve indhold og tjene penge på arbejde. For at få succes skal XR-briller klare sig bedre, end vi gør med smartphones eller andre enheder.

Her er hvad en smartphone ikke kan. Forestil dig et par normalt udseende briller, der dynamisk justerer fokus og selektivt blokerer lyset. De kan tale med dig proaktivt og privat, uden at du behøver at skrive tekst eller spørge verbalt. Alene det ville være et milliardprodukt. Sådanne briller kan hjælpe dig med at huske ting eller give troværdige anbefalinger som en del af din daglige oplevelse (i forhold til push-annoncer).

Den vigtigste forskning, jeg har lavet på dette område, er asynkron kommunikation ved hjælp af ikke-visuelle XR-briller. Smartphones stemme- og tekstegenskaber er gode nok i dag, men ved de, hvornår du har svært ved at fokusere? Kan de hjælpe dig med at skifte kontekst på det rigtige tidspunkt for at holde arbejde eller leg flydende? Her er hvordan Hvor brillerne kan skinne (forudsat at vi kan stole på producenten).

Alt, hvad jeg har beskrevet, er meget svært, og den relevante teknologi er næsten ikke-eksisterende. Det er endnu ikke på et minimalistisk spor, men det er fordi vi ikke har prioriteret det frem for miniaturisering af optik og maksimering af synsfeltet. Men hvis man stiller spørgsmålet: Hvilken slags XR-briller kan lykkes, hvor andre ikke har det? Jeg tror stadig, at alt, hvad jeg har nævnt ovenfor, vil hjælpe dig med at bygge et godt produkt.