새로운 HoloLens 2는 차세대 컴퓨팅에서 Microsoft에 우위를 제공합니다

Chelsey Potts는 제조 현장에서 Kenworth 트럭의 운전실로 처음 들어갔을 때 성공해야 할 압력이 너무 컸습니다.

“Kenworth에서 일자리를 얻었을 때 대부분의 사람들은 마지막 직장에서 배운 것을 두 배로 늘 렸습니다. 아시다시피, 그들은 긴장합니다.”라고 그녀는 말했습니다. "5 살짜리와 10 개월짜리가 있는데, '엄마는 다음날 다시 일을하지 않을 것입니다.'라고 말하는 것이 가장 큰 두려움입니다."

침대 운전실 내부를 꾸미는 그녀의 새로운 직업은 처음에는 배우기 어려웠던 복잡한 일련의 기계 및 물리적 작업을 수행해야했습니다. 복잡한 산업 환경에서 도구를 사용하는 작업자의 경우 교육 매뉴얼을 넘기거나 화면을 참조하면 작업에서 초점과 손이 멀어집니다.

이것이 종이 매뉴얼의 유일한 단점은 아닙니다. 종이 지시와 3 차원 물체 사이의 번역에 능숙한 두뇌는 거의 없습니다. 신입 사원은 질문으로 생산 속도가 느려지는 것에 대해 걱정합니다. 장거리 트럭 운전사들이 편안하게 잠을 자도록하는 침대를 다른 사람이 설치하는 것을 보더라도, 다른 작업자가 손을 어디에 두 었는지 또는 나사 구멍이 어디에 있는지 알아내는 것은 포츠가 어려웠습니다.

현재 Microsoft는 차세대 웨어러블 홀로그램 컴퓨터 인 HoloLens 2를 통합 된 새로운 혼합 현실 서비스 , 비즈니스 및 센서를위한 즉시 사용 가능한 앱, 인식 및 예측 기능을 갖춘 통합 제품군을 제공 합니다.

그것은 포츠가 잠자는 택시를 입는 법을 처음 배우는 신경 충격적인 경험을했을 때 갖고 싶어했을 것이라고 말한 장치입니다.

"교육을 받았을 때 이런 증상이 있었다면 덜 긴장했을 것"이라고 그녀는 말했다. “이것은 도구의 위치와 회전 방향 및 트럭 아래에서 볼 수없는 모든 것을 보여줍니다. 단계적으로 만 있지만 배우고 싶어합니다.”

PACCAR 직원 인 Chelsey Potts는 Kenworth 트럭 조립 라인에서 일합니다. Microsoft의 사진.

상용 트럭 설계 및 제조 분야의 글로벌 리더 인 그녀의 고용주 PACCAR 는 오늘날 Microsoft에서 출시 한 새로운 혼합 현실 앱인 Dynamics 365 Guides를 테스트 한 최초의 회사 중 하나입니다. 이를 통해 회사는 직원을위한 헤드 업, 핸즈프리 홀로그램 교육 자료를 쉽게 만들 수 있으므로 필요한 정보를 얻기 위해 책을 넘기거나 검색 엔진에 문의 할 필요가 없습니다.

또한 현재 Microsoft는 개발자에게 AI 기반 환경을 만들 수있는 새로운 가능성을 제공하는 새로운 Azure Kinect 장치를 출시합니다. Azure Kinect는 HoloLens 2와 동일한 깊이 감지 카메라 기술을 원형 마이크 ​​어레이 및 컬러 카메라와 결합하고 Microsoft Azure의 인공 지능 서비스와 함께 작동합니다. 이를 통해 개발자는 소리를 기준으로 톱이 위험하게 작동하는시기를 식별하고 팔레트를 포장 할 때 거리를 판단하거나 상점 선반에서 선택된 품목을 식별하는 등 새로운 인식 기능을 구축 할 수 있습니다.

이러한 새로운 기술은 지능적인 서비스를 통해 장치 내부에있어 가장 안전한 곳에서 계산을 수행 할 수있어 안전하지 않은 조건을 신속하게 파악할 수 있으며 클라우드에서 거의 무제한의 컴퓨팅 리소스로 복잡한 문제를 해결할 수 있습니다. 요컨대, 이것이 바로 인텔리전트 엣지이며 지능형 클라우드가 실현 된 것이라고 마이크로 소프트는 말한다.

마이크로 소프트는 또한 이러한 혼합 현실과 인식 도구는 기업들이 디지털과 물리적 세계를 연결하는 완전히 새로운 컴퓨팅 물결을 채택하는 것이보다 실용적이라고 말한다. 지능형 클라우드와 지능형 에지의 최근 발전에 의해서만 가능해졌습니다. 가전 제품부터 창고 바닥, HoloLens 2에 이르기까지 주변 환경에 대한 즉각적인 통찰력을 제공하는 다양한 센서와 장치가 점점 더 커지고 있습니다.

우리는 현재이 기술이 실제 문제를 해결하고있는 곳입니다. Microsoft의 새로운 마케팅 부사장 인 Julia White는 이렇게 새로운 컴퓨팅의 물결이 어떻게 보이고 실제 비즈니스 결과로 어떻게 변환되는지 알기 시작할 수 있다고 말합니다.

평면 스크린에서 홀로그램으로

지금까지 대부분의 사람들은 노트북, 컴퓨터 모니터, 전화, 태블릿, TV의 비디오 게임과 같은 평면 유리를 통해 컴퓨팅을 경험했습니다. Microsoft의 혼합 현실 제품은 직사각형 화면에서 디지털 정보를 가져와 사람들이 물리적 공간에서 홀로그램과 상호 작용할 수 있도록합니다. 이것들은 의대생이 모든 구조를 명확하게 볼 수 있도록 잡아서 크기를 조정하고 회전 할 수있는 인간의 마음을 입체적으로 렌더링하는 것과 같이 독립적으로 존재할 수 있습니다. 또는 필터 교체 방법을 보여주는 용광로에 중첩 된 지침과 같이 실제 환경의 물리적 물체와 관련 될 수 있습니다.

마이크로 소프트는 새로운 HoloLens 2가 실제 업무를 담당하는 일선 근로자들에게 훨씬 몰입적이고 본능적이고 편안한 경험을 제공한다고 말합니다. 제트 엔진의 문제를 진단하거나 단계별 홀로그램 지침에 액세스하여 전기 버스 배터리를 조립할 수 있습니다. 그것을 사용하는 사람은 뒤로 향하여 머리를 끄덕이거나 음성 명령으로 단계를 다시 확인할 수 있습니다. 작업자는 작업중인 실제 장비에서 각 나사가 어디로 가야하는지 또는 래칫을 돌리는 방향을 3 차원으로 볼 수 있습니다.

HoloLens 2 세대는 1 세대 HoloLens와 비교하여 특정 제스처를 배우지 않고 실제 물체처럼 홀로그램을 잡고 회전하는 기능과 같은 새로운 기능을 제공합니다. 시선 추적은 누군가의 시선이 기계의 특정 부분에 도달했을 때이를 감지하고 유용한 디지털 정보를 불러옵니다. 읽을 때 단어가 자동으로 스크롤됩니다. 최종 결과는 만화 플립 북을 보는 것에서부터 실제 영화의 실감 나는 경험으로가는 것과 같습니다.

HoloLens 2. Microsoft의 사진.

새로운 장치의 시야는 1 세대 HoloLens의 두 배 이상이며, 새로운 디스플레이 기술은 홀로그램을 더욱 생생하고 사실적으로 만듭니다.

“처음으로 홀로그램을 만지고, 홀로그램과 상호 작용하고, 놀고있는 것처럼 느끼는 느낌이들 것입니다. 마이크로 소프트의 클라우드 및 AI 그룹의 기술 동료 인 Alex Kipman은 다음과 같이 말했습니다.

HoloLens 2가 제공하는 비즈니스 기회는 인텔리전트 엣지에서 기능을 확장하여 강화됩니다. 이는 베이비 모니터 및 냉장고 센서에서 HoloLens와 같은 정교한 장치에 이르기까지 정보를 신속하고 로컬로 처리 할 수있는 폭발적인 장치들로 구성되어 있습니다.

점점 더 지각적인이 장치는 자율 주행 차에 방향을 바꿀 때, 공장 장비를 사용하여 작업자를 끄거나 보관할 때 쪼개는 의사 결정이 필요한 상황에서 고객이 미끄러질 수있는 웅덩이를 정리할 수 있습니다. 연결이 제한된 위치.

그러나 에지 장치가 더욱 지능화됨에 따라 더욱 안전해야합니다. 이전에 클라우드 및 로컬 서버에서 실행해야했던 앱은 이제 특정 산업 프로세스를 위해 매일 더 많이 개발되면서 빠르게 확장되는 장치 컬렉션에서 작동해야합니다. Azure는 이제 Azure Sphere 및 Azure IoT 와 같은 솔루션을 통해 에지에서 안전한 컴퓨팅 성능을 제공하며 개발자는 다양한 컴퓨팅 환경에서 원활하게 실행되는 제품을 설계 할 수 있습니다.

이러한 에지 장치가 지능형 클라우드에 연결되면 더 깊은 통찰력을 제공하고 진정한 협업 컴퓨팅이 가능합니다.

Kipman은“HoloLens 2는 매우 다양한 에지 장치로 오프라인에서도 작동하며 모든 클라우드에 연결할 수 있습니다. “하지만 Azure를 염두에두고 설계되었습니다. Azure에 연결하면 누구나 모든 장치 또는 플랫폼에서 액세스 할 수있는 공유 환경이됩니다. 그들이 함께 일할 때가 바로 마법이 일어납니다.”

Xbox의 기원과 연구

혼합 현실과 인식의 이러한 발전은 Microsoft의 수십 년의 연구 및 비즈니스 개발에 의해 이루어졌습니다. Xbox 용으로 개발 된 제스처 인식 장치, AI에 대한 투자, 1 세대 HoloLens로부터 얻은 교훈, 필요한 곳에서 작동하는 응용 프로그램, 보안 및 ID 관리에 대한 전문 지식, 고객과의 협업 및 엔터프라이즈 솔루션 개발의 오랜 역사.

그러나 혼합 현실이 제공 할 수있는 진정한 협업 및 몰입 형 컴퓨팅 경험을 가능하게하려면 도구는 개방 된 환경과 사람들이 이미 집이나 주머니에 가지고있는 장치에서 작동해야합니다.

Kipman은“혼합 현실의 약속은 이러한 모든 장치가 세상에 존재하는이 연결된 컨텐츠에 렌즈라는 것입니다. “홀 중앙에 홀로그램을 배치하고 싶다고합시다. 방을 나가 홀로 렌즈 나 휴대 전화 또는 태블릿을 가지고 와서 홀로그램을보아야합니까? 개인 정보 보호 및 권한이 모두 적용되면 정답입니다. "

오늘 출시 된 Azure Spatial Anchors라는 새로운 클라우드 서비스를 통해 사람들은 특정 물리적 공간에서 지속되는 홀로그램을 만들 수 있습니다. HoloLenses, 휴대 전화 또는 태블릿을 사용하여 여러 사람이 액세스 할 수 있습니다. 예를 들어, 의류 매장 관리자는 각 마네킹 옆에 의상의 홀로그램 이미지를 "나갈"수 있습니다. 다음 날 직원은 걸어 들어와 각 마네킹에서 iPhone을 가리키고 옷을 입는 방법을보고 옷을 입을 수 있습니다.

처음으로 홀로그램을 만지고, 홀로그램과 상호 작용하고, 놀고있는 것처럼 느껴지는 느낌이들 것입니다. 현실 세계에 존재합니다.

일선 근로자를위한 기술

컴퓨터에서 단어를 만들고, 물건을 디자인하고, 전자 메일에 응답하고, 사람들을 관리하거나, 비즈니스 의사 결정을 내리기 위해 많은 작업을 수행하는 정보 근로자는 마우스 터치로 거의 모든 것을 배울 수있는 폭발적인 기술의 이점을 얻었습니다. 즉시 의사 소통합니다. 이는 개인과 기업에 전례없는 생산성 향상을 가져 왔습니다.

그러나 대부분의 사람들은 그런 식으로 일하지 않습니다. 물건을 조립, 관리, 수리, 문제 해결 또는 상호 작용하기 위해 손을 사용하는 사람들은이 기술 혁명에서 너무 자주 생각했습니다. Dynamics 365 Mixed Reality at Work의 Microsoft 총괄 책임자 인 Lorraine Bardeen은 일선 직원들에게 유사한 생산성 향상에 필요한 기술을 제공 할 수있는 엄청난 기회를 제공했다고 말했다.

“많은 회사에서 일선 인력은 일상적인 작업뿐만 아니라 제품을 제작하는 방식에도 매우 중요합니다. 그리고 그들은 종종 직원의 대다수입니다.”라고 Bardeen은 말했습니다. "그러나 그들은 사무실에서 근무하거나보다 컴퓨팅 친화적 인 환경에서 일하는 사람들에게 기술이 가져 오는 힘을 거의 얻지 못했습니다."

Microsoft가 혼합 현실이 어떻게 이익을 얻을 수 있는지에 대해 회사에 문의하기 시작했을 때 업계 전체에서도 같은 요구가 발생했습니다. 그들은 장비 나 가구 또는 물리적 물체가 실제로 3 차원 공간에 어떻게 맞을 것인지를 계획하고, 손으로 자유롭게 일해야하는 신입 사원을 훈련시키는 데있어서 문제를 해결하기 위해 원격지 또는 이질적인 직장과 전문가를 연결하는 데 도움을 원했습니다.

Microsoft Word 및 Excel과 같은 프로그램이 사람들이 Windows라는 새로운 운영 체제에서 가치를 찾는 데 도움이되는 방식으로보다 많은 가치를 제공하기 위해 Microsoft는 Microsoft Dynamics 365 용 혼합 현실 응용 프로그램을 만들었습니다 . 이를 통해 기업은 소규모 개발자를 고용 할 필요없이 HoloLens 2를 거의 즉시 사용하여 작업장 요구를 충족 할 수 있습니다.

Dynamics 365 가이드는 이제 비즈니스를위한 Microsoft의 선구적인 혼합 현실 응용 프로그램으로 Dynamics 365 Remote Assist 및 Dynamics 365 Layout에 합류했습니다 . 가이드를 통해 기업은 평평한 종이와 스크린에서 몰입 형 3 차원 환경으로 교육 자료를 이동할 수 있습니다.

초기 버전의 Dynamics 365와 함께 일한 PACCAR ITD의 글로벌 기술 및 운영 책임자 인 Rob Branson은“여기 모든 직원이 성공하기를 원하며 신입 사원을 채용하여 생산성을 빠르게 높일 수있는 능력은 매우 중요합니다. 가이드.

“성인이 배우는 방식에 대해 생각하면 매우 시각적입니다. 또한 실제 물리적 물체에 겹쳐진 단계별 지침을 볼 수 있으면 직원이 새로운 작업을 배우는 방법이 실제로 가속화 될 것입니다.”라고 말했습니다.

HoloLens 2는 이러한 작업자를 염두에두고 설계되었습니다. 이전 세대의 HoloLens보다 가볍고 편안하며 무게 중심이 더 균형 잡혀있어 하루 종일 착용 할 수 있습니다. 새로운 플립 바이저를 통해 작업자는 물리적 세계와 홀로그램 세계를 쉽게 전환 할 수 있습니다.

모자처럼 쉽게 미끄러지는 장치를 착용 한 PACCAR 직원은 단계별 홀로그램 지침에 액세스하여 트럭 도어 조립과 같은 익숙하지 않은 작업을 안내합니다. Dynamics 365 가이드에서 불이 켜진 화살표는 각 지침 카드에서 와이어를 나사로 고정해야하는 정확한 구멍 또는 공장 바닥의 올바른 공구 위치까지의 경로를 만듭니다.

실제 문에 겹쳐진 홀로그램 도면은 해당 작업을 수행하는 방법과 X-ray 비전과 같은 초강력 없이는 일반적으로 볼 수없는 강철 패널 뒤에 구조물을 밝게 비추는 방법을 보여줍니다.

노동 인구가 고령화되어있는 산업에서는 직원들이 수년간의 견습을 통해 또는 수십 년간 일을 차세대 근로자들에게 쌓아 놓은 직장 지혜를 긴급히 요구할 필요가 있습니다.

예를 들어, 알래스카 항공에서 새로운 정비사가 완전히 훈련되고 속도를 높이려면 약 2 년이 걸릴 수 있습니다. 혼합 현실 도구가 학습 곡선을 크게 줄일 수 있기를 희망합니다. 몰입 형 교육 환경은 비디오 게임으로 성장한 직원과 디지털 정보에 거의 즉각적으로 액세스 할 수있는 환경을 제공합니다.

알래스카 항공의 건축 및 전략 담당 이사 인 마이크 로렌 고 (Mike Lorengo)는“종이에 생명을 불어 넣습니다. "평평한 종이를 보지 않고 엔진에 3D가 투영되는 것을보고 있습니다."

사람과 사물 간의 지능적인 대화

혼합 현실은 지능형 에지와 지능형 클라우드의 다양한 기능을 활용할 때 더욱 강력합니다.

일부 시나리오에서는 임박한 안전 위험이나 제동 시스템을 제어하는 ​​알고리즘에 대해 경고 할 수있는 카메라와 같이 데이터를 클라우드로 전송하지 않고 지능형 에지에 대한 정보를 신속하게 처리하려고합니다. 공장 현장에서는 각 장비에있는 각 센서의 모든 데이터가 특정 시점과 관련이있는 것은 아닙니다. 따라서 에지에서 복잡하지 않은 AI 서비스를 실행하면 관련없는 정보를 필터링하거나 클라우드의 성능을 필요로하지 않는 작업을 수행 할 수 있습니다.

잠재적 인 고객이 새로운 옵션의 자동차 또는 잠재적 인 리모델링이 다른 옵션으로 어떻게 보일지 상상할 수 있도록 홀로그램이 필요한 경우, 쇼룸 또는 거실에서 온보드 기능을 사용하는 단일 HoloLens 2는 많은 컴퓨팅 성능과 해상도를 제공합니다.

그러나이 장치를 새로운 Azure Remote Rendering 혼합 현실 클라우드 서비스에 연결하면 회사가 오늘날 며칠 또는 몇 달을 소비 할 수있는 조각 된 점토 또는 상세한 건축 모델과 경쟁하기 시작하는 복잡한 3 차원 디지털 모델을 신속하게 생성 할 수 있습니다. 클라우드의 그래픽 처리 능력이 없으면 불가능할 것입니다.

"갑자기 혼합 현실은 전체 비즈니스 프로세스를 대체 할 수 있도록 기존의 업무를 대체 할 수있는 참신한 방법에서 비롯됩니다. 예를 들어 이전에는 불가능했던 방식으로 완전한 디지털 구성을 사용하는 것과 같습니다." 하얀.

 

PTC의 IoT 및 혼합 현실 도구를 통해 회사는 현장 작업자가 운영에 중요한 기계를 신속하게 진단하고 수리 할 수 ​​있도록하여 가동 중지 시간을 최소화 할 수 있습니다.

Microsoft의 파트너 중 하나 인 PTC 는 IoT 에지 솔루션, Azure 클라우드 및 혼합 현실 도구 를 결합하여 항공 우주 및 방위 계약 업체에서 의류 브랜드 및 생명 과학 회사에 이르기까지 모든 종류의 비즈니스를 디지털 방식으로 변환 하는 통합 시스템을 개발했습니다 .

PTC의 사장 겸 CEO 인 Jim Heppelmann은 언젠가는 일을 시작하고 혈액 샘플을 처리하는 중요한 기계가 작동하지 않는 실험실 기술자를 생각해보십시오.

몇 년 전, 깜박 거리는 표시 등 또는 모호한 오류 메시지가 문제의 유일한 단서 일 수 있습니다. 전화를 통해 문제를 진단하거나 진단 할 수없는 제조업체에 전화했을 것입니다. 대부분 해당 도시에서 일할 수도 있고 일하지 않을 수도있는 전문 기계의 수리 담당자를 파견해야 할 수도 있습니다. 시스템을 다시 시작하고 실행하는 데 몇 시간 또는 며칠이 걸릴 수 있습니다. 한편, 혈액 결과가 걱정되는 환자는 어둠 속에 남아있을 것입니다.

현재 ThingWorx for Azure 서비스를 통해 HoloLens 2 장치를 설치하고 각 구성 요소의 상태 및 상태가 실제 컴퓨터에 매핑 된 홀로그램 대시 보드를 볼 수있었습니다. 소형 IoT 센서에서 수집하여 Azure 클라우드로 전송 된 데이터는 카트리지 중 하나의 문제를 진단 할 수 있습니다. 랩 기술자는 그녀에게 덮개를 여는 방법, 뒤집는 레버, 새 부품을 삽입하는 방법을 보여주는 단계별 홀로그램 지침에 액세스 할 수 있습니다. 그녀가 그것을 알아낼 수 없다면, 네브라스카의 제조업체 사무실에있는 수리 전문가가 스크린을보고 정확하게 HoloLens 2를 통해 본 것을보고 작업을 진행할 수 있습니다.

Heppelmann은“이것은 인간과 사물 사이의 닫힌 고리입니다. "IoT 장치는 무엇이 잘못되었는지 말해 주므로 혼합 현실 솔루션을 사용하면 혈액 검사 기술자를 비행기 티켓과 렌터카의 시간과 비용을 절약하는 간단한 문제를 해결할 수있는 사람으로 바꿀 수 있습니다."

하루 종일 혼합 현실 헤드셋을 착용 할 수있는 일선 직원에게는 HoloLens 2의 향상된 편안함과 더 넓은 시야로 사람들이 여러 홀로그램을보고, 텍스트를 읽고, 복잡한 세부 사항을 3D로 볼 수 있습니다 — Heppelmann은 변형 될 것이라고 말했다.

“두 가지가 홀로 렌즈를 가지고 놀기 좋아하고 프로토 타입을 만드는 장치에서 오늘날 공장, 병원, 건설 현장에서 널리 퍼질 수있는 장치로 가져옵니다. 이것은 큰 발전입니다”라고 말했다.

이러한 기능은 복잡한 인프라 프로젝트를 구축하는 엔지니어, 건축가 및 건설 회사를위한 소프트웨어를 개발하는 또 다른 Microsoft 파트너 인 Bentley Systems 에게도 중요합니다 .

벤틀리 프로젝트 납품 담당 부사장 인 노아 에크 하우스 (Noah Eckhouse)는 도시 기차역을 정비하거나 움직이는 부품과 중장비가 많은 새로운 축구 경기장을 건설 할 때 전화 나 태블릿으로 정보에 접근하는 것은 위험 할 수 있다고 말했다. HoloLens 헤드셋을 통해 작업자는 물리적 환경을 인식하면서 디지털 정보에 액세스 할 수 있습니다.

회사의 SYNCHRO 소프트웨어는 HoloLens를 통해 작업자가 건설 현장의 특정 위치를 확대하고 해당 특정 작업 또는 영역에 대한 안전 지침 또는 설치 지침과 같은 중요한 디지털 정보에 액세스 할 수 있습니다. 관리자는 끊임없이 변화하는 현실과 예측을 기반으로 프로젝트가 현재 이틀 또는 삼주 동안 어떤 모습으로 나타날지 3 차원으로보고 일정 충돌을 예상 할 수 있습니다.

"건축 현장은 거대한 발레와 같습니다. 특정 공간 내에 존재해야하는 재료와 사람의 움직임으로 구성된 매우 안무 된 작업입니다." "그리고 당신이 일을 시작한 첫날 계획이 바뀌 었습니다."

Eckhouse는 단일 침실에서 2 베드룸 방갈로에 대한 계획을 저장하고 업데이트 할 수 있지만 클라우드없이 대규모 인프라 프로젝트에서 모든 움직이는 부품을 추적하는 것은 불가능하다고 Eckhouse는 말했습니다.

SYNCRHO는 작업 사이트의 각 HoloLens 장치를 Azure에서 지속적으로 업데이트되는 마스터 모델에 연결함으로써 모든 사람이 최신 공유 정보를 사용하여 작업을 시퀀싱하고, 크레인 이동을 계획하고, 진행 상황을 추적하고, 작업자를 안전하게 보호하는 동일한 공유 현실에서 작업 할 수 있습니다.

Eckhouse는“대규모 프로젝트에서는 현장과 엔지니어 및 설계자 사이에서주고받는 정보의 양이 지속적이기 때문에 클라우드 연결이 중요합니다. "실제 세계에서 인프라 프로젝트 작업의 결과는 매우 현실적입니다."

 

강력한 인식 도구를 제공합니다

컴퓨터 비전 및 AI 두 정의 성과 HoloLens 2의 몰입 경험을 기여하고 있습니다. 의미 론적 이해 물리적 공간을 해석하는 능력은 장치가 벽과 창문 또는 소파와 커피 테이블을 구별 할 수 있습니다. 자연 손으로 추적은 이제 사람들이 오히려 마우스의 움직임을 모방 동작을 배울 필요보다 더 본능적으로 홀로그램을 파악 회전 및 확장 할 수 있습니다.

이러한 진보는 에지에서 작동 AI 도구와 결합 넥트의 네 번째 세대으로 사용된다. 그 깊이 - 모션 감지 기술은 원래 X 박스에 대한 제스처 인식 액세서리를 만드는 데 거의 10 년 전에 개발되었다. 그러나 정확하게 깊이를 감지하고 공간에서 이동하는 방법을 인체 정확하게 할 수있는 기능은 게임보다 훨씬 폭 넓은 응용이 밝혀졌다.

Ocuvera는 , 예를 들어, 더 전 세계적으로 매년 미국 병원에서 발생하고, 약 100 만 낙상을 방지하는 것을 목표로하는 시스템에 푸른 넥트와 함께 일하고있다. 걷는 데 도움이 필요한 환자가 도움을 청하지 않도록 충분한 사전 경고와 함께 도움을받지 않고 침대에서 일어나려고 할 때이를 알 수 있습니다.

깊이 감지 카메라 및 AI 알고리즘을 사용하여 시스템은 환자가 앉거나 다리를 휘두르는 것과 같이 침대에서 일어나기 전에 움직임의 패턴을 인식합니다. 11 곳의 임상 현장에서 실시한 파일럿 연구의 초기 결과에 따르면 보조 기술과 관찰되지 않은 병상 출구는이 기술이 구현 된 후 90 % 이상 감소했습니다.

스티브 키엔 (Steve Kiene) CEO는 오쿠 베라 팀이 전 세계의 모든 깊이 감지 카메라를 조사했으며 자체 카메라를 만들려고했다고 말했다. 이 환자가 전진하거나 롤오버 또는 피트의 첫 번째 호기심을 검출 여부를 구별에 올 때, 아무도 푸른 넥트의 정확성과 해상도 가까이 오지했다.

"그것은 당신이 포커를 할 때 이야기를 찾는 것과 같다"고 말했다. “Azure Kinect만이 병원 침대에서 환자에게 무슨 일이 일어나고 있는지 확인하고 충분한 정확도로 환자의 의도를 예측할 수있는 데이터를 제공합니다. 우리가 병원에서 조종사를 할 때, 그들은 종종 불가능하다고 말하지만, 그것이 효과가 있다는 것을 알게되면 놀라게됩니다. 마법 같아요”

Ocuvera는 Azure Kinect의 깊이 감지 카메라와 협력하여 환자가 언제 침대에서 일어나려고하는지 예측하여 병원 낙상을 방지합니다. Microsoft의 사진.

Kiene은 새로운 Azure Kinect의 가치는 개발자가 AI 솔루션을 쉽고 빠르게 배포 할 수 있도록하는 Cognitive Services 와 같은 Azure 도구와 센서 하드웨어를 결합시키는 것 입니다. 이를 통해 Ocuvera 팀은 음성 인식 또는 번역 서비스를보다 쉽게 ​​시스템에 통합하여 환자가 여러 언어로 간호사에게 전화 할 수 있습니다.

Kiene은 이러한 서비스 중 상당수가 엣지로 이동함에 따라 클라우드로 데이터를 보내지 않고 귀중한 시간을 소비하지 않고도 로컬에서 실행할 수 있다고 말했다.

“Azure Kinect는 단순한 카메라가 아니라 음성 인식 및 신체 추적과 같이 실제로 중요한 다른 모든 서비스와 연결되어 있습니다. 귀중한 것은 전체 패키지입니다.”라고 Kiene은 말했습니다.

HoloLens 2를 세계에서 가장 몰입도가 높은 홀로그램 컴퓨터이자 가장 지능적인 에지 장치로 만드는 데 10 년 이상을 투자 한 Kipman은 모든 발명가들에게 사람들이 자신의 작품으로 무엇을하는지 보는 것이 진정한 보상이라고 말했다.

Kipman은“우리는이 비전을 만들고 실천하기 위해 우리의 마음, 몸, 영혼 및 깨어있는 시간을 모두 넣었습니다. “이제 우리는이 기술이 어떻게 고객이 경쟁하여, 디지털로 변환하고, 이전에는 달성 할 수 없었던 것을 달성하고, 상상하지 못했던 것을 수행 할 수있는 힘을 얻는 순간을 보게되었습니다. 내가 흥분되는 모든 것들”