Various realistic collaboration technologies have emerged in the context of the COVID-19 pandemic. However, as existing virtual reality (VR) collaboration systems generally employ an inverse kinematic method using a head-mounted display and controller, the user and character cannot be accurately matched. Accordingly, the immersion level of the VR experience is low. In this study, we propose a VR remote collaboration system that uses motion capture to improve immersion. The system uses a VR character in which a user wearing motion capture equipment performs the same operations as the user. Nevertheless, an error can occur in the virtual environment when the sizes of the actual motion capture user and virtual character are different. To reduce this error, a technique for synchronizing the size of the character according to the user’s body was implemented and tested. The experimental results show that the error between the heights of the test subject and virtual character was 0.465 cm on average. To verify that the implementation of the motion-capture-based VR remote collaboration system is possible, we confirm that three motion-capture users can collaborate remotely using a photon server.

가상훈련 시스템은 시간과 공간의 제약이 없다는 점에서 기존의 실제 훈련 시스템과의 차별성을 가진다. 최근에는 실시간 모션캡처를 활용하여 가상훈련 속에서 사용자의 다중감각을 자극해 몰입감을 확장 시키는 개발이 이루어지고 있다. 하지만 대부분의 가상현실 시뮬레이션 프로그램은 대부분 1인용 VR 개인 훈련에 초점이 맞춰져 있다. 전 세계적 COVID-19의 영향으로 인해 비대면 원격 협업 교육 기술의 중요성이 커지고 있고, 이에 다양한 기업에서 VR / AR 실감 콘텐츠 기반의 원격 협업 시스템 개발을 시도하고 있다. 이에 본 논문에서는 다중감각 체험과 비대면 원격 교육을 동시 진행 시킬 수 있도록 실시간 모션캡처를 활용한 원격 교육시스템을 제안한다. 그리고 본 시스템을 제조업 원격 교육 콘텐츠로 제작하여 기존 제조업 시뮬레이션에서 경험할 수 없었던 숙련자와 비숙련자의 다양한 원격 소통교육을 실시했다.

최근 기술과 예술이 융합된 미디어 아트분야에서 작품과 관객이 상호작용하는 콘텐츠가 다양하게 나타나고 있다. 본 논문은 ‘To young youth Padam! Padam! Padam!’ 작품에 적용된 키넥트 카메라를 활용한 상호작용 콘텐츠 시스템을 소개한다. 작품에 쓰이는 키넥트 카메라는 관람을 위해 전시장 내부로 들어오는 관람객의 머리의 위치를 검출하고 추적한다. 키넥트 카메라로 얻은 검출 데이터로 관람객과 키넥트 사이의 거리를 측정하게 되고, 이 거리 값은 유니티 프로그램으로 전달되어 거리에 따라 다양한 영상과 음향효과를 빔 프로젝트와 우퍼 스피커로 전달하게 된다. 관람객이 전시장 앞으로 다가가게 되면 ‘두근거림’이라는 키워드에 맞추어진 스토리가 유기적인 세 가지 video로 순차적으로 출력되어 시각적으로 내용 전달을 한다. 또한, 심장소리 등의 두근거리는 음향효과를 우퍼 스피커를 통해 극대화 하여 관람객에게 청각적인 형태로 의미를 전달한다. 본 논문에서는 이 작품에 사용된 키넥트 카메라를 이용하여 상호작용 콘텐츠 시스템의 예술적 의미를 살펴보며 더불어 기술적인 시스템에 대해 제안한다.