Möbiusschleife: Beyond the Bounds of a Closed-Loop VR System

Möbiusschleife: Beyond the Bounds of a VR System

Möbiusschleife: Beyond the Bounds of a VR System

我々の「Möbiusschleife」は、VRと現実世界の双方向インタラクションを実現すべく実施された研究、そしてその成果として開発されたVRシステムである。
題名は、ディスプレイを挟んで表裏のごとく存在するVRと現実をつなぐというコンセプトに基づき、表裏一体となるようにつなげる「メビウスの輪」にあやかってドイツ語で命名された。我々は、現実世界に置かれたディスプレイのすぐ奥にVRの世界が広がっていると空想し、ディスプレイ越しのふれあいとVRキャラクターの現実空間への往来を目標として研究開発を進めた。ディスプレイを介したインタラクションには、現実空間からVR空間へものを投げ入れる、現実とVRの人がそれぞれ画面に手を近づけて触れ合う、VR側からディスプレイの画面を点灯・消灯、あるいは(演出として)破壊するといったシステムを提案した。一方で、VRキャラクターの現実への往来は、最初にいた平面ディスプレイから立体視ディスプレイへと「移動する」ことでの表現を試みた。一連のシステムをVRIC'20などの学会へデモ発表し、体験者へのフィードバックを得たうえで、上記手法を実装した試験的なゲームアプリケーションを開発している。

"Möbiusschleife" is our VR research and system to realize a bidirectional interaction between the VR and the real.
Its titel is derived from a word "mobius ring" in German, which we wish our VR system merges the VR and the real world exisiting through a display like as two sides of a coin into one.
We have imagined that the VR world spreads behind a display, and settled the 2 main goals: interaction through the display and VR avatar's jumping into the real world.
For the former goal, we propose some interaction methods, for example throwing an object from the real to the VR, touching mutually with their hands, turning on/off or breaking the display virtually from the VR world.
On the latter goal, we try to express the VR avatar jumps from a flat screen to a light field display.
We have demonstrated our whole interaction methods in some academic conferences like VRIC'20, and after collecting feedback from subjects developed a game application implemented with them.

我々のVRシステムは、VR体験者用と現実世界での鑑賞者用の2つに分かれている。VR開発はUnityとSteamVRを使用した。VR体験者用はVR ReadyのPC(VRが難なく実行できる高性能PC)とVRヘッドセット(HTC Vive)一式、大型ディスプレイ、Webカメラ、2D LiDARと深度カメラで構成されている。また、観賞用にはVR ReadyのPCに、立体視ディスプレイ、LEDとサーボモーターをつないだArduinoを接続している。このPC2台は、同一LAN上でWebSoketを介して通信している。まず、大型ディスプレイ、Webカメラ、2D LiDARはディスプレイを介したインタラクションのために利用している。Webカメラは、ディスプレイ前方にいる現実側の鑑賞者をVR空間に映し出すためのカメラであり、VR空間を映し出すCG上のカメラと合わせて、ディスプレイがあたかも現実とVRをつなげる「窓」となるように演出する。VR空間にもディスプレイと同じ大きさを持つ直方体のCGモデルを用意し、Webカメラの映像をテクスチャとして張り付けてVR空間上でのディスプレイとしている。このバーチャルなディスプレイは物理判定を持ち、VR側からの点灯・消灯の操作や破壊を可能としている。2D LiDARは物体や手などがディスプレイのどの場所にかざされているか平面座標で検出するために使われ、取得した座標に合わせてVR空間内のディスプレイが反応するシステムを構築した。大型ディスプレイに決まった大きさは無いが、今回は32インチのディスプレイを用意して研究を進めた。
そして、立体視ディスプレイと深度カメラは、VRキャラクターの現実への往来に利用している。立体視ディスプレイは、1台のPCでVRヘッドセットと同時に利用することはPCへのリソース負荷から困難であるため、VR用のPCと同程度の性能を持つものをもう一台用意して動作させている。VRキャラクターを立体視ディスプレイに映す際、VR体験者のHMDとコントローラーの姿勢を前述のWebSoketを介して共有することで、VR体験者とキャラクターの同期を実現している。深度カメラによりVR体験者は現実の鑑賞エリアの立体像を鑑賞することができ、双方が相手の存在感をより強く感じることが可能となっている。また、ArduinoはVRから現実への干渉を表現するためのマイコンボードで、接続された電子部品(LEDとサーボモーター)をVR側から操作することが可能となっている。

Our VR system is separated to 2 parts; for VR players and for audiences in the real. We use Unity3D and SteamVR for developing all software.
The system for the VR players is composed of a VR Ready desktop, HTC Vive, large display, webcam, 2D Lidar and depth camera, and that for the audiences is done of a light field display and Arduino equipped with an LED and RC servo.
These 2 VR-ready computers are connected via WebSocket on the same LAN.
We utilize a large display (32'' in this case), webcam and 2d LiDAR for interaction through a display.
For making the display as a "window" connecting the VR to the real, we preapre a webcam streaming a live image of the audiences in front of the display and a virtual camera in the VR area.
We also create a thin plate CG model which is the same size as the display and pasted a streaming image from webcam as a texture to work as the display in the VR area. This plate also has a collider enabling the VR player to turn on/off and break it virtually.
The display detects where audiences touch with using a 2D LIDAR and operates a reaction at the same coordinates on the virtual display.
The light field display (we used "Looking Glass") and the depth camera is used for the VR avatar's jumping into the real world.
Looking Glass occupies resources of a GPU for displaying a light field image, that means utilizing VR HMD and Looking Glass with a single computer is quite difficult and is the reason we prepared another VR Ready computer.
The VR player can see a point cloud of the audience area by generating it with the color and depth image from the depth camera, so that the presence of the both sides become stronger after the VR avatar moves to the light field display.
It synchronizes the posture of the VR player and the VR avatar by transferring that of the VR HMD and controllers via WebSocket, and also manipulates connected electronic components (LED and RC servo) from the VR side.

https://www.youtube.com/watch?v=NXkxGaYpYQM&list=PLLovGA8eZpxNJKKgAJLeH4U-djL2ezuOf&index=2

https://revetronique.com/

We are a media artist team with 2 members, a designer and an engineer.
Our art concepts are materializing what we don't usually see behind philosophy or truth, with the combination of science and technology.
We have chosen several topics for the main theme of our art work such as bilateral nature of time, bidirectional interaction between VR and the real, and so on.
Our research fields are eletronics, software, HCI, VR, and robotics for exploring bland-new mechanics or expressions to create our artworks.
(Conferences)
Jul. 2020 Mercury's Boots, HCI International 2020 (online)
Apr. 2020 Möbiusschleife, VRIC 2020 (online)
Nov. 2019 Möbiusschleife, VRCAI '19 (Brisbane, Australia)
Sep. 2017 Eyes on a Car, AutomotiveUI '17 (Oldenburg, Germany)
Mar. 2017 Grassitifi, TEI '17 (Hiyoshi, Kanagawa)
Aug. 2014 Graffiti fur, SIGGRAPH 2014 Emerging Technologies (Vancouver, Canada)
(Exhibitions)
Feb. 2019 Asia Digital Art Award 2018 （Fukuoka Asia Museum）
Nov. 2017 iii Exhibition 2017 "WYSIWYG?"（Hongo, the University of Tokyo）
Apr. 2014 Laval Virtual Revolution 2014 （Laval, France）
Nov. 2013 19th students CG contest （MIRROR in Kuramae）
Aug. 2013 Maker Faire Tokyo 2013 （Miraikan, Tokyo）
(Awards)
2019. Asia Digital Art Award 2018 Finalist' Award
2018. Aesthetica Art Prize 2018 finalist
2018. Arte Laguna Prize 2018 finalist
2014. RealSense App Challenge 2014 finalist
2014. Laval Virtual Revolution 2014 Accept
2013. 19th students CG contest Campus Genius Award SILVER

林　沙有紀 (Sayuki Hayashi) : 企画、デザイナー (Planner, Designer)

Tokyo, Japan