Mercury’s Boots: Extending Visual Information and Enabling to Move around a Remote Place for VR Avatar

Mercury’s Boots: Extending Visual Information and Enabling to Move around a Remote Place for VR Avatar

Mercury’s Boots: Extending Visual Information and Enabling to Move around a Remote Place for VR Avatar

我々の「Mercury's Boots」はまさにVRプレイヤーが現実空間を縦横無尽に移動するための小型テレプレゼンスロボットである。
このロボットは、VRキャラクターをディスプレイの向こう側から、あたかもこちら側にいるかの如く現実の世界へ表出させる、。
VRキャラクターを演じる体験者は、本研究のロボットとネットワーク越しに接続することで、ロボットに搭乗するような形でこれを動かせる。
ロボットは平面上を前進/後退、そして左右に旋回し、搭載された深度カメラで前方の景色をリアルタイムに撮影している。
VR上では深度カメラからの画像に基づいてロボット前方の人や物が三次元で表示され、音声と合わせて現実側との対話も可能となっている。
また、ロボットには立体視ディスプレイも搭載されており、VRキャラクターの立体像によって平面にはないような存在感も与えられる。

"Mercury's Boots" is our small mobile telepresence robot for VR players to move around the real world.
Our robot describes VR characters as they leaping out to our real world from their VR world.
A VR player performing as a VR character control our robot like as riding and driving it by connecting via the network.
This robot can basically run forward or backward and turn right or left on a flat table.
It also enables to make a communication between VR and the real by exchanging their images and voices, particularly in VR the application render a point cloud of the audiences or objects taken with an RGB-D camera.
Our robot equips with a light field display to show a light field image of a VR character which brings more significant telepresence compared to a flat screen.

本システムは、2輪差動駆動ロボットおよびこれを操作するためのVRアプリケーションで構成される。
ロボットはTurtleBot3をベースに、Jetson Nano、立体視ディスプレイ(Looking Glass)、Intel RealSense D435を搭載している。サイズはおよそ幅200x高さ400x奥行150(mm)。
TurtleBot3の2輪駆動で現実空間への移動を、Looking GlassによるVRキャラクターの立体像の表示を実現している。
VRアプリケーションは汎用的なVRデバイス(HTC Vive)を使用しているが、汎用性と後述の通信処理のため、WebGLおよびWebXRによりブラウザベースで開発した。
両者はWebRTCを介して通信しており、VR側からはVR体験者の(HMDとコントローラーの)姿勢をData Channelで、ロボット側からはRGB画像をMedia Stream、深度画像を圧縮してからData Channelで相手側に送信している。
前者の姿勢はVRと立体視ディスプレイとのVRキャラクターの同期、後者はVR内で現実側の点群を表示するために利用される。

Our developing system is composed of a two-wheel differential driving robot and a VR application to control it.
The robot is equipped with Jetson Nano, Looking Glass, and Intel RealSense D435 based on TurtleBot3. It's size is approximately W200xH400xD150 (mm).
TurtleBot3 is used for moving around the real world, and Looking Glass for displaying a light field image of a VR character manipulated by the VR player.
Whereas, our VR application utilizes a standard VR headset (HTC Vive), but we developed it as a web application with a web browser and Javascript to use WebGL and WebXR instead of building a desktop application.
Both sides communicate mutually via WebRTC.
From the VR side, the posture of the VR player (HMD and controllers) through Data Channel, and from the robot side, an RGB image through Media Stream and a corresponding depth image through Data Channel after being compressed.
The former data is utilized for synchronization of the posture of the VR character to that of the VR player, and the latter for displaying a point cloud of the real world in VR.

https://www.youtube.com/watch?v=zppXt-3o3aI&list=PLLovGA8eZpxNJKKgAJLeH4U-djL2ezuOf

https://revetronique.com/

We are a media artist team with 2 members, a designer and an engineer.
Our art concepts are materializing what we don't usually see behind philosophy or truth, with the combination of science and technology.
We have chosen several topics for the main theme of our art work such as bilateral nature of time, bidirectional interaction between VR and the real, and so on.
Our research fields are eletronics, software, HCI, VR, and robotics for exploring bland-new mechanics or expressions to create our artworks.
(Conferences)
Jul. 2020 Mercury's Boots, HCI International 2020 (online)
Apr. 2020 Möbiusschleife, VRIC 2020 (online)
Nov. 2019 Möbiusschleife, VRCAI '19 (Brisbane, Australia)
Sep. 2017 Eyes on a Car, AutomotiveUI '17 (Oldenburg, Germany)
Mar. 2017 Grassitifi, TEI '17 (Hiyoshi, Kanagawa)
Aug. 2014 Graffiti fur, SIGGRAPH 2014 Emerging Technologies (Vancouver, Canada)
(Exhibitions)
Feb. 2019 Asia Digital Art Award 2018 （Fukuoka Asia Museum）
Nov. 2017 iii Exhibition 2017 "WYSIWYG?"（Hongo, the University of Tokyo）
Apr. 2014 Laval Virtual Revolution 2014 （Laval, France）
Nov. 2013 19th students CG contest （MIRROR in Kuramae）
Aug. 2013 Maker Faire Tokyo 2013 （Miraikan, Tokyo）
(Awards)
2019. Asia Digital Art Award 2018 Finalist' Award
2018. Aesthetica Art Prize 2018 finalist
2018. Arte Laguna Prize 2018 finalist
2014. RealSense App Challenge 2014 finalist
2014. Laval Virtual Revolution 2014 Accept
2013. 19th students CG contest Campus Genius Award SILVER

林　沙有紀 (Sayuki Hayashi) : 企画、デザイナー (Planner, Designer)

Tokyo, Japan