スマートフォン・ドラム / Smartphone Drum

スマートフォン・ドラム

Smartphone Drum

私たちは、耳の聞こえない人も一緒に楽しめることを目指した、楽器アプリを制作した。音楽室にあるドラムなどの実物の楽器は、音だけでなく、楽器から体に伝わる振動や演奏動作からも音楽を体験できるため、ろう・難聴者にとって楽しみやすい。そこで、実物の楽器の「振動が感じられる」「体全体で演奏する」という特徴を楽器アプリに取り入れた楽器アプリ「スマートフォン・ドラム」を開発した。本アプリでは、スマートフォンをドラムスティックに見立てて、空中でドラムを叩く動作をすると、まるでドラムを叩いたかのような振動が返ってくる。

スマートフォンに内蔵されモーションセンサーを使って、空中でドラムを叩く動作を検出する。検出すると、ドラムを叩いたような振動が再生される。振動の大きさや時間変化は、叩く動作の勢いに応じて変化する。また、3種類のドラム（ハイハット、スネア、バス）を用意していて、叩き方によって使い分けることができる。

制作チームの一人である設楽は、耳が聞こえない。彼には音は聞こえないが、昔はピアノを習ったり、学校で様々な楽器を遊んだりしていた。好きな楽器の話をして盛り上がったこともある。そんな話をする中で、手元のiPhoneに入っているアプリ「Garage Band」で、ギターやドラムを演奏して遊ぼうと思いついたが、重大な問題に気がついた。耳の聞こえる人同士なら、その場でアプリの楽器で楽しく遊べるのに、耳の聞こえない人にとっては面白くなかったのだ。そこで、実物の楽器で遊ぶように、耳の聞こえない人と楽しめる楽器アプリを作ることを思いつき、設楽とアプリのデザインを相談し始めた。相談の結果、まずはドラムのアプリを作ってみて、それを周りのろう・難聴者に使ってもらって、次の一歩に進もう、ということになった。最初にドラムを作ったのは、音楽の知識や経験が少なくても楽しめて、動かし方がわかりやすいからだ。

We created a digital musical instrument application that aims to bring deaf and hard-of-hearing (DHH) people together to enjoy music. When using real instruments (e.g., drums in a music room), DHH people can feel the music from the vibrations transmitted by the instruments or the movements of the body. Considering this, we have developed an accessible musical instrument application, "Smartphone Drum," which incorporates the features of real instruments, such as "feeling the vibrations" and "playing with the whole body," into the app. This application presents a drum-like vibrotactile sensation when a user makes a drumming motion in the air using their smartphone as a drumstick.

We created a prototype application that uses the smartphone as a drumstick, and when the user makes a drumming motion in the air, the smartphone produces a vibration as if the user has hit an actual drum. The strength and envelope of the vibration changes depending on the strength of the beating motion. We prepared three types of drums: hi-hat, snare and bass; therefore, the characteristics of the vibration would vary depending on the type of drum.

One of the members of our team, Shitara, is deaf. Although he cannot hear, he enjoyed playing the piano and various other instruments at school and in lessons. One day, talking about our favorite musical instruments, we got excited and came up with the idea of playing the guitar and drums on GarageBand, an app on my iPhone, but I noticed a serious problem. Hearing people can enjoy playing with the app's instruments on the spot, but for DHH people, it was no fun. So, I decided to create a musical instrument app that can be enjoyed with DHH people just like playing with real instruments. We started discussing with Shitara and we concluded that we should make a drum first, have DHH people around us use it, get feedback, and then move on to the next step. We implemented the Smartphone Drum, and got feedback from six DHH people, and are now working on the next instrument.

スマートフォンアプリ。iPhone にインストールすれば、その場で iPhone がドラムスティックになり、目の前の空間がドラムセットになる。

This is a smartphone application.
By installing this app on your iPhone, the iPhone becomes a drumstick and the space in front of you becomes a drum set.

https://digitalnature.slis.tsukuba.ac.jp/wp-content/uploads/2021/10/2021_SUI_Posters_Smartphone_Drum_CameraReady.pdf

https://youtu.be/JUCU4I1kRWA

https://digitalnature.slis.tsukuba.ac.jp/2021/10/smartphone-drum/

音楽を通じて、異なる文化や背景を持つ人々と心が繋がる経験は、誰もが持っているだろう。友達と一緒に演奏したり、ライブに行って同じ音楽を楽しんだり、Youtubeで好きなアーティストのPVを見たりするのも、音楽が人を繋げる例だ。
では、耳の聞こえないと音楽で繋がったことはあるだろうか。音楽の本質は、耳だけではわからない。音楽は身体全部で演奏し、身体全部で感じ、共有することができ、そのやり方であれば耳の聞こえない人と音楽で繋がることができる。

私たちが目指す未来の社会では、全ての人間が音楽を楽しめる。つまり（聞こえる人も、聞こえない人も）みんなが持っているスマートフォンで、みんなが音楽で遊べる。モバイル端末が普及した今が、音楽と楽器のアクセシビリティを考えるチャンスであり、本当の意味で全ての人間を繋げる音楽文化を醸成する最初の一歩を、この作品が踏み出したと考えている。