Sound Drops♪

サウンドドロップスは「触れる音符で音楽を遊ぶ」プロダクトです。私たちはphysicalとdigitalの利点を活かした、新しい音楽の遊び方を提案します。

近頃は便利なタブレット端末が、誰でも簡単に手に入るようになりました。しかし、画面越しに見るばかりで、実際に手で触れて、感触を楽しんだりする機会は減ってしまったことと思います。そこでデジタルの良さを残しつつも、子供が物に触ったり、音を立てたり、もっと五感を使って遊ぶことが出来ないかと考えて作ったのが、サウンドドロップスです。いくつもプロトタイプを作りながら、子供にとっての心地よい握りやすさを追求しました。また安全性を考慮して、実際自分の口でも実験をしながら、飲み込めない大きさになるよう配慮しました。

シンプルな形のドロップスは、子どもたちの想像力を掻き立てます。見立て遊びの道具として積み木のように遊んだり、またいくつかのドロップスを並べてカラフルな「絵」を描いたりする子どもたちもいました。緑のドロップスで木の形を作ったり、青のドロップスを魚の形に並べてみたりと、手を動かしながら音の変化を楽しむことが出来ます。ドロップスを使って描いた絵によって、奏でられる音楽が変わっていく様子に子どもたちも興味津々でした。

このように五感で遊ぶというアナログの良さを活かしたまま、音楽で遊ぶという機能を付け加えるために、私たちはデジタルを活用しました。システムの実装にあたっては、子供の目に触れる部分は完全にアナログなインターフェースにしたいと考えて、設計を行いました。アナログな素材でできた五線譜とドロップスを認識するために、カメラを用いた画像処理を行っています。この実装にはC++とOpenCVを用いました。具体的な楽譜認識のアルゴリズムは次のようになっています。撮影された画像はまず白黒画像へと変換され、ドロップスと五線譜を別々に検出しています。これらの結果を組み合わせてドロップスの位置を認識し、音のタイミングと音色、音程へと変換しているのです。出力にはProcessingを用い、認識した結果を楽譜として再生しています。