Imaginary-shell

Imaginary-shell -想像上の貝殻-
もし、貝殻が本当に周囲の音を記憶していたら？

近年、コンピュータや人工知能の発展はめまぐるしい。人工知能が人々の生活に抵抗なく受け入れられていくにつれて、私たちの自然観も変わっていく。自然や計算機、データの境界があいまいになったとき、新たに生み出される自然現象は私たちの認識をどのように変容させるだろうか。

そこで、「貝殻は周囲の音を記憶していて、貝殻を耳にあてると、海の音が聴こえてくる。」という言い伝えに注目した。自然とAIが融合し、この話が言い伝えではなく、実際に起こる現象になった場合、その貝殻はどのような音の風景を生み出すことができるのだろうか。

本プロジェクトは、さまざまな環境に置かれたImaginary-shellに、その土地の音を学習させ、記憶としての音を生み出していくプロジェクトである。貝殻が海の音を学んでいるようにして、Imaginary-shellも周囲の音を学び、本体に耳を当てると、生み出された音が殻に響くようにして聴こえてくる。

Imaginary-shellには、マイクとスピーカーとBluetoothモジュールが内蔵されている。Imaginary-shellが置かれた場所の環境音を録音し、それをBluetooth経由でクラウド上に送り、オーディオ合成AIモデルによって学習、推論し、本体に耳を当てると生成された音がスピーカーから聴こえてくる仕組みになっている。
貝殻が、記憶としての音を持った時、そこに広がる風景や私たちが想像することができたはずの風景はどのように変わるのだろうか。Imaginary-shellによって、音の世界を拡張し、生成された音との関わり方や、私たちの記憶の中の音を探っていく取り組みである。
生成される環境音は、殻越しに録音した音を用いて、オーディオ合成のための多目的拡散モデルDiffWaveによって生成された。