See-Through Captions

See-Through Captions

See-Through Captions

我々の開発チームには、耳が聴こえないメンバーがいます。彼と一緒に過ごし、研究活動を行う中で、彼とのコミュニケーションをいかに充実させるか、ということは常日頃の重要な課題でした。 彼が研究室のメンバーになった当初、研究室のゼミにどうやって参加するかが問題となりました。初めは全てのやりとりをメッセージアプリ越しにテキストで行っていましたが、入力の負担も大きかったため、次第に音声入力に頼るようになります。こうしていくつかの方法を試す中で、ようやくゼミでの実施方法が定着してきた頃、今度は新型コロナウイルスの流行に巻き込まれ、ゼミは全てオンラインで実施されるようになってしまいます。 初期のオンラインゼミでは、そもそもオンライン会議のツール上に音声を字幕に変換する機能が備わっていなかったため、そうした補完技術の開発から行う必要がありました。本プロジェクトの出発点はそこにあります。オンラインゼミで活用できる音声字幕化システムの開発を行い、さらに「より根本的にコミュニケーションの質を向上させるシステムを作れないか」という新たな問いから，対面でのコミュニケーション支援システムとしてSee-Through Captionsが誕生しました。

See-Through Captionsは、話者の音声を音声認識により文字に変換し、相手との間にある透明ディスプレイにリアルタイムで表示するシステムとなっています。透明ディスプレイを活用することで、ろう・難聴者は相手の表情や仕草を見ながら字幕を読めるようになり、既存の字幕表示手法では欠落していた身体情報（ボディランゲージやアイコンタクト等）も活用しながら聴者と会話することが可能となります。また使用している透明ディスプレイは両側から見ることができるので、聴者も音声認識の結果を見ることができ、音声認識の誤認識がないかを確認しながら話すことができます。

See-Through Captions is a system that displays captions in real-time on a transparent display, which was developed for deaf and hard-of-hearing people to communicate with hearing people.

Our development team has a deaf member. While spending time with him and conducting research activities, how to enhance communication with him has always been an important issue. When he first became a member of the lab, the challenge was how to participate in the lab seminars. After trying various techniques, he came up with a way to take advantage of automatic speech recognition technology. After that, due to the pandemic of COVID-19, we developed a captioning system that can be used in online lab seminars. That is the starting point for this project. After the subtitle system for online seminars that runs on a web browser is completed, See-Through Captions has been developed from the new question "Can we create a system that fundamentally improves the quality of communication for deaf people?".

- 両面から見える透明ディスプレイ（ジャパンディスプレイ製，12インチ版と4インチ版）
- 音声認識の処理や表示を行うコンピューター
- 使用環境に合わせて声を拾うのに適した指向性の高いマイクロフォン
- 使用環境に合わせた治具（アクリル版やカメラ用固定具で作成）

- Transparent Display (images can be viewed from both sides, Japan Display Inc., 12-inch and 4-inch)
- Computer (Process automatic speech recognition, display texts)
- Microphone suitable for each environment
- Display jig to attach each environment

https://www.youtube.com/watch?v=Hy5S_IO7KQg

https://digitalnature.slis.tsukuba.ac.jp/2021/02/see-through-captions/

我々がこれまでに取り組んできた活動・実証実験を通じて、本プロジェクトが実現可能な、そして社会から期待される将来像を以下のように思い描くことができます。

まず、設置型のデバイスは、受付やレジといった誰もが日常的に使用する場所への導入が可能であり、ろう・難聴者の日々の不便を解消することが期待されます。また、コミュニケーションの質の向上のため、ろう・難聴者が働く職場に導入することで、同僚との日常的なコミュニケーションやミーティングへの参加の促進も期待できます。

次に、持ち運び型のデバイスは、実証実験同様ガイドツアーへの応用が期待されます。科学館・博物館等が公益に資する上で、アクセシビリティの高いツアーを提供することは大きな意義があり、本システムを活用することで、ろう学校の団体ツアーなどを筆頭に、ろう・難聴児達の学習機会増加に寄与できると期待されます。

このように、本プロジェクトは日常生活から就労環境、教育現場と多岐に渡って展開可能であり、SDGsに掲げられる「4.教育」「8.働きがい」「10.不平等」「11.まちづくり」という４つの目標にも貢献可能なものとなっています。我々は、See-Through Captionsがろう・難聴者の生活をより豊かなものにすることを信じ、これからも日々の開発に努めていきます。