Word Cloud for Meeting

ワードクラウド・ミーティング

Word Cloud for Meeting

本作品は、リモート会議で字幕を追い続けるのが大変な聴覚障害を持つ人のために作った、会議のリアルタイム可視化システムである。システムは、喋った内容を自動で文字に起こし、その中から頻繁に出現するキーワードを抜き出し、発言者のビデオ背景に表示する。キーワードは出現頻度によって大きさが変わり、しばらく出てこないと少しずつ薄くなり、消えていく。

本作品の制作メンバーの一人である設楽は、耳が聞こえない。コロナウイルスが流行してから、彼とは週3でリモート会議する日々が続いた。音声認識を利用して、喋った言葉を文字に起こして画面に表示することで会議は成り立っていたが、深刻な問題が2つあった。一つは、時に5時間を超えるリモート会議の内容を、常に文字起こしで追っていると疲れること。もう一つは、喋っている人の顔、誰かの画面共有などに加えて、文字起こしの表示画面も見る必要があるため、視線が行ったり来たりすること。そこで、文字起こしを凝視しなければならない負担を軽減するためのシステムを考案した。

設楽と相談し、システムに必要なのは「現在の話題が一眼でわかること」「誰が言ったのかわかること」「情報の変化に気づけること」にまとまり、それを基に Word Cloud for Meeting のプロトタイプを作成した。プロトタイプは、2人のろう・難聴者の協力者からのフィードバックを基に改善した後、さらに7人のろう・難聴者の協力者に見せて、彼らと次の改良の指針を議論した。こうして、今の Word Cloud for Meeting が出来上がった。

This is a real-time visualization system for online meetings created for Deaf and hard-of-hearing (DHH) people who find it tiring to always keep up with captions. This system first transcribes speech into text, and extracts keywords that appear frequently. The system then generates a separate “word cloud” for each participant and displays it in the background of each participant’s video in real time. A word cloud is a cluster of keywords depicted in different sizes. The bigger the word appears, the more often it’s mentioned. To illustrate a change in topic, new words are presented in a darker color, the words fade over time, and eventually disappear if they are not spoken by the participant.

Since the coronavirus pandemic, we have been having remote meetings three times a week with our Deaf colleague, Shitara. Our meetings were made possible by displaying the results of real-time speech recognition on the screen, but two serious problems emerged. One was that it was tiring to constantly follow the real-time caption of remote meetings, which sometimes lasted over five hours. The other was that they need to juggle between multiple concurrent sources of information if there is visual information other than captions such as slides and videos. To address these problems, we designed a system to reduce DHH people’s workload.

We discussed with Shitara to identify the following requirements: Users can 1) understand the ongoing topics in a discussion at a glance, 2) understand who is saying what, and 3) be aware of changes in information. We implemented an initial prototype of Word Cloud for Meeting and refined it based on the initial feedback from two DHH people. Then, we conducted an interview with seven DHH participants to gather feedback by demonstrating a proof of concept of the system. The results of the interviews suggest that our system appears to be useful for observing shifts in topics. Providing more flexibility in customization and improving the placement of keywords will be a future task.

ウェブアプリケーション。（ブラウザでページを開くと、カメラに映ったユーザーの顔が表示される。音声認識が始まると、喋った言葉が文字起こしされ、ワードクラウドが生成される。ワードクラウドは、バーチャル背景として顔の後ろに表示される。）

This is a web-based application.
When a user opens that website in a browser, his or her face appears on the screen. Once the speech recognition starts, the spoken words are transcribed and the system analyzes them to generate and update a word cloud. The word cloud will be displayed behind a user’s face as a virtual background.

https://dl.acm.org/doi/fullHtml/10.1145/3441852.3476547

https://youtu.be/hcfQEhkta3g

https://digitalnature.slis.tsukuba.ac.jp/2021/10/word-cloud-for-meeting/