2011年1月14日(金)、茅場町サン茶房でバイオカフェを開きました。お話は(独)電子航法研究所 塩見格一さんによる「声から脳の健康状態は測れるか〜声の揺らぎを測ると過労の判定はできそうだ!」でした。
人は疲れると間違いを起こしやすくなります。私たちは現実にリスクゼロがあり得ないことは知っていますが、同じようにリスクと関係の深いヒューマンエラー(人間がしてしまう失敗)もゼロにならないことも知っています。そこで、今回はヒューマンエラーを防ぐ試みとして、過労を調べる取り組みをご紹介いただきました。
初めに山形一恵さんのフルートの演奏でした。会場であるサン茶房をイメージして選曲された曲も演奏され、会場は和やかな雰囲気になりました。
山形一恵さんのフルートの演奏 | 塩見格一さんのお話 |
はじめに
声の分析に、数学のカオス理論(予測できない複雑な状況を呈する現象を扱う理論)を使ってアプローチしている。大学生の頃はレーザーや超電導を研究していた。当時はいろいろな超電導体が次々に登場した頃でしたが、私はレーダー技術の研究所(運輸省の航空管制業務の研究)に就職した。当時も今もレーダー技術は米国が進んでいた。
私は、日本ではミスをしたパイロットや航空管制官は免職になることが多いが、エンジニアリングの観点からはその経験をいかに継承するかが大事だと考え、航空管制シミュレーターを作製した。
例えば、1994年小牧空港に台湾からの飛行機が墜落したとき、操縦士が酔っていたことが大きな問題となったが、その様な事だけを騒いで事故の再発は防げるのだろうか。操縦士も亡くなり、機体も壊れてしまうと、それを正確に測定、判定することは難しい。その後、コックピットの音の録音記録からパイロットの声だけ拾って分析できないかというリクエストが私のもとに届いた。
声の利用
大阪と福岡に拠点を置いた共同研究者が指尖脈波(指先の脈)を使ってアルツハイマーの初期状態を見つける研究に関わっていたので、この方法を声に使うことを思いついた。眠い時と緊張している時では声の揺らぎに違いがあることが見つかった。
オシロスコープをリサージュ・モードにして、x軸にマイクロホン電圧を入力して、y軸には同じ信号を少しだけ遅らせて入力するとストレンジ・アトラクタ(SA: Strange Attract)と呼ばれる図形を描かせる事ができる。サイン波に近いフルートなどの楽器の音のSAは楕円や円になる。電車の運転手の「出発進行」という声の母音「o」の部分を運転開始時と5時間後に比べると、元気な時の人の声では揺らぎが大きいが、5時間後には疲れてきて揺らぎが失われ、軌跡は一定の形に近づいた。
1998年、声の1秒ごとのリアプノフ(Lyapunov)指数の5分間平均値を約1時間分グラフに表した。当時は疲労と理解していたが、発話者の心身状態がリアプノフ指数のグラフに現れることは既に確認していた。確かに、朗読者の声(ルビがふってあって緊張しないで読める文章)を測定したところ、疲れてくるとグラフはある値に近づき飽和してくる。初めは元気で数価が低いが、疲れたとき、眠いときに数値が高くなると考えていた。しかし、読み物が政治経済からスポーツ記事になったときに読み手のL.指数.が低くなり、急に変化したことから、読み手の緊張も関係しているとわかった。
運転シュミレータを使った実験
2002年、朗読実験により声から大脳のストレス状態の測定を試みた。普通に朗読している状態から開始し、5分後に朗読音声をヘッドフォンにより読み手に聞かせる様にフィードバックしたところ、読み手にストレスが加わったと考えられ、L指数が高まることを確認した。世界で初めて声からストレス状態の変化を計測した。
宅配便の運転手は4時から11時ごろまでに荷物を積み、バランスのよい積み方に調整して、目的地に向けて出発する。荷積み作業の間、運転手の心拍数は160-180まで上がる。同じ様な状況にするために研究者が20Kgのリュックを背負って、4時間、階段の上がり下りをして運転手の出発前と同じ疲労状態にし、約10時間シュミレータで運転する実験を実施した。
実験では、運転手順に加えて運転時の声の出し方(出発進行など)の練習を3日間(10分間の運転を72回)行い本番に臨んだ。練習では、計測チーム(音声だけでなく、血圧、脳波なども測定する)も訓練を一緒に行った。3日間の練習と2日間に亘る本番に対して、11人の学生に15万円くらいのバイト代を出したが、終わった後では、2度と嫌だと言われてしまった。相当きつかったようだ。荷物を背負っての階段の上り下りから10時間連続運転の間は、お医者さんに待機してもらいながら行った。被験者は全員体育系の大学生と大学院生で、体力があって連続運転中にハイになってしまう人もいるので、階段の上り下りによって相当に疲れた状態にしなくてはならなかった。
実際に運転する実験
苫小牧では、小型トラックでブロッコリー畑の中に在るテストコースを利用して、1周約5分の運転を50分して10分休むことを1日繰返し、「通過速度よし」等の掛け声を観測した。目のちらつきに対する応答反応(フリッカテスト)や脈拍数なども調べた。
なお、特に食後は眠くなるので、事故になりそうで危険だと判断されたときは、休養して実験を続けた。
鉄道貨物の運転士さんを想定すれば、運転作業に頻繁な休憩や待機がある状態ではフリッカテストで過労や居眠りを予見・防止する事ができるが、今日では長時間の連続運転が日常化しており、フリッカテストに変わる疲労計測技術が必要とされており、発話音声分析技術が実用化されれば、その要求に応えることができる。
まとめ
1980年代、カオスをコンピュータで測れるようになった。「人間の声にカオスはない」と強く主張された事があったことを後から知った。その状況を知っていたら、声のゆらぎの研究をしなかったかもしれないが、実際には声の揺らぎの存在は私たちには実在するものとしてあって、結果的に声のゆらぎの研究を始めた。
揺らぎの形は母音によって異なる。安定な母音の部分だけを取り出して、その部分のゆらぎを調べ、今に至っている。当時は、十数トンもあるコンピュータを米国から輸入して使っていた。私の研究所にあったCRAY MTA2はその型式のコンピュータとしては1号機であったが、シリアル1は自国にということで、このコンピュータのシリアル番号は2となっていたという裏話もある。
声で疲労を判定する装置のデモンストレーション
塩見先生が持ってこられたマイク、コンピュータを使って、参加者有志が読みもの(コンピュータの画面に提示される)を朗読した声を分析しました〜
録音に使うマイクによって数値が異なったり、机にマイクを置くと音が反射したりして数値が異なったりする。外の音も邪魔になるので、分析する場所にも注意が必要。
平均的な指標値(揺らぎの程度を定量化した数値)には性差が存在し、女性は男性よりも1割くらい小さい値になる。理由は明らかではないが、将来も明らかにはならないかも知れないが、女性は妊娠中に赤ちゃんの脳の(冷却機能等について)面倒も見なければならないので、男女で脳の機能構造が違うためではないかと思っている。
音声分析のやり方は、性別を設定し、言語を選び、周囲に気が散らないで集中して読めるように少し難しい読み物を読んで録音する。
トラックの運転手の平均値が500になるように設定してある。とても疲れて消耗が進んでいると300以下の様な低い値になり、緊張したりすると600より高くなる。運転手が運転前に測定して600より多い時には「緊張しています。リラックスして運転して下さい」というコメントが出る。
10秒間の声の処理に初めは数時間がかかったが、今は数秒でできる。
実際に、この方法で運転手の疲労を点呼のときに調べるやり方を採用するとすれば、疲れた運転手のための予備の運転手を用意しておかなくてはならない。また、声の疲れ診断装置は、人を疲れ切る迄働かせるためにではなく、疲れ切る前に対応ができる様に、疲れた人がミスを犯さないで済むように利用されなくてはならない。
声を録音してみせる講師 | 会場風景 |
- 疲れると測定値が低くなるのはなぜ→一生懸命仕事をすると高くなるが、疲れてくると300以下となる。トラック等の運転では,時速100キロ以上になると脈拍数はあがるが声からの診断値は低くなる。脳の資源再配分が変化するためだろう。
- 疲れたふりをすると測定できるか→声優さんが疲れたふり8パターンを出して録音したが、同じ値になった。この測定器は疲れたフリは見破れるが、疲れた人が元気な声を出した時には見破れない。
- 分析機器の値段は→アメリカでは陸海軍向けに7万ドルを提示している。日本では,いすゞ自動車さんにマイクロホンつきで300万円で買ってもらいました。
- うつ病の予知はできないか→うつ病と健常者でゆらぎが違うという論文はある。産業医の清水隆司先生が報告されている。
- 脳の資源再配分とはひとつに集中しているときに、別なところがお留守になると考えればいいのか。→説得力がある説明だと思う
- 運転者はどうやって運転中に声の測定をするのか→運転しているときに窓を閉めて、ラジオを消して声のチェックを促すシステムもあるが、時速100キロ以上で走っているときには、危険を誘発する可能性もあるので,声のチェックをやめるような仕組みを作る必要がある。
- 運転すると血圧は変化するのか→変わる。
- 大阪では、「疲労ビジネス」が流行で、「疲労検出」に近い。疲労を見つけるいろいろな装置が提案されているが,ゆっくり話すと疲れたと判定する様な機械が殆どで、これでは疲れたフリを見破れない。今日持ってきた装置は、疲れたフリは見破るが、元気なフリは見破れない。疲れたフリをすると逆に緊張感で数値があがるので、疲労とは判定しない。
- この装置は導入経費はかかるが消耗品は必要ないので、利用しやすいと思っている。
- 酔うとどうなるか→最初に数値が上がり、それから下がる人が8割。最初から沢山飲む人の場合、下がることもある。お酒のように前頭葉に働く睡眠導入剤があり、その効果の評価に音声分析技術が利用されたこともある。
- 厳しい修行をされたお坊さんにやってもらいたいと思った→知り合いがいらっしゃれば紹介して下さい。
- 職種による平均値はあるか→差が出るときと出ない時があり、フィットネスの事前事後の差となると難しい。実際には、録音環境の設定が大変で、評価検証実験をお願いする場合でも,お医者さんの応援にもお金がかかる。
- アロマや香水の効果が測れるのではないかと思った→直接に香水のにおいを嗅いだりした様な場合,直後の指標値は高くなる。目が覚めるから当たり前の事です。
- 話し方の訓練に使えるかもしれないと思った。
参加者から、こんなことに使えるのは、あんなことに役立つのではという意見がいろいろ出ました。現在は、夜勤をする看護師さん、長時間運転するドライバーさんなど、職場に測定器を置いて声を録音して、研究協力してくれている所もあるそうです。リスク管理において避けられないヒューマンエラーを客観的に捉える大事な研究なので、応援していきたいという声が多くありました。