脳波から会話を復元することに成功
この記事のタイトルとURLをコピーする

自然な会話を完全に復元するのにはまだ遠いが、脳の思考から会話を生成することに成功し、Nature誌に報告された。原題は「Speech synthesis from neural decoding of spoken sentences」だ。

人工知能で脳波から文章を生成する

脳卒中や筋萎縮性側索硬化症 (ALS) などの脳の病気により話せなくなることがある。1分あたり数百単語を会話では伝えることができるが、話せず目で伝える場合には毎分わずか10単語ほどになる。

話すときに口をどう動かしているのかをきちんと理解している人はほとんどいないが、脳はそれを無意識でやって声帯などを動かしている。それを人工知能が行うというわけだ。

研究者らは、考えを実際の発声に翻訳するために2段階の方法を考案した。

まず、てんかんの患者さんの脳波と、舌や唇、喉の筋肉の動きを記録し、深層学習 (再帰型ニューラルネットワーク, RNN) でその対応関係を学習させた

そしてそのデータから音声を合成するということを行っている。

実際に脳波から作り出された音声を研究者がYouTubeに掲載している。

このシステムについて検証するために、AmazonのMechanical Turkクラウドソーシングを使って英語のネイティブスピーカーに、機械が話した言葉を書き起こすように依頼した。

その結果、25の候補単語が与えられると43%の正確度で正しい単語を選べることも分かった。

正解率はそれほど高くはないが、ほぼ完全に麻痺していて話すことができない状態の人には十分に大きな改善だ。

それに正確には聞きとることができなくても、近い意味として解釈することはできた

例えば実際には「rabbit」(うさぎ) と言っている場合、ネイティブスピーカーは「rodent」(げっ歯類) という意味も発音も比較的似ている単語と解釈したそうだ。

この研究の意義と今後の展望

この研究は、機械学習の力を生物学に応用する好例であり、遠くないうちに頭で想像した言葉を機械を通してリアルタイムの発声に変換することが原理的に可能であることを示している。

他のいくつかの研究グループも音声を再現するという領域で大きな進歩を遂げてきたが、この新しい研究では単語ではなく文章を再現することができた

脳活動のよりきめ細かな分析や、全く話すことのできない患者さんに装着できるようなリアルタイムに発声できる装置の開発が今後は必要になるだろう。

脳とコンピューターの接点、ブレイン - コンピューターインターフェースの領域は、ますます研究が飛躍していくに違いない。

 

クリックでこの記事をお気に入りに追加します (後でまとめて読めます)
この記事のタイトルとURLをコピーする
生命医学の知識や進歩を無料のニュースレターで

がんをはじめとする病気やよくある症状などの医学知識、再生医療などの生命科学研究は、研究手法が大きく前進したこととコンピューターの発達なども相まって、かつてないほどの勢いで知識の整備が進んでいます。

生命医学をハックするでは、主として医師や医学生命科学研究者ではない方や、未来を担う学生さんに向けた情報発信をしています。

2週間に1回のペースで、サイトの更新情報や、それらをまとめた解説記事をニュースレターとして発行しています。メールアドレスの登録は無料で、もちろんいつでも解除することができます。

サイト名の「ハックする」には、分かってきたことを駆使し、それを応用して、病気の治療や研究などにさらに活用していこうという意味があります。

生命医学について徐々に解き明かされてきた人類の英知を受け取ってみませんか?

この記事が気に入ったら
フォローしよう

最新情報をお届けします

Twitterでも情報発信中

こちらの記事もいかがですか?
ブログランキング参加中 (クリックしていただけると励みになります)