“提升语音识别的准确率需要降低噪音，行业内有两条路在走，一条是通过麦克风阵列等硬件方式做音频信号的增强，屏蔽噪音，另一条是加入‘多模态信息’，就比如唇语识别提供的视觉信息。”陈伟解释称。
36氪和其他媒体采访了搜狗唇语识别技术的研发团队，以下为采访内容，经36氪编辑略有删节：
问：相比麦克风阵列提升语音识别准确率，用唇语识别技术去解决，在技术上的提升空间是否更大？现实落地中是否面临增加摄像头会增加成本的问题？
陈伟：我们做的事情不是说马上就要落地，对现阶段来说，我认为麦克风阵列依然比唇语更靠谱，解决噪声的问题，落地的速度上，麦克风序列都已经是落地的阶段了，而唇语阵列刚刚研发完成了第一步，后面要跟音频做一些结合做一些进一步降噪的工作，所以这个事面向的时间段是不一样的，就是可能可是当前的，但是唇语可能是明年，我们计划在一年内有一些落地的项目在做。
在噪声的环境下，语音识别的可能不准确率不止3%，甚至在40%、50%或0。这种情况下“唇语识别”比麦克风识别强，假如说声音非常的嘈杂，麦克风阵列就算加了一些硬件也解决不了这个问题，有它的一些局限性在，但是唇语相当于绕过了噪声，通过视觉的方式来解决。
问：现在唇语识别最刚需的场景是什么？
陈伟：安防其实也很刚需，我们现在花很多的精力去解决噪声问题，关于成本，其实加一个摄像头不及加一个麦克风阵列的成本高。
问：唇语识别会涉及到用户隐私方面的限制吗？
陈伟：目前的状态还没有到那个阶段，我们还在探索这件事能和哪些刚需场景结合在一起。
问：“唇语识别”未来的应用前景会有哪些？
陈伟：未来唇语可以放在安防，还有助残上面，甚至对一些早期陌生的电影，以前的电影里面，就像卓别林的很多的电影没有声音，能不能给它配字幕，有很多新的东西，就是能不能从一个人的唇动把字读出来，目前做的事很局限，我们限定在一些交互的刚需场景里面，所以在这些特定的刚需场景里面我们想把它放进去，未来像我们车载、家居、机器人倒推唇语怎么跟它结合，但是并不是限定在这些场景。
问：你提到在限定场景唇语识别的准确率能达到90%？
陈伟：这个是没有问题的，因为在限定场景下，比如说我们现在有一个集合，我们可以对语音做一些增强，这样的话准确率高很多，因为我们有10万词，可能和垂直场景下几千词的交流这不是一个量级。
比如说在车里面，启动音乐它的准确率就很高，因为在特定的集合里面，我们有1000多个命令词，包括古诗和绕口令。这不是一个写死的状态，而是一个可以灵活操作的事情，而且这件事情其实是可以依赖任务去定制的，我们这个技术是通用的技术而不是限定的场景。
问：你觉得做这个过程的中最大的难点是什么？
陈伟：其实是泛化性。因为我们之前的数据都是来自网上爬取的新闻类的节目，筛讯的都是类似主持人这样的，因为他们是经过标准训练的人群，唇型的发音是标准的，但是很多普通人发音是不标准的。如果发音标准的主持人（识别准确率）是60%，但是普通人的话像我们之前的那个阶段可能就20％、30％，我们后来针对这个问题去录制了很多的普通人的一些数据，把这样的数据加进来之后，在普通人的泛化性上得到很大的提升。
原文はこちら
セミナー情報や最新業界レポートを無料でお届け
メールマガジンに登録
12月はじめに開催された世界インターネット大会において、捜狗は「読唇識別」技術を発表した。読唇識別を簡単に説明すると、画像や映像から人の口の形を識別し、その話している内容を文字として書き出すというものだ。
海外の開発業界において、2016年Googleとオックスフォード大学にあるディープランニングのプロジェクトチームが共同開発した読唇識別技術が、その年の動画番組の測定において、機械での読唇識別の正確率が46.8%と、プロの読唇術家の12.4%を超える識別率だった。今年3月、データー可視化サービスプロバイダーである海雲数据（hiynn.com）も類似した読唇識別技術を発表した。
昔であれば、読唇術に対する人々のイメージは、多くは小説のなかに出てくる武侠やスパイの特異スキルだっただろう。しかし、私たちが機械を用いてこの問題を解決するということは、そこに商業活用するだけの十分な余地があるということを意味している。企業にとってみれば、喜んでロットでも大規模に活用し、商品化したいところだろう。では、機械での読唇には果たしてどのような活用価値があるのだろうか？
36kr.comのインタビューを引き受けて頂いた際に、捜狗音声インタラクティブセンターの技術ディレクターである陳偉氏は次のように述べた。目下、読唇識別を活用するチャンネルは主に２種類ある。ひとつ目は、多くの言葉が使われるチャンネルにおいて、カメラのカバー率はマイクよりも非常に高いにもかかわらず、カメラが捉えた画像データでは今の段階でできるのは簡単な行動の監視だけで、たとえば、セキュリティにおいて、画面のなかの人が何を話しているかを知ることは非常に困難だ。しかし、読唇識別技術を使えば、口の動きから大量の情報を得ることができる。
もうひとつに、読唇識別はサポートする技術として音声識別技術の現段階の正確率を上げることができる。捜狗の読唇識別技術は現在公開している口語測定上では50～60％の正確率に至っており、限定された場面であれば90％まで達する。この数字は、現段階の読唇識別技術について言えば、悪くないレベルである。しかし、商業用としてとなると、まだまだレベルが足りていない。仮に各大手メーカーの音声識別の正確率が97％に達したとしても、依然として消費者を完全に満足させることはできないのだ。しかしながら、読唇識別は音声識別のサポート技術として一助となり得る。例えば、97％の音声識別率で残ったあとの3%を埋めることができるのである。
「音声認識の正確率を上げるには、ノイズを減らす必要があります。業界内にはふたつのルートがあり、ひとつはマイク・アレイなど設備の面で音声周波数を増強し、ノイズをブロックする方法です。もうひとつは、”マルチモードデータ”を加える、つまり読唇識別が提供する視覚情報といったものを使うという方法です。」と陳偉氏は説明してくれた。
36kr.comとその他メディアが捜狗読唇識別技術の開発チームをインタビューした内容（ただし、36kr.comの編集により所々省略箇所あり）
質問
マイク・アレイで音声識別の正確率を上げるのと比べて、読唇識別技術で問題解決した方が、技術という面でよりレベルアップするのではありませんか？実際に実用となった場合、カメラを増やすことでコストが増えるという問題に直面するということはないですか？
陳偉氏
私たちが行なっていることは今すぐ実用に移すということではなく、現段階で言えば、私はマイク・アレイの方が読唇に比べて依然として確実なものであると考えています。ノイズの問題解決、実用化の速度で言えば、マイク・シーケンスはすでに実用の段階にあり、読唇の配置は研究開発が一段落ついたばかりで、あとにはまだ音声周波数との結合、さらにノイズを減少させるという仕事が残っています。ですので、このことについては面している時間の長さは同じではなく、できるとしても現段階においてです。しかしながら、読唇は来年にはと考えており、私たちは1年以内に何かしらのプロジェクトで実用化を進められるよう計画を進めています。
ノイズのある環境下では、音声識別の不正確率は3%と言わず、40%にも50％にも、もしくは0％にもなります。このような状況下では「読唇識別」はマイクでの識別よりも頼りになります。例えば音が非常に騒々しい場合、マイク・アレイに設備を付け加えたところでこれらの問題を解決することはできないでしょう。限界があるのです。しかし、読唇はノイズを避け、視覚という方法で問題を解決します。
質問
現在、読唇識別が生活必需品として最も必要とされるチャンネルは何ですか？
陳偉氏
セキュリティには必要でしょう。現在、私たちは多くのエネルギーをこのノイズ問題の解決に費やしています。コストに関しては実のところ、ひとつのカメラを追加したとして、ひとつのマイク・アレイを追加した際のコストほど高くはないのです。
質問
読唇識別がユーザーのプライバシーという側面から制約されることはありますか？
陳偉氏
今はまだその段階には至っていません。私たちはこの技術がどのチャンネルで必要とされるのか、結びつくのかをまだ探しているところです。
質問
「読唇識別」の将来的な活用の展望はどんなものがありますか？
陳偉氏
将来、読唇はセキュリティ、そして身体障害者の支援でも使えるでしょう。初期の馴染みのない映画、以前の映画、つまりチャップリンのような映画には多くの場合に音声がないので、字幕をそこに付けられるのではないでしょうか。新しいものが沢山あるのですが、つまり人の口の動きから言葉を読み取れるかどうか、目下、行っていることはとても限定的です。私たちは、生活必需品というチャンネルのなかに限定しているので、こうした特定の生活必需品のチャンネルのなかに組み込みたいのです。将来的には車載、インテリア、ロボットといったものから読唇がどのように結びつくのかを考えますが、これだけに限定するわけではありません。
質問
限定された場面であれば読唇識別の正確率は90%と言われましたが？
陳偉氏
これは問題ありません。限定された場面、例えば、今私たちに集まりがあったとしましょう、私たちは音声に対して増強を加えます、こうすることで正確率は飛躍的に高くなります。なぜならば私たちは10万語彙（分のデータが）あるので、おそらくバーティカルなチャンネルでの数千語彙のコミュニケーションとは比べ物にならないからです。
例えば、車内で音楽を起動する、この正確率はとても高いです。なぜならば特定の集まりのなかでは、私たちは1000語あまりの命令文があり、そのなかには古体詩、早口言葉も含まれています。これはハードコードの状態ではなく、フレキシブルに操作することができ、さらにはタスクで処理するよう決めることができます。私たちのこの技術は汎用性のある技術であり、限定されたチャンネルだけのものではないのです。
質問
この一連のプロセスにおいて最大の難点はどこですか？
陳偉氏
実のところ、一般化することが最大の難点です。以前のデータはすべてネット上でクロールしたニュース関連の番組でした。参考にしたのはすべて司会者といった方たちで、彼らは標準的なトレーニングを受けた方々ですので、その発音は標準です。しかし、多くの一般的な人の発音は標準ではありません。もし発音が標準的な司会者（の識別正確率）が60%ならば、一般の人の場合は以前の段階であれば20%、30%でした。その後、私たちはこの問題に焦点を当ててたくさんの一般の人からデータを録音・録画し、新たにこれらのデーターを組み込んだのち、一般の人の汎用化という点で多大なレベルアップを図ったのです。
原文はこちら
セミナー情報や最新業界レポートを無料でお届け
メールマガジンに登録
フォローする
フォローする
