音声を字幕で表示するARグラス発売。聴力障害・衰えに対応、翻訳機能も

2022年10月24日04168

36Kr Japanで提供している記事以外に、スタートアップ企業や中国ビジネスのトレンドに関するニュース、レポート記事、企業データベースなど、有料コンテンツサービス「CONNECTO（コネクト）」を会員限定にお届けします。無料会員向けに公開している内容もあるので、ぜひご登録ください。

原文はこちら

セミナー情報や最新業界レポートを無料でお届け

メールマガジンに登録

AR（拡張現実）とAI（人工知能）のワンストップソリューションを手がける「亮亮視野科技（LLVision Technology）」が、一般消費者向けARグラス「聴語者」の製品発表会を開催した。光学ウェーブガイド（光導波路）技術を採用したデュアルレンズのワイヤレス一体型デバイスとしては、重さ80グラムを下回る量産品は業界初だ。聴力障害のある人々や聴力の衰えた高齢者を時や場所を問わず支援するほか、異なる言語を話す国の人々の間でもコミュニケーションの壁を取り払ってくれる。

字幕を表示できるARグラスはAR業界で新たに誕生した製品形態であり、多くの企業が研究を進めている。亮亮視野は字幕表示機能のついたARグラスについて、「はっきり見える」「正確に聞こえる」「装着感がよい」「簡単に使える」という4つの要素を満たすべきだと考える。聴語者は一般消費者向けARグラスとしては珍しくデュアルレンズの光学ウェーブガイドを採用しており、目にもやさしく、重さはわずか79gで、装着感も優れている。

ディスプレイ性能については、自社で開発したアレイウェーブガイドのディスプレイモジュール「八面体」を採用。リフレッシュレートは120Hzでブルーライトの放出も少なく、ちらつきも生じない。最高輝度は1500nit（ニト）、透光率は85%で、光の強い環境でもレンズに表示された文字がはっきり読めるうえ、透過性は一般的なプラスチックレンズの眼鏡と同等だ。バーチャル画面が現実の視界を遮ることがなく、目で字幕を追いながら会話の相手もはっきり見えている状態は、聴覚障害者の需要を満たすものだ。輝度はその時の明るさに応じて自動調整され、暗所で使っても目に負担が少ない。

「八面体」が他の光学ソリューションと異なるもう一つの特徴は、光漏れがないことだ。グラスを装着している人物だけがレンズに映し出されるコンテンツを見ることができ、第三者からは完全に見えないようになっている。

デュアルレンズ設計を採用したことで、シングルレンズのARグラスが抱えていた問題は完全に解決した。

例えば注意がそれたり、左右の眼の焦点が長い時間一致しなかったりすることで、シングルレンズのARグラスでは残像が残るなどの問題が起こる。亮亮視野はデュアルレンズを融合させる技術で特許を取得しており、中国トップクラスのカメラ生産ラインを有する企業と共同で国内最高仕様のARモジュール組み立てラインを構築している。高精度ロボットが人間の眼を模したカメラを通じ、自動フォーカスで2つのカメラモジュールを0.05ピクセルレベルで融合させ、画像にはピンぼけやゴーストなどを生じさせない。また、ユーザーは長時間装着してもめまいを感じることがない。

音声を感知・認識できる字幕機能付きARグラスは、音響システムの良し悪しが製品の利用シーンや使用体験を直接左右する。亮亮視野はMEMSマイクアレイをベースとしたソフトウェア・ハードウェア統合ソリューションを導入。専用の音声転写アルゴリズムやアクティブノイズキャンセリングのアルゴリズム、ゾーン別音声自動認識アルゴリズムなどの先端技術を組み合わせて、遠くからも高精度で音を拾い、話者の位置を自動的に判断して、それ以外の方向からのノイズを遮断する。

一連のアルゴリズムが最適化をバックアップすることで音声認識の精度も上げた。70dB（デシベル）の騒音環境で5メートル離れた場所からの音声でも、テキスト変換の確度は85%以上に達し、音声を検知してから500ミリ秒以内にテキストが表示される。周囲がうるさい場合でも、対話相手に発言内容を聞き返すようなこともなくなるのだ。

表示されたテキストをよりスムーズに読めるよう、自動で文字を校正し、句読点をつけるアルゴリズムも搭載している。前後の文脈から自動で誤字を見つけて修正したり、終助詞（語気を表すために文末につける助詞）や文法的に間違いのあるセンテンスを修正したり、長過ぎるセンテンスを自動的に区切って句読点を加えたりする。フォントサイズは3段階に分かれ、高齢のユーザーにも配慮する。

使い方も簡単だ。翻訳機能を搭載したアプリをスマートフォンにダウンロードし、ペアリングするだけで使えるようになる。ワイヤレス設計は必ずしもケーブル接続を不要にするためだけではなく、Android端末にもiOS端末にも対応できるようにするためでもあり、ユーザーがすでに持っているスマートフォンをそのまま使えるようにしている。また、ARグラスが直接Wi-Fiに接続するため、スマートフォンの電力消費を抑えることもできる。専用アプリはすでにファーウェイやシャオミ、アップルなどのアプリストアからダウンロード可能だ。

亮亮視野を創業した呉斐CEOによると、将来的にはオフラインで使用できるようにする計画だ。ネットワークに接続した状態と比べるとテキスト変換のスピードや確度はやや落ちるが、基本的にはユーザーが満足できるレベルにはなるという。さらにオフラインモードでの使用体験を向上できるよう、技術チームがオフライン時の音声認識モデルの改善に取り組んでいるとのことだ。