音声合成モデルの開発に取り組む中国のスタートアップ「趣丸網絡科技（Quwan Network Technology）」（以下、趣丸科技）が4月7日、独自の音声合成モデル「MaskGCT」を活用したAI音声生成プラットフォーム「趣丸千音（All Voice Lab）」を正式にリリースした。テキストの音声変換、動画翻訳、音声クローンなどの機能を集約し、字幕の消去が可能なほか、リップシンクなどの機能も搭載される予定だ。

この中核技術であるMaskGCTは、趣丸科技と香港中文大学・深圳校が共同開発したオープンソースの音声合成モデルで、音質や類似性、制御性能などが世界の最先端、業界の最高水準を実現しており、2024年10月のリリース直後から広く注目される存在となった。

話題の音声合成モデル「MaskGCT」、たった数秒で超リアルな音声クローン　日・英・中など多言語対応

海外では、ElevenLabsが開発した音声合成技術が品質の高さと豊富な音声を選択できることで知られ、オーディオブックやポッドキャスト、ゲームなどの分野で広く活用されている。しかし中国国内ではアクセスが制限されているため、それと比較すると趣丸千音はローカルでの利用において優位な立場にある。

同プラットフォームは現在、中国語のほか英語、日本語、韓国語、ドイツ語、フランス語など多言語間での相互翻訳が可能で、音声のバリエーションは数十種類あり、複数の役割を割り当てたり速度調整したりすることもできる。さらに字幕の削除から翻訳、吹き替え、ポストプロダクション、納品まで動画翻訳に関わる一連の作業を全て自動化した。40GBの動画を一括で処理でき、1日当たりの平均処理量は1000分を超え、従来に比べて効率が10倍以上に向上した。

実際に36Krが自社CEOのスピーチ動画を使って中国語から英語・日本語への翻訳を試した。動画をワンクリックでアップロードするだけで、AIが自動的に字幕を付け音声を吹き替えた翻訳版を作り上げてくれた。その結果はというと、生成された音声はオリジナル音声の口調や感情が高度に再現され、英語も日本語もクリアな発音でよどみなく、人間の声に大変よく似ていた。

この音声翻訳機能は、まず海外向けショートドラマ市場での活用が期待されている。中国ではショートドラマの制作が盛んで、多くの制作会社が質の良い人気ドラマをそのまま翻訳して海外へ売り出そうとしている。あるショートドラマのプラットフォームの責任者によると、これまでは翻訳版の制作には1分当たり200～300元（4000～6000円）程度のコストがかかり、作業に30日を要していたが、趣丸千音を利用すれば3日に短縮できる。さらにAIがオリジナル版の配役の口調や感情、声色を正確に再現し、キャラクターイメージにぴったりと合っているため、大量の海外ユーザーを引き付けるのに一役買っているという。

中国発ショートドラマアプリ、米国が最大の海外市場に。日本でも驚異の「シェア9割」

ニュースの分野でもすでに、趣丸千音を使って翻訳のコストや時間を大幅に削減する取り組みが始まっている。ワンクリックで英語・日本語・韓国語の海外向け動画コンテンツを生成し、動画投稿アプリ「TikTok」や動画共有サイト「Youtube」などで同時に配信するメディアも登場している。またオーディオブック市場では、システムが役柄ごとに異なる音声を自動的に割り当て、1時間の音源制作に必要な時間は3日から20分に短縮された。

趣丸千音は、ほかのデバイスやシステムに組み込みやすいという点でも優れている。スマートフォンやARグラス、車載音響システムなどにも対応し、AI音声対話やナビゲーション・ガイドなどでの応用が可能だ。例えば博物館では、ガイドが語る説明をその場で外国語に変換するサービスを提供することもできる。

＊1元＝約19円で計算しています。

（翻訳・36Kr Japan編集部）

36Kr Japanで提供している記事以外に、スタートアップ企業や中国ビジネスのトレンドに関するニュース、レポート記事、企業データベースなど、有料コンテンツサービス「CONNECTO（コネクト）」を会員限定にお届けします。無料会員向けに公開している内容もあるので、ぜひご登録ください。

原文はこちら