動画配信、3D顔再現技術で人間がバーチャルキャストに変身

36Kr Japan | 最大級の中国テック・スタートアップ専門メディア

日本最大級の中国テック・スタートアップ専門メディア。日本経済新聞社とパートナーシップ提携。デジタル化で先行する中国の「今」から日本の未来を読み取ろう。

スタートアップ注目記事

動画配信、3D顔再現技術で人間がバーチャルキャストに変身

原文はこちら

セミナー情報や最新業界レポートを無料でお届け

メールマガジンに登録

続きを読む

調査会社「艾媒諮詢(iiMedia.com)」によると、2019年、中国のライブ動画配信の視聴者は5億人に達し、ネットユーザー全体の59%を占めたという。ゲーム、芸能の生放送から、ECサイトのプロモーションビデオまで、ライブ配信が日常生活のあらゆる面に浸透している。拡大しつつある市場の需要により、コンテンツが大量に制作され、2018年の新規ライブ配信者(ライバーともいう)は217万人に達した。本物の人間だけでなく、バーチャルキャストの配信者も誕生した。2019年5月現在、動画サイト大手の「ビリビリ(bilibili)」のバーチャルキャストは1000人近くになっているという。

バーチャルキャストが流行する背景として、様々なキャラクターと豊富なコンテンツに対するユーザーのニーズがある。バーチャルキャストはユーザーの好みによりキャラクターの設定が可能で、披露する芸も人間より幅が広い。ショート動画サイト「快手(kuaishou、海外版はKwai)」では、バーチャルキャストの「一禅和尚」が49分間の生放送中に64.9万の「いいね」を獲得し、視聴者数は瞬間最高25万人を超えた。バーチャルキャストは新しいユーザーを集めることができ、また、それと関連するモーションキャプチャー技術も新しいビジネスチャンスを生み出した。「智京未来(Zhijing Weilai)」は、こうした流れのなかで誕生したバーチャルキャスト関連のソリューションを提供する企業である。

智京未来は2019年11月に設立され、人間が操作するバーチャルキャストや、人間の配信者とインタラクションするための技術開発を行っている。顔認識とモーションキャプチャーにより人間の表情を捕捉し、バーチャルキャストを作成する。キャラクター自体は既存の漫画やアニメのキャラクターが使用でき、3D技術で人間の写真に基づき作ることも可能である。創業者の王智武氏によると、同社の3D顔再現技術の正確度は90%に達したという。また、同技術で人間の動作を再現することもできる。

智京未来のモーションキャプチャー

同社のモーションキャプチャーは、モーションキャプチャー設備ではなく、深度センサーカメラ技術を採用している。その理由の一つはコストの低減であるが、アルゴリズムの進化により、深度センサーカメラでも顔と身体識別の精度と範囲が拡大していることもある。

王氏は、表情と動作のキャプチャー以外に、バーチャルキャストの作成のもう一つのキーポイントはレンダリングであると指摘。レンダリングの精度がユーザーのバーチャルキャストに対する受容度を左右する。同社はUnity等のゲーム制作エンジンに基づき、材質や色彩などについての専門プログラムを開発した。

生放送中に、同社のバーチャルキャストは人間を代替することができる一方、人間の配信者とのインタラクションも可能である。いずれの場合も、同時にバックステージでスタッフにより表情と体の動きを操作する必要がある。5GとAIの発展につれ、今後はAIによりバーチャルキャストを操作することも考えられる。AIのディープラーニングを利用し、バーチャルキャストは速やかに人間の表現方式を学び、人間の「バーチャルツイン」になるかもしれない。

現在、同社は主に企業向けサービスを提供し、有料ソフトウェア、モデルのカスタマイズ、およびECサイトのライブコマースで収益を得ている。現在、同社は数百名の人気配信者を持つコンテンツ制作会社やECサイトにバーチャルキャスト開発の関連サービスを提供している。

生放送以外に、同社の技術はショート動画分野でも利用されており、中国公安部消防局の宣伝教育センターのために、子供向け消防歌謡のビデオを制作した。

子供向け消防歌謡

現在、同社はエンジェルラウンドで資金調達を行っている。

(翻訳:小六)

原文はこちら

セミナー情報や最新業界レポートを無料でお届け

メールマガジンに登録

関連キーワード

セミナー情報や最新業界レポートを無料でお届け

メールマガジンに登録