3Dコンテンツに特化、生成AIの中国新鋭「DreamTech」が数億円調達〜独自開発の合成データも活用

2024年8月25日0202

Related tags : OpenAI 画像生成生成AI 動画生成 Sora 3D生成 DreamTech AI

36Kr Japanで提供している記事以外に、スタートアップ企業や中国ビジネスのトレンドに関するニュース、レポート記事、企業データベースなど、有料コンテンツサービス「CONNECTO（コネクト）」を会員限定にお届けします。無料会員向けに公開している内容もあるので、ぜひご登録ください。

原文はこちら

セミナー情報や最新業界レポートを無料でお届け

メールマガジンに登録

中国の人工知能（AI）スタートアップ「DreamTech」が、エンジェルラウンドとその追加ラウンドで計数千万元（数億円超）を調達した。エンジェルラウンドの出資は元禾原点（Oriza Seed）が主導し、啓迪之星（Tus Star）と雲天使基金（Cloud Angel Fund）も参加した。追加ラウンドでは初心資本（Chuxin Capital）が出資した。

DreamTechは2023年12月に開業し、3D生成AIの開発に注力している。最高経営責任者（CEO）の張飛虎氏は英オックスフォード大学で博士号を取得。創業メンバーには、米アップルのほか中国の騰訊控股（テンセント）や百度（バイドゥ）などテック大手の出身者が並ぶ。

画像生成AIや動画生成AIはすでに多数発表されており、技術路線もまとまりつつある。しかし、2Dの画像・動画生成に比べると3Dコンテンツの生成は遅れており、技術面で模索が続いている。AIを利用して3Dの立体モデルを生成するには、2Dの平面データを3D化する方法と、最初から3Dデータを使用する方法の2通りある。

2Dの平面データを3D化する場合、まずテキストまたは写真などの2D画像を多視点画像に変換し、改めて3Dモデルを再構成する。この方法のメリットは、「Stable Diffusion」のような既存の画像生成モデルをベースに微調整を加え、容易に訓練を完了できることだ。しかし、複雑なプロセスの途中で発生した誤差が積み重なり、生成された3Dコンテンツがいびつになるなど品質上の問題が生じるデメリットもある。また、そもそも2D画像には3Dデータが欠けているため、モデルパラメータや訓練データを増やしたとしても3Dモデルの品質を高めるのは難しい。

最初から3Dデータを使用する方法のメリットは、訓練データや最適化の目標値がオリジナルの3Dコンテンツに基づいているため、生成された3Dコンテンツの品質や効果が優れている上、複雑なコンテキストの処理にもより良く対応できることだろう。

「しかし、最大の課題が残されている。3Dデータは不足しており、作成するには多くのコストが必要になる。世界的に見ても高品質な3Dデータはおそらく400万〜500万件程度しかない。しかも、人の手でモデリングするため、作成コストがかさむ上に時間もかかる。高品質な3Dコンテンツを作成するには、プロの3Dデザイナーでも約2週間必要だ。さらに、3Dディフュージョンモデル（拡散モデル）の訓練には極めて高い演算力が必要になる」とDreamTechの張CEOは指摘する。

DreamTechは、最初から3Dデータを使用する路線を選択し、まずはデコーダネットワークを通じてオリジナルの3Dデータに限りなく近い形を再現する方法を見つけ出した。次にディフュージョントランスフォーマーに基づくアーキテクチャを用いることで、訓練データやパラメータを増やし、大規模言語モデル（LLM）を利用したコンテンツ生成の質を飛躍的に向上させることに成功した。

ディフュージョントランスフォーマーを用いた動画生成AIの代表例は、米OpenAIが2024年2月に発表した「Sora」だろう。発表されるやいなや、動画の解像度や長さ、質の高さで世界中を驚かせた。

DreamTechの取り組みに話を戻すと、同社は3Dデータ不足を解決するため、3Dデータの合成エンジンを自社開発し、データクレンジングやアノテーションなどの工程を自動で処理する仕組みを確立した。生み出される3Dデータは1000万件規模でいずれも高品質、3D生成AIモデルの訓練を一歩先に進められるようになった。

同社は2024年5月、3Dディフュージョントランスフォーマーを用いた3D生成AIモデル「Direct3D-1B」を発表した。張CEOによると、Direct3D-1Bは最初から3Dデータを用いる世界初の3D生成AIモデルで、訓練データが増えるに従って、3D生成の質が高まり訓練コストは下がっていく。今後はさらにパラメータ数と訓練規模を拡大する方針だという。また性能の向上にも努め、年内には画像やテキストから3Dコンテンツを生成するまでの時間を30秒以内に圧縮できる見通しとなっている。