画像編集ソフトウェア「Fotor」で知られる中国のスタートアップ企業「恒図科技（Everimaging）」が、動画生成AIプラットフォーム「Clipfly」をリリースした。AIを活用した動画生成や動画の高画質化、編集など多くの機能を備えており、世界初のオールインワンAI動画制作サービスになるという。現在オンラインでのテスト段階にあり、ユーザーの多くはFotorの利用者だ。

Fotorは画像生成AIツール、また画像編集AIプラットフォームとして世界でも多くのユーザーを抱えている。2022年8月に動画生成AIの機能をリリース、その後もAIを活用したキャラクター生成やアニメーション化、画像の高画質化などの機能を相次いで発表した。月間アクティブユーザー数（MAU）は1500万人に達する。同社の創業者でもある段江CEOによると、Fotorは画像処理分野で多くの経験を重ね、汎用性の高い技術を持つ。ユーザーからの要望を受けて、動画生成AIの開発にも着手することを決めたという。

動画生成AIはまだ初期の段階にあり、AIツール間に互換性がないため、ユーザーの作業手順は煩雑だ。まず画像生成AI「Stable Diffusion」や「Midjourney」などで静止画像を生成、それを動画生成ツール「Runway」や「Pika」などを使って動画にし、最後に動画編集ツール「Adobe Premiere Pro」や「剪映（Cap Cut）」などで編集して、ようやく動画が完成する。

Clipflyはそこに着目し、テキストや静止画像からの動画作成、動画編集などの機能を備えるようにした。これによりユーザーは、ひとつのプラットフォーム上で動画制作に必要なあらゆる作業を済ませることができる。

Clipflyでは、まずプロンプトを入力して1～4枚の静止画像（フレーム）を生成し、それぞれの画像から4秒程度のビデオクリップを作る。全体が十分な長さになったら動画エディターで字幕や音楽を挿入し、編集して動画を完成させる。

段CEOは、ショート動画広告などでクリエイターが求めているのはワンカットの動画ではなく、次々に変化する多彩なビデオクリップだと考えている。Clipflyは基盤モデルを最適化することで、生成したビデオクリップの採用率を向上させ、クリエイターの要望に応えた。「1分間の動画生成が可能なOpenAIの『Sora』が発表されたものの、いまだに一般には公開されていない。私たちはオールインワンのプラットフォームを通じて動画生成AIの問題点を解決し、動画クリエイターが使いやすいツールを提供する」と語った。

Clipflyの開発プロジェクトが始動したのは2023年6月。開発チームは実績ある技術や製品開発スキルで、キャラクターの一貫性などの課題を克服したという。開発には半年を要したが、それはオールインワンのAI動画プラットフォームに対して多くの要望があったため、開発チームが動画エディターをゼロから作り、さまざまなタイプの視覚モデルを組み合わせたからだ。

ClipflyではStable Diffusionなどオープンソースモデルを使って最適化を行い、テキストから画像や動画を生成する機能を実装した一方で、画像処理分野の中心的なアルゴリズムに基づいて画像補正機能を持たせ、画質を向上させた。画像補正の分野では、AIGC（AI生成コンテンツ）の考え方を取り入れるチームもあるが、大量の画像を使った訓練や、未処理の画像から新たに画像を生成するには多くの時間やリソースを必要とする。Clipflyはオーソドックスな画像処理アルゴリズムとコンピュータービジョンアルゴリズムをベースにして、端末側で画像処理計算ができるようにし、処理の高速化を実現した。

AIでオリジナル商品動画を生成する「FancyTech」、ECの購入率を数十倍に

（翻訳・36Kr Japan編集部）

36Kr Japanで提供している記事以外に、スタートアップ企業や中国ビジネスのトレンドに関するニュース、レポート記事、企業データベースなど、有料コンテンツサービス「CONNECTO（コネクト）」を会員限定にお届けします。無料会員向けに公開している内容もあるので、ぜひご登録ください。

原文はこちら