Fotorは画像生成AIツール、また画像編集AIプラットフォームとして世界でも多くのユーザーを抱えている。2022年8月に動画生成AIの機能をリリース、その後もAIを活用したキャラクター生成やアニメーション化、画像の高画質化などの機能を相次いで発表した。月間アクティブユーザー数（MAU）は1500万人に達する。同社の創業者でもある段江CEOによると、Fotorは画像処理分野で多くの経験を重ね、汎用性の高い技術を持つ。ユーザーからの要望を受けて、動画生成AIの開発にも着手することを決めたという。

動画生成AIはまだ初期の段階にあり、AIツール間に互換性がないため、ユーザーの作業手順は煩雑だ。まず画像生成AI「Stable Diffusion」や「Midjourney」などで静止画像を生成、それを動画生成ツール「Runway」や「Pika」などを使って動画にし、最後に動画編集ツール「Adobe Premiere Pro」や「剪映（Cap Cut）」などで編集して、ようやく動画が完成する。

Clipflyはそこに着目し、テキストや静止画像からの動画作成、動画編集などの機能を備えるようにした。これによりユーザーは、ひとつのプラットフォーム上で動画制作に必要なあらゆる作業を済ませることができる。

Clipflyで生成した動画のキャプチャー

Clipflyでは、まずプロンプトを入力して1～4枚の静止画像（フレーム）を生成し、それぞれの画像から4秒程度のビデオクリップを作る。全体が十分な長さになったら動画エディターで字幕や音楽を挿入し、編集して動画を完成させる。

段CEOは、ショート動画広告などでクリエイターが求めているのはワンカットの動画ではなく、次々に変化する多彩なビデオクリップだと考えている。Clipflyは基盤モデルを最適化することで、生成したビデオクリップの採用率を向上させ、クリエイターの要望に応えた。「1分間の動画生成が可能なOpenAIの『Sora』が発表されたものの、いまだに一般には公開されていない。私たちはオールインワンのプラットフォームを通じて動画生成AIの問題点を解決し、動画クリエイターが使いやすいツールを提供する」と語った。

Clipflyの開発プロジェクトが始動したのは2023年6月。開発チームは実績ある技術や製品開発スキルで、キャラクターの一貫性などの課題を克服したという。開発には半年を要したが、それはオールインワンのAI動画プラットフォームに対して多くの要望があったため、開発チームが動画エディターをゼロから作り、さまざまなタイプの視覚モデルを組み合わせたからだ。

ClipflyではStable Diffusionなどオープンソースモデルを使って最適化を行い、テキストから画像や動画を生成する機能を実装した一方で、画像処理分野の中心的なアルゴリズムに基づいて画像補正機能を持たせ、画質を向上させた。画像補正の分野では、AIGC（AI生成コンテンツ）の考え方を取り入れるチームもあるが、大量の画像を使った訓練や、未処理の画像から新たに画像を生成するには多くの時間やリソースを必要とする。Clipflyはオーソドックスな画像処理アルゴリズムとコンピュータービジョンアルゴリズムをベースにして、端末側で画像処理計算ができるようにし、処理の高速化を実現した。

AIでオリジナル商品動画を生成する「FancyTech」、ECの購入率を数十倍に

（翻訳・36Kr Japan編集部）

Pika labsは今年4月に設立されたばかりで、創業者兼最高経営責任者（CEO）の郭文景（Demi Guo）氏と、共同創業者で最高技術責任者（CTO）の孟晨琳（Chenlin Meng）氏は共にスタンフォード大学出身。同社の主力プロダクト「Pika 1.0」はこのほど公開された新たなAIツールで、極めて高品質な3D動画やアニメ風、映画風など、さまざまなスタイルの動画をテキストから生成・編集することができる。

Pika labsは別の形でも注目を浴びた。創業者の郭氏の父親が、中国の上場企業で金融機関にソフトウエアやサービスを提供する「信雅達科技（Sunyard Technology）」の実質的支配者である郭華強氏だということが明らかになったのだ。このことから、中国のネット上では「信雅達がAIツールを開発した」という事実と異なる情報が広がった。信雅達の株価は12月1日の取引開始直後にストップ高となり、現在も上昇を続けている。

信雅達は1日夜に発表した公告で、Pika labsとの間にはいかなる関係もなく、郭文景氏は信雅達でいかなる役職にも就いていないと説明。また、信雅達はPika labsに出資しておらず、取引もないという。

生成AIスタートアップ「Sparticle」、プレシリーズAで約5億円調達　日本語LLMの開発を強化

＊2023年12月6日のレート（1ドル＝約147円）で計算しています。

（36Kr Japan編集部）