設定ページで新機能をオンにすると、チャット履歴から画像を抽出できるようになる。「写真・動画」検索ボックスにキーワードを入力すると、関連画像が一覧表示される仕組みだ。検索ボックスの下には「QRコード」「スクリーンショット」「人物」「食べ物」などのカテゴリが並び、ボタンをクリックするだけで関連画像が表示される。

チャット履歴の画像検索には、画像認識技術と文字認識（OCR）技術が活用されている。人工知能（AI）が人物や食べ物、植物などさまざまなカテゴリーの画像を識別し、文字認識で画像内の文字も識別する。二重の認識プロセスが画像検索機能の精度を高めている。

（36Kr Japan編集部）

「小初」がこのような能力を備えているのは、「紫東太初」という名のクロスモーダル汎用（はんよう）AIプラットフォームのおかげである。このプラットフォームは中国科学院自動化研究所が開発したもので、国産化した基礎的なソフト・ハードウエアをベースにしており、一つのビッグモデルを採用するだけで、視覚、テキスト、音声といった複数のシナリオでのＡＩの理解能力を「鍛錬」することができる。

同研究所の徐波所長は次のように説明した。「ビッグデータ＋ビッグモデル＋マルチモーダル」は、単一のモデルで単一のタスクに対応するという現在のＡＩ研究開発のパラダイムを変え、マルチモーダル・ビッグモデルはさまざまな分野の共通プラットフォーム技術となるだろう。これは汎用ＡＩに向かう重要な道筋を模索するものだ。

「『紫東太初』は画像、テキスト、音声という３種類のモーダルの統一された表現方式を実現し、画像による音声の生成、音声による画像の生成を行う。動画のアフレコ、音声放送、タイトルや要点の作成、ポスター創作など一層多元的なシナリオでのＡＩの応用を開拓していく」、徐氏はこう語る。

中国科学院自動化研究所は中国語プレトレーニングモデル、音声プレトレーニングモデル、視覚プレトレーニングモデルを構築するとともに、クロスモーダルのリンクを通じ、三つのモーダルのプレトレーニングビッグモデルを構築したといわれる。