中国企業の大規模言語モデル（LLM）開発が実用化段階に入り、同時にオープンソースエコシステムもその姿を現しはじめている。

アリババグループ系列で、中国クラウドサービス大手の「アリババクラウド（阿里雲）」は、同社2つ目の大規模言語モデルでパラメーター数140億の「Qwen-14B」と、チャットモデル「Qwen-14B-Chat」をオープンソース化し、無償で商用利用できるようにした。

アリババクラウドは今年8月にパラメーター数70億の「Qwen-7B」などを発表したばかり。こちらは1カ月余りでダウンロード数100万回を突破している。

Qwen-14Bは7Bと比較してパラメーター数が増えただけでなく、性能も大きく向上した。多言語対応で、3兆トークンを超えるデータセットを用いて事前学習したものだ。オープンソースの大規模言語モデルで世界最高水準とされる米メタの「Llama2」でも、使用された事前学習データは約2兆トークンだ。

Qwen-14Bは最大8kのコンテキスト長に対応し、高度な推論・認知・計画・記憶力を有している。これはトップクラスの大規模言語モデル並みのスペックだ。例えばGPT-4は、8k版で英単語6000語を処理できる。

アリババクラウドによると、Qwen-14Bは複数の権威あるベンチマークテストで同等規模のモデルを上回るスコアを出しており、一部指標では「Llama2-70B」に迫るという。

今回オープンソース化されたもう一つのQwen-14B-Chatは、ベースモデルに教師ありファインチューニングを施したチャットモデルだ。アリババクラウドによると、Qwen-14B-Chatはベースモデルの性能を土台にコンテンツ生成の精度を大きく上げ、人の感覚にいっそうフィットするようになり、コンテンツ生成に必要な想像力やバラエティも顕著に広がったという。

開発者視点で見ると、Qwen-14B-ChatはAIエージェントなどより幅広いシーンで活用できるようになる。Code InterpreterでPythonコードを実行して複雑な計算やデータ分析、図表の作成をするなど、開発者がシンプルなコマンドを入力するだけでQwen-14B-Chatが複雑なツールを使いこなせるようになる。さらに、複数文書対応の質問応答や長文執筆の能力を持つ「高度なデジタルアシスタント」も開発可能だ。

アリババクラウドは多くのテストデータセットを用いたQwen-14Bの評価結果を公表している。MMLU（マルチタスク言語理解）、C-Eval（中国語の知識・推論能力）、GSM8K（数学的推論）、MATH（数学的推論）など12のベンチマークのいずれにおいても同等規模の全SOTA（State-Of-The-Art）モデルを上回っており、Llama-2-13B（パラメーター数130億）」をも上回っている。

中国の大規模言語モデルの実用化は軌道に乗りつつあり、オープンソースエコシステムも徐々に形成されてきている。アリババクラウドの「魔搭（ModelScope）社区」は中国で最も早く立ち上がった大規模言語モデルのオープンソースコミュニティの一つだ。同コミュニティにはこれまでにQwenをベースとしたモデルが50以上誕生している。それらのダウンロード数は過去2カ月で4500万回から8500万回にまで伸びた。

中国国内では月間アクティブユーザー数が1億人を超える複数のアプリにアリババの対話型AI「通義千問（Tongyi Qianwen）」が組み込まれ、数多くの中小企業や研究機関、開発者が通義千問ベースの独自モデルやプロダクトを開発している。一例として、Qwen-7Bを組み込んだ「有鹿智能（UDEER・AI）」社の路面清掃ロボットは人と会話ができ、ユーザーの要求を理解してその通りの作業ができるという。

（翻訳・山下にか）

原文はこちら