「AI分野の天才少年」と呼ばれている楊氏は、中国の名門・清華大学を卒業して、米カーネギーメロン大学博士課程在学中の2019年に筆頭著者として深層学習モデル「Transformer-XL」および「XLNet」に関する2本の論文を発表し、大規模言語モデルの技術がブレークスルーを果たすうえで重要な役割を担った。

楊氏はカーネギーメロン大在学中、過去に米アップルでAIディレクターを務めた Ruslan Salakhutdinov教授に師事。グーグル研究部門Google ResearchのAI開発チーム「Google Brain」やフェイスブック（現Meta）のAI研究組織「Facebook AI Research（FAIR）」にも参加し、コンピューター界のノーベル賞とされるチューリング賞の受賞者たちと共同で論文を発表してきた。

2023年4月にはこれまでの研究成果を基に、大規模言語モデルを開発する自身の会社「月之暗面科技（Moonshot AI）」を立ち上げた。同社は設立まもなく2億ドル（約300億円）以上の調達に成功している。半年後の10月9日、Moonshot AIは初のプロダクトとなるAIアシスタント「Kimi Chat」を発表した。大規模言語モデル分野のコンシューマー向けスーパーアプリとして同社初の試みとなる。

Kimi Chatは漢字20万字の入力に対応可能な、現段階で世界最長のコンテキストウィンドウを持つ大規模言語モデルだ。Moonshot AIは長いコンテキストに対応する技術で新たな高みに到達したと言える。現在の主要モデルと比較すると、Kimi Chatのコンテキストウィンドウは米Anthropicの「Claude 100k（10万トークン対応、約8万字相当）」の2.5倍、「GPT-4-32k（3万2000トークン対応、約2万5000字相当）」の8倍に相当する。

「テキスト、音声、動画に関わらず、大量のデータをロスなく圧縮できれば高度なインテリジェンスを実現できる。また、大規模言語モデルの性能を上げるにはパラメーター数を増やすだけでなく、コンテクストウィンドウを拡大する必要があり、どちらも等しく重要だ」と楊氏は述べる。

すでにリリースされている大規模言語モデルのサービスの多くと比べて、コンテキストウィンドウを拡大したKimi Chatにはどのような違いがあるのだろうか？最も顕著なのは、一度に大量の情報をインプットでき、それに対するアウトプットでハルシネーション（一見もっともらしいが事実にそぐわない情報を生成すること）が明らかに減少するということだ。

Kimi Chatはインターネット上の長文コンテンツをすぐに要約し、分析してくれる。アルゴリズムに関する新しい論文を見つけた場合は、論文を参照してコードに落とし込んでくれる。試験前にPDF化したテキストを渡すと、一緒に試験対策をしてくれる。動画のリンクを送信すると、Kimi Chatがユーザーのお気に入りキャラクターの特徴を学び、これに扮して会話することすら可能だ。

大規模言語モデルの「記憶力」が向上すれば、その応用シナリオは将来的に大きく広がる。弁護士やアナリストに代わって長文レポートの分析をしたり、人狼ゲームのような推理系ゲームで活躍したりするようになる。

楊氏は「大規模言語モデルは向こう5年は強い技術的優位を維持し続け、コモディティ化することはないだろう」としている。

Kimi ChatはMoonshot AIにとって、LLM（大規模言語モデル）からLLLM（長文対応の大規模言語モデル）に至るまでの第一歩に過ぎない。しかし、Moonshot AIには楊氏が描く未来予想の一部がすでに託されている。ロボットが1人の人間の一生分の情報を把握できるようになれば、人は自身の分身となるAIを持つようになり、その分身はすべての記憶を自分と共有するもう1人の自分になる、そういう未来だ。

Kimi Chatは現在ベータテストを実施中だ。moonshot .cnから申請すれば参加できる。

「シリコンバレーが認めた」中国大規模言語モデル「Zhipu AI」にアリババも出資　ユニコーン企業入り

（翻訳・山下にか）