LiveBenchの最初の評価は、世界をリードする34のオープンソースおよびクローズドソースのLLMを対象に実施された。1位は米OpenAIの「GPT-4o」だった。2位以下は、米アンソロピックの「Claude 3」、米グーグルの「Gemini-1.5」、中国アリババグループの「Qwen2-72B」と続いた。Qwen2-72Bは、オープンソースモデルでは最上位となり、中国のLLMで唯一トップ10に入った。

「Llama 3-V」開発のスタンフォード大チーム、中国のマルチモーダルモデル盗用で謝罪

Qwenシリーズからは計7つのモデルがランクイン、OpenAIのGPTシリーズに次ぐ多さだった。Qwenシリーズのオープンソースモデルは、これまでに1600万回以上ダウンロードされている。

（36Kr Japan編集部）