米スタンフォード大学人間中心人工知能研究所（Human-Centered AI Institute）は6月中旬、AIの基盤モデルに関する研究結果を発表した。10の基盤モデルを対象に、EUのAI規制法案「EU AI Act（草案）」が定める基準を満たしているかを評価したものだが、最先端の基盤モデルはいずれもこれを満たしていないことがわかった。

報告書の中では「主要な基盤モデルのプロバイダーは基本的にEU AI Act草案が求める要件を遵守していない。プロバイダーはモデルに関するデータやコンピューテーション、デプロイメント（配置）、さらにモデルそのものの重要な特徴について十分な情報を開示していない。とくに、著作権で保護されたトレーニングデータの使用、トレーニングに使用されたハードウェアやトレーニングの過程で生じた排出状況といった、草案が開示を求めているデータを明らかにしておらず、また評価の方法やモデルのテスト方法についても明かしていない」とつづられている。

EU AI ActはAIを規制する世界初の法案であり、EU市場における基盤モデルの発展に影響してくるものだ。

欧州議会は6月14日、EU AI Actの草案を賛成299票、反対28票、棄権93票で可決した。草案では、Open AIやグーグルなどの基盤モデルが負うべき義務を明示している。AI技術がユーザーに対して透明性を維持し、公平かつ安全であることを求めており、2024年に施行される見込みだ。

スタンフォード大学人間中心人工知能研究所より

スタンフォード大の研究チームはEU AI Actの草案からまず22項目の要件を抜き出し、公開データを有意義に使用しているかどうかを基準として最終的に12項目の評価項目を選定した。各項目はデータソース・データ処理・モデル本体・実際の運用の4つの区分に分けられ、それぞれを0点〜4点の5段階で評価した（※編集部注：各項目を4点満点で評価し、計12項目で48点満点としている）。

評価対象となった基盤モデルの得点はいずれも満点からはほど遠いものだった。主な問題点は、著作権に関する責任の所在が不明確なこと、消費エネルギーに関する報告が不均一なこと、リスク低減に関するデータ開示が不十分なこと、評価基準や監査のエコシステムが欠如していることなどだ。

コンプライアンス面で各プロバイダーには大きな差が出た。AI21 Labs、Aleph Alpha、Anthropicの3社は総合得点が25％（12点）にも届かなかったのに対し、Hugging Faceなどが立ち上げたワークショップBigScienceは最高の36点だった。

Open AIの「GPT-4」やグーグルの「PaLM2」など、大手企業が過去数カ月に開催した大規模言語モデルの発表会からもわかるとおり、データや評価方法などに関する詳細は確かに開示されていない。

（翻訳・山下にか）