Valsは実務型AI評価で「標準」の座を狙う

導入

AIモデルの性能向上は、従来のベンチマークの更新速度を上回りつつある。公開された問題集や学術的な試験は比較に役立つ一方、開発者が問題に合わせてモデルを調整できるという弱点も抱える。その結果、高いスコアが未知の業務での安定した性能を意味するとは限らない。2024年に設立されたスタートアップValsは、AI評価を抽象的な知識テストから、実際の仕事の成果を測る仕組みへ移そうとしている。

要点

• テスト内容を非公開にする。 具体的な評価素材を明らかにせず、問題集への直接的な最適化を抑える。
• 業界別の課題を使う。 法律、金融、コーディングなどで、モデルが実務成果を作れるかを調べる。
• リスクも対象にする。 メンタルヘルス、サイバーセキュリティ、バイオセキュリティ、再帰的自己改善、武力紛争法などにも取り組む。
• 調達判断に関わる。 評価はモデルの改善だけでなく、企業が導入製品を選ぶ際の材料になりつつある。

共同創業者のRayan Krishnanは、従来の評価が「知能」を抽象的に測りがちだったと説明する。たとえば、司法試験に似た問題に答えられるかどうかは、法律の現場で質の高い文書を作れるかとは別の問題だ。企業が知りたいのは、モデルが何を知っているかだけではなく、特定分野で人間に近い品質の成果物を安定して作れるかどうかである。

Valsは、能力の高さだけでなく、広く導入された場合の悪影響も見ようとしている。これはベンチマークを順位表から品質保証とリスク分析の組み合わせへ変える発想だ。どのモデルが最高点を取るかだけでなく、どの条件で失敗し、どのような悪用や副作用が考えられるかを明らかにすることが狙いになる。

事業と影響

ValsはAI企業などに評価サービスを提供する。自社モデルの弱点を知るために費用を払うのは一見奇妙だが、信頼できる測定があれば、バージョン間の比較や問題の切り分け、導入可否の判断がしやすくなる。同社によると、売上高は前年の8倍となり、チームは年初の8人から25人に拡大した。Andreessen Horowitzが主導する4000万ドルのシリーズAも実施され、以前には8VCとBloomberg Betaが主導するシードラウンドを調達している。

連邦機関向けの評価プログラムも始めた。AIが行政、企業業務、金融市場に浸透すれば、評価結果は宣伝材料にとどまらず、調達やリスク管理、AI投資の説明に影響する可能性がある。

ただし、Valsが本当の標準になるには課題が残る。非公開テストは対策を難しくする一方、外部検証も難しくする。業界をまたいだ比較可能性、リスクの定量化、評価者の偏り、結果の再現性をどう担保するかが重要だ。信頼される評価は、難しい問題を出すだけでなく、方法を説明し、現実のモデル挙動との対応を示さなければならない。

出典：TechCrunch AI