llm-wiki/concepts/ai-evaluation-infrastructure.md

title, created, updated, type, tags, sources, confidence

title	created	updated	type	tags	sources	confidence
AI Evaluation Infrastructure	2026-06-30	2026-06-30	concept	evaluation llm quality workflow	raw/articles/arena-ai-leaderboard-business-2026.md	medium

AI Evaluation Infrastructure

AI evaluation infrastructure は、LLM や agent の性能を、単発 benchmark ではなく、利用者評価、専門タスク、分析サービス、商用フィードバックループとして継続的に測る層。TechCrunch の Arena 記事では、UC Berkeley の研究プロジェクト由来の AI leaderboard が、1,000 万件超の利用者評価をもとにした公開ランキングから、モデル企業や企業向けの深掘り分析サービスへ広がり、商用開始から 8 カ月で年換算 1 億ドル規模に到達したとされる。

重要なのは、評価が単なる研究補助ではなく、モデル改善・post-training・企業導入判断の市場そのものになっている点。Arena は text、coding、vision、image generation に加え、Agent Mode のような長時間 workflow も扱う。これは loop-engineering や agentic-hardware-design のようなエージェント運用で、最終成果だけでなく、途中の意思決定・失敗・回復をどう測るかという問題に接続する。

なぜ重要か

• Crowdsourced comparison: 利用者が 2 つのモデル出力を比較する形式は、静的な benchmark では拾いにくい実利用の好みを集められる。
• Evaluation as business: 無料 leaderboard の背後で、詳細分析や model lab 向け評価が商用サービスになる。
• Post-training demand: Arena は、人間評価やラベリングを提供する Mercor、Surge、Scale AI などと同じ予算を争うと説明されており、評価と訓練改善が近づいている。
• Agent evaluation: 長時間 workflow や Agent Mode が評価対象になると、wiki-maintenance-loop のような自走ジョブでも、単一回答の品質ではなく状態更新・検証・永続化まで測る必要が出る。

Open Questions

• 公開 leaderboard の人気と、商用分析の顧客価値はどこまで同じ評価データに依存しているのか。
• Agent Mode のような長時間タスクでは、勝敗や好みだけでなく、再現性、コスト、安全な権限利用、監査証跡をどう評価するべきか。
• 個人用 wiki や Hermes job では、大規模な人間評価を使わずに、どの小さな evaluator を積み重ねれば品質劣化を検出できるか。