Hermes Agent
-
LLMのコストと品質を同じ表で比べる—安価な設定を候補に残す
Category : 実践連載最近の運用記録をもとに、品質表と請求表が別々だと、少しの改善に対して何倍の費用を払っているか判断しにくいという…
-
事後リターンは成熟日を待って判定する—評価の早すぎる結論を防ぐ
Category : 実践連載最近の運用記録をもとに、評価直後に長期指標まで計算すると、未来データが不足した未成熟サンプルを完成値のように扱…
-
評価カテゴリ別の一致度を見る—総合点では隠れるLLMの弱点
Category : AIエージェント基礎最近の運用記録をもとに、総合点の一致が高くても、カタリストやリスクなど特定カテゴリだけ不安定な場合があるという…
-
完全一致だけでモデルを裁かない—グレード±1を併記する評価法
Category : 実践連載最近の運用記録をもとに、段階評価では境界付近のわずかな差が完全不一致に見え、モデル差を過大評価しやすいという課…
-
ClaudeとCodexの順位一致を測る—Spearman相関で影運転を評価する
Category : 実践連載最近の運用記録をもとに、二つのLLMが同じ対象を評価しても、点数の尺度が違えば単純な平均差だけでは比較しにくい…