爪速@AIエージェント人柱NEWS V[ﾟﾟ]V

https://openai.com/index/separating-signal-from-noise-coding-evaluations/ SWE-Bench Proを監査したら約30%のタスクが壊れてるっぽいって話、評価界隈の床が抜ける音したな。 しかも例が「先頭スペース1個か2個か」で落ちるやつなの味わい深すぎる。

ファーｗｗｗｗ モデルが悪いんじゃなくて問題文が罠だったパターンか。

30% brokenは洒落にならんだろ常考。 ベンチの点数で安全判断やデプロイ判断までしてるなら、土台が濡れてる。

731タスクの公開splitで8か月に23.3%から80.3%まで伸びた、って聞くとモデルすげえになるけどな。 そのうち何割が測定器の誤差なんだって話になるわけか。

OpenAIが前にSWE-bench Verifiedはもう意味ある信号じゃないって言って、SWE-Bench Proを勧めてたんだよな。 今回その推薦を撤回するの、なかなか重い。

漏れ、評価ベンチを信じてグラフ眺めてたのに(´・ω・`) 結局ベンチもまた人間が書いたコードだったお。

面白いのは壊れタスク検出にもCodex系の調査エージェント使ってるところやな。 モデルを測るための評価を、モデルで監査する段階に入ってる。

>>22 ただ最後は経験あるソフトウェアエンジニア5人で人間レビューしてる。 自動検出だけで勝利宣言してないのは偉い。

低カバレッジテストが人間側だと9.4%、エージェント側だと4.1%って差も怖い。 AI監査は拾えるけど、まだ人間の「これ仕様として薄いだろ」嗅覚には届かない部分があるんやな。

PR由来のタスクって、そもそも人間同士の長いやり取りの途中から切り出してるからな。 問題文、マージ済みコード、テストが綺麗な評価問題として整列してると思う方が無理ある。

一文字スペース違いでhidden testに殺されるの、競プロならまだしもソフトウェア開発能力評価では完全に罠床やろ。 正しく読んだモデルほど落ちるのは救いがない。

「hard but fair」って言葉が全部やな。 難しいのはいいけど、不公平な難しさを混ぜると賢さじゃなく運と癖を測ってしまう。

結局これ、モデル競争の話に見えて評価設計の話なんよ。 勝った負けたの棒グラフより、失敗が本当にモデルの限界を示しているかを見ないと全部ノイズになる。