2026年8月26日
公開：Grade it like an audit
このページは機械翻訳されたもので、確認待ちです。
Grade it like an audit が、Claude Code プラグインとしてインストール可能になりました。仕組みやできないこと、そして私たちが調べた範囲での他の手法との比較を、4ページのサイトでまとめています。
端的に言えば、これはフィードバックを目的とした採点ツールです。評価文の草稿を作成し、成績案を提示しますが、示される成績は単なる算術の結果に過ぎません——それぞれの減点は、具体的な問題点の指摘と、担当教員が確認できる引用元を伴って残ります。ブラインド監査者はそれぞれ1件の提出物のみを読み、1名のリード担当者がすべてに目を通します（公平性は提出物全体を通じて成り立つ性質であり、個々をブラインドで読む監査者にはその全体像が見えないためです）。そして、得られた教訓はすべてルールブックに書き戻され、同じ誤りが繰り返されないようにします。
紹介するに値する数字は、あまり聞こえのよいものではありません。14回の監査ラウンドと70件の独立レビューを通じて、指摘によって成績が変わったことは一度もありません。 見つかった問題はすべて、根拠や文言の改善につながっただけでした。これは意図された設計です。このループが守るのは学生が読む内容であり、結論そのものは担当教員の判断に委ねられています。
失敗事例も、成功事例と同じだけの分量で公開されています。9ラウンドを経ても収束しなかった実行例や、45回のレビューすべてをすり抜け、予備知識のない人間が読んで初めて発見された欠陥も含まれます。その欠陥は世界についての主張であり、どんな参照元によっても反証しえないものでした——これはこの手法に残る恒久的な穴であり、最後の読み手が人間でなければならない理由です。
完全に合成されたデータを用いた12〜18分のデモがあり、自ら7件の欠陥を仕込んだうえでそれらを検出し、最後に検出できなかった1件を示してくれます。無料で、CC BY 4.0 のもとで公開されており、考案者は Ira Winder です。