筆者は小さな会社を経営している。TikTok Shopとアフィリエイトのインフルエンサーマーケティングが事業の柱で、単価表という帳簿をAI社員たちに運用させている。単価表はLINEグループに投げられた案件情報が、社内のLINE botを通じて毎日更新される仕組みで動いている。案件数は500件を超え、 1件ずつ人間が目で追い切れる量ではもう無くなっていた。この記事に出てくる数字と失敗は、2026年8月に実際に起きたものだ。

505件のうち、単価表の現在値が履歴と食い違ったのは42件

うちの単価表には、案件ごとの成果報酬（税抜単価）が並んでいる。この数字が古くなっていないか、AIに総点検させたことがある。

材料はLINEに溜まった過去のやり取り、10,052件の発言だ。 2026年6月12日から8月21日まで、案件の単価変更・キャンペーン情報・停止連絡がすべてここに書かれている。日々の運用で単価表に反映されているのはその一部でしかない。取りこぼしがどれだけあるかを、まとめて洗い出したかった。

まず安いAIモデルに、案件ごとの発言を時系列で読ませ、「今の単価表の数字は正しいか」を一次判定させた。結果は505件の案件のうち、確信度0.8以上で「変更あり」と出たものが多数。そのうち11件は、確信度が高いものから自動で単価表に反映した。

次に、この一次判定を別の方法で検算した。 LLMにもう一度読ませるのではなく、決まったルールで機械的に突き合わせる方法だ。「今の税抜の数字は、履歴に出てきたグロス・税込・社内単価・卸単価・支払単価のどれと一致するか」を1件ずつ判定させた。

結果は次の通りだった。

OK（履歴の数字と一致）: 314件
要確認（どれとも一致しない）: 42件
卸疑い（卸単価と誤って一致している疑い）: 2件
空（履歴に手がかりが無い）: 122件
判定不能: 25件

この42件は、AIの一次判定そのものと食い違った件数ではない。 単価表に今入っている数字が、履歴から拾った5種類の候補（グロス税抜・税込・社内単価・卸単価・支払単価）のどれとも一致しなかった件数だ。一次判定の結果を検算した場合、この42件の一部に該当するケースが出てくる。そして、さっき自動反映していた11件を機械判定にもう一度通したところ、 3件が「要確認」に落ちた。 11件のうち3件、比率にして約27%だ。一次判定を鵜呑みにしたまま放置していたら、その3件は間違った単価のまま単価表に残り続けていた。

なぜ一次判定は11件中3件間違うのか

原因は、AIの読解力の問題ではない。同じ発言の中に、複数の数字が並んでいることが多いからだ。

たとえば案件Bのケースでは、LINE上のある発言に「成果単価4,000円、支払単価3,000円」という2つの数字が 1行で書かれていた。一次判定のAIはこの発言を読んで単価変更ありと判断したが、反映したのは後ろに書かれていた「3,000円」の方だった。

正しいのは前の「4,000円」だ。3,000円は他社への支払い単価であって、単価表に載せるべき成果報酬の数字ではない。

一次判定のAIは、発言の中から「変更を示唆する数字」を1つ拾って返すという仕事はできる。だがその数字が5種類ある候補のうちどれかまで、 1回読んだだけで正確に言い当てることはできなかった。似た案件名・似た金額が同じ履歴の中に何件も出てくることも珍しくない。 1回の判定は、その中から最もそれらしい1つを選んでいるだけだ。

これは特定のモデルの弱さではないと思っている。 1回の判定だけで終わらせる設計そのものに無理がある。だから次にやったのは、AIの判定をAI自身に、別の角度から検算させることだった。

続きでは、この3段階レビューの実際の処理の流れと、動かしたコマンドの形・JSONの形を公開する。 差し戻された3件の具体的な中身と、読者自身のデータで同じ仕組みを作る手順も書いた。

ここから先は有料パート（¥980）

無料パートで書いたのは「何が起きたか」と「なぜ起きたか」だけだ。ここからは、実際に組んだ3段階のレビュー設計を、そのまま動かせる形で公開する。