完成する追試コードと実測結果ビュー

教材を自分で販売していると、購入前の質問と、購入後に開けないという連絡が同じ場所へ届きます。この記事では、日本語の問い合わせに分類候補を付け、人が確認する用件を残すための検証を扱います。

この記事は、実際の顧客情報を含まない合成文をAPIへ送り、返答を保存して照合した検証記録です。分類条件と実際の応答を比較し、期待どおりだった点と、不一致や未検証の範囲を分けて説明します。

完成物は、自分の環境から追試するPythonコードと、保存された実測結果を読むブラウザの画面です。実測結果の公開ビューと、そこから取得する追試用ZIPは、記事を購入しなくても無料で利用できます。

公開ビューは保存済みの入力と応答を表示するもので、その場で新しい問い合わせをJevへ送る機能ではありません。画面を読むだけならキーは不要ですが、APIを追試する場合はPythonと自分のOpenRouterキーが必要です。

追試では外部へ合成入力を送るため、アカウントの条件に応じて追加のAPI利用料金が発生する場合があります。実行前に提供状況と利用上限を確認し、実在する購入者の連絡や個人情報は入れないでください。

今回の評価用データは8件で、事前に決めた期待分類と8件が一致しましたが、日本語全般の性能を示す結果ではありません。小規模な合成文での一致であり、実在顧客への精度、売上、時間短縮は確かめていません。

Jevに任せる判断と人に残す判断

今回Jevに渡した役割は、問い合わせの用件を分類し、緊急性について補助的な値を返すことです。返信の送信、返金、顧客情報の変更、実際の担当先への転送は、この追試コードでは行いません。

分類先は、購入前の質問、閲覧やダウンロードの相談、支払いや請求の相談、要確認として設計しました。情報が足りない文や、独立した用件が混ざる文は、無理に担当を決めず人が読む対象に残します。

この設計で見たいのは、分類が合うかに加えて、どの入力を自動的な分類候補から外すべきかという境界です。分類候補になった結果も確定回答ではなく、問い合わせ本文と照らして人が最終判断する材料として扱います。

調整用では8件中7件が期待と一致し、曖昧な文で1件の不一致が残りましたが、その記録も公開しています。有料部分では、この不一致をどう読み、保留条件をどう固定し、追試で何を残すかを具体的に説明します。

無料の画面とコードだけで目的が足りるなら、この記事を購入せず、その範囲で確認していただいて構いません。判断条件の組み立て、失敗の解釈、再送を止める理由まで必要な人へ向けて、実践記録をまとめました。