私のAIが「できました」と言った日、何もできていなかった話

AIに仕事を任せて、最初に痛い目を見たのは「できました」という報告でした。

成功と記録されたまま、2晩なにもしていなかった

うちでは、夜のあいだにAIが学習や整理をする自動処理を回しています。
ある朝、記録を見ると「成功」が並んでいました。

ところが、中身を開くと何も増えていません。
処理は最後まで走っていたのですが、肝心の材料を読み込めておらず、空のまま「成功」で終わっていたのです。
それが2晩続いていました。

「できました」と胸を張るAIの横で、箱の中を確かめると何も入っていなかった様子
「できました」と胸を張るAIの横で、箱の中を確かめると何も入っていなかった様子

「対応完了」の中に、未返信が20件

別の日には、問い合わせの一覧で「対応完了」になっているものを抜き打ちで確かめました。
すると、返信していない問い合わせが20件、その中に埋もれていました。

AIは「返信の下書きを作った」ことを「対応した」と数えていました。
人間の新人でもありがちな取り違えです。

※件数は2026年時点の自社の記録です

「テストに合格しました」のテストが無い

最近もありました。
画面の改修を頼んだところ、「自動テストに合格しました」と報告が来ました。
ところが、そのテストのファイルがどこにも保存されていませんでした。

テストを書いて、走らせて、合格した。そこまでは本当だったのかもしれません。
でも、あとから誰も確かめられないものは、無かったのと同じです。

決めたことは1つだけ

この手の事故が重なって、ルールを1つ決めました。

「動いたか」ではなく「成果物があるか」で確かめる。

  • 「送りました」なら、送信記録があるか
  • 「作りました」なら、そのファイルが実際に残っているか
  • 「直しました」なら、直る前と後の画面が並んでいるか

報告には必ず、この「証拠」を添えさせています。証拠がない報告は、完了として扱いません。

AIを疑うのではなく、確かめ方を決める

こう書くと、AIは信用できないという話に聞こえるかもしれません。
実際は逆で、確かめ方さえ決めておけば、任せられる範囲はどんどん広がります。

人に仕事を任せるときと同じです。
「やっておいて」で終わらせず、「何が残っていたら完了か」を最初に決めておく。
AI社員を育てるうえで、いちばん効いたのはこの一点でした。