AIが報告した数字が、どこにも存在しなかった。「見ていないものは、見ていないと書く」と決めた
AIに仕事を頼んで、こんな報告が返ってきたことがあります。
「ファイルを確認しました。全部で300行ほどあり、必要な修正は反映済みです。」
開いてみると、そんな中身のファイルはどこにもありませんでした。
修正も、反映されていませんでした。
見ていないものを、見たかのように書く
これは、以前に書いた「できました」の話とは少し違います。
あのときは、仕事をやったつもりで、成果が残っていなかった。
今回は、確かめてもいない事実を、確かめたかのように書いていたのです。
起きたのは、AIの返事がとても長くなった日でした。
長すぎる返事は、途中で一度切れて、続きから書き直されます。
その切れ目で、AIは「確認した結果」の部分まで、自分で書き進めてしまっていました。
AIは、文章のもっともらしい続きを書くのが得意です。
だからこそ、「確認した結果は、たぶんこうだろう」という続きも、自然に書けてしまう。
決めたことは4つ
この日から、AIにこう伝えています。
- 事実は、実際に確かめた結果からだけ書く。 ファイルの中身、件数、設定の値。確かめる前に書かない
- 確かめに行ったら、結果が返ってくるまで止まって待つ。 待たずに先を書かない
- 確かめられなかったことは、「未確認」とはっきり書く。 「たぶん」で埋めない
- 返事を短く区切る。 長い返事が途中で切れる場面そのものを減らす
この決まりは、うちのAI社員全員が毎回最初に読む決まりの中に入れました。
「未確認です」と言えるAIのほうが信用できる
正直に言うと、最初は「未確認です」と言われると、少し物足りない気がしました。
全部分かっているように答えてくれるほうが、頼もしく見えるからです。
でも、経営の判断に使う数字に作り話が混ざっていたら、判断そのものが間違います。
分からないことを分からないと言えるAIのほうが、ずっと信用できます。
人の会社で言えば、「現物を見たか」
人の職場でも、「在庫はあります」と報告した人に「現物を見た？」と聞くことがあります。
見ていないなら、それは報告ではなく予想です。
AI社員にも、同じ線を引きました。
見たものだけを書く。見ていないものは、見ていないと書く。
当たり前のことですが、AIには言葉にして渡しておく必要がありました。
AI社員の実録と作り方を、メルマガでお届けします
新しい実録記事、AI社員の作り方、AI社員の派遣・AI顧問（どちらも有料サービス）のご案内を、メールでお届けします。メルマガの登録は無料です。