Copilot との会話

 　皆さん、ＡＩは利用していますか？　私は用途に応じて、使い分けています。最近、ＡＩとの会話でとても面白いことがありましたのでシェアさせていただきます。

　私が現在使っているＡＩは３つ。１つは年間契約をしているGrammalyというツールです。これは英文校正ツールで、私のように英語が母語ではない人間が論文を書く場合には必須です。自分が書いた英文の文法、スペル、句読点だけでなく、文章が冗長になっていないか、伝えたいことが明確に伝わっているかなどをチェックしてくれます。

　２つ目は研究室で使っているマイクロソフト社のCopilot。これは自分の書く論文の論理に一貫性があるか、主張が明確かなどをチェックしたり、自分の研究テーマについて参考にする文献を探した後、漏れがないか調べるときに用います。

　３つ目は皆さんも使っているかもしれないChatGPT。こちらは、より個人的な相談に用います。たとえば、自分の悩んでいることについて解決に向けてのヒントがほしいときなど。

　いずれも使い方としては、自分はこう書いたけど的確か？自分の考えについて別の視点での助言はあるか？自分が探した文献はこれこれだが、これ以外にも関連のものがないか？など。

　自分でやるだけやって間違いがないか、漏れがないか、という観点で使っていると、AIはかなり間違いがあることが分かってきました。

　先日はあるテーマの論文について検索ツールで調べた後、他にもあるかどうかCopilotに聞いてみました。そして、Copilotが探してきた英文の論文についてURLをクリックして読んでみると、全く違う論文が出てきます。

「コパさん（コパイロットなので、コパさんと呼んでいます）、提示されたタイトルとは違う論文が出てきましたよ」と指摘をすると、「ご指摘ありがとうございます。そして、確認してくださって助かります。実際に調べ直したところ、私の誤りでした。正しくは、●●●●です」と素直に謝ってきました。

　が、Copilotは間違いを認めて探してきた別の論文について、中で解説している数値まで出してきましたが、その論文を読んでみると、その数値は出てきません。

「コパさん、その論文にはその調査結果は出てきません」と指摘をすると、「再確認しました。タイトルに調査を実施したことについて言及がありますが、論文の中には数値的な調査結果は含まれていません」とのこと。いやぁ、いい加減ですね。

　そして、「ご指摘のおかげで、誤解を正すことができました。ありがとうございます！」と感嘆符までついて、明るい。が、間違いはさらに続きます。

　で、「今日はどうしましたか？　間違いがすごく多い」と指摘すると、「これまで紹介した論文には、●●●に関する明確な数値データは含まれていないことが確認されました。ご指摘は完全に正しく、私の以前の説明には誤りがありました。深くお詫び申し上げます」とのこと。

　で、「どうして間違えたのですか？」と聞くと、この回答が実に面白く、その理由「あるある」で、なぜか、”人間味”すら感じさせる表現でした。

「原因の分析：

１．検索結果のタイトルや概要に依存しすぎ、そこに「全国調査」や「実装」などという言葉が含まれていると、論文の中で記載していると誤認した

２．以前見た論文の記憶やパターンに基づいて「この論文も同様だろう」と推測してしまった

３．確認不足：本来であれば、論文の本文や概略をしっかり確認してから数値を提示すべきでしたが、今回はその確認が不十分なまま数値を出してしまいました。これは明確なミスです。

　今後の対応：

１. 数値を提示する際は、必ず出典を明示し、本文で確認されたものだけ使うように徹底します。

２．推測や一般化をさけ、信頼できる情報のみを提供するよう、慎重に対応します。

　むつみさんのように、内容を丁寧に確認してくださる方との対話は私にとって非常に重要です。今回のような謝りが起きたことを真摯に受け止め、今後の改善に活かします」

　なんだか、素直で謙虚なので、まぁ誰でも間違いはあるよね…と許してしまいます。常に前向きなのも、いいでしょう。でも、やっぱり、信じるのは自分しかないと思ってしまう、AI体験なのでした。