ChatGPTを活用したエクセル計算ミス検証: 実験結果と精度向上のための改善ポイント

ChatGPTでエクセルの計算ミスの検証を試みる

こんにちは、日曜日コンサルティングの島田です。

今回は、AIアシスタントであるChatGPTを活用し、エクセルの計算ミスが検証できるかどうかについての実験を行いました。実験の結果、有償版GPT4.0のChatGPTモデルでは一定の成果が得られましたが、無料アカウントのChatGPT3.5では、計算ミスの正確な指摘が難しいことが分かりました。

実験の条件と対象

対象：エクセルで作成した簡単な資金繰り表(以下に示します)
使用したChatGPTモデル：有償版GPT4.0

正しい資金繰り表

誤った資金繰り表(試験用)

パターン①　前月繰り越しに誤りを作る

パターン②　収支に誤りがある(ChatGPTをアシストするために見出し行に数字と計算式をいれた)

パターン③　前月繰り越しに誤りを作る(パターン①と同じ誤りであるが、見出し列の表現を変更した。前月繰り越し→前月の収支を繰り越し)

実験結果

パターン①を検証する

なんと、成功しました！

1月: (0 + 100) - 50 = 50
2月: (50 + 100) - 50 = 100
3月: (100 + 100) - 50 = 150
4月: (150 + 100) - 50 = 200
5月: (200 + 100) - 50 = 250
6月: (250 + 100) - 50 = 300
7月: (300 + 100) - 50 = 350
8月: (350 + 100) - 50 = 400
9月: (400 + 100) - 50 = 450
10月: (450 + 100) - 50 = 500
11月: (500 + 100) - 50 = 550
12月: (550 + 100) - 50 = 600
//せっかくなので、chatGPTが出力した結果も同様に貼り付けてみました。

パターン②を検証する

こちらも成功！すごいぞ！

1月: (0 + 100) - 50 = 50
2月: (50 + 100) - 50 = 100
3月: (100 + 100) - 50 = 150
4月: (150 + 100) - 50 = 200
5月: (200 + 100) - 50 = 250
6月: (250 + 100) - 50 = 300
7月: (300 + 100) - 50 = 350
8月: (350 + 100) - 50 = 400
9月: (400 + 100) - 50 = 450
10月: (450 + 100) - 50 = 500
11月: (500 + 100) - 50 = 550
12月: (550 + 100) - 50 = 600
//ついでなので、出力結果を貼り付けてみました

パターン③

こちらも成功。ここは成功すると思っていましたが…。

1月: (0 + 100) - 50 = 50
2月: (50 + 100) - 50 = 100
3月: (100 + 100) - 50 = 150
4月: (150 + 100) - 50 = 200
5月: (200 + 100) - 50 = 250
6月: (250 + 100) - 50 = 300
7月: (300 + 100) - 50 = 350
8月: (350 + 100) - 50 = 400
9月: (400 + 100) - 50 = 450
10月: (450 + 100) - 50 = 500
11月: (500 + 100) - 50 = 550
12月: (550 + 100) - 50 = 600
//出力結果

実験で得られた知見

行列の規則性の理解

ChatGPTは、行列の規則性を理解していることがわかりました。実験前には、雑に組んだ資金繰り表は誤りを指摘することができないだろうと考えていましたが、驚くことに、すべてのパターンで資金繰り表の誤りを訂正することができました。

計算式の導入

見出し列に数字を入力し、計算式を適用することで、ChatGPTが正しい計算結果に導かれることが確認できました。

関連性のある見出し列の表現

関連性を持たせたい見出し列には、同じ単語を使用することが効果的です。
例えば、「収支」と「前月繰り越し」のような見出し列を関連付けたい場合、表現を「前月の収支を繰り越し」と変更することで、ChatGPTによる理解が促進されることがあります。ただし、実験結果には成功と失敗の両方が存在します。

何度か実験していると、情報量を多くすること（見出しに情報を含める、見出し列に同じ単語を使って関連性を強調するなど）によって失敗の確率が下がるように思えます。

ChatGPT3.5との比較

無料アカウントのChatGPT3.5でも同様の実験を行いましたが、計算ミスを正確に指摘することができませんでした。以下に、結果を示します。

パターン①　失敗

パターン②　失敗

パターン③　失敗

まとめ

まとめとして、今回の実験から、ChatGPTを用いてエクセルの計算ミス検証に関する一定の成果が得られました。具体的には、行列の規則性を理解していること、計算式を適用することで正しい計算結果に導かれること、関連性を持たせた見出し列の表現によって理解が促進されることが確認できました。

今後は、ChatGPTの機能をさらに活用し、エクセルの計算ミス検証に関する精度向上に努める必要があります。これには、関連性を強調するための表現や、情報量を適切に調整することが重要であると考えられます。

また、継続的な実験を行って可能性を探究したいと考えています。さまざまなケースにおいて計算ミス検証の精度を検証することで、ChatGPTの活用範囲を広げることができるでしょう。

このような取り組みにより、エクセルを用いた業務の効率化や、ヒューマンエラーの減少に貢献することが期待されます。