ChatGPTの精度は？
そもそもChatGPTとは何か
ChatGPTとは、2022年11月30日に公開された、米国のOpenAIが手掛ける人工知能チャットボットの名称です。チャットボットとは「まるで人と会話している（チャット）かのように応答するロボット」という意味を持つ「自動会話プログラム」を示します。企業のWEBサイトの問い合わせページなどに設置された、ユーザーからの問い合わせを受け付けるツールなどとして見かけることも多いでしょう。この場合、「よくある質問」に該当するような既知の質問には自動で応答し、想定外の質問の場合は人間が対応する窓口に繋ぐ、といった最初の切り分けを行い、窓口の業務効率を向上させています。
しかし、このようなチャットボットの一種とされるChatGPTは、従来のチャットボットとは一線を画しており、リリースと同時に多くのユーザーに衝撃を与えました。なぜならば、従来のチャットボットが「質問に対する答えを事前に設定しておく」という作業が必要だったのに対して、ChatGPTはインターネット上にあるテキストなどから学習し、様々なジャンルの質問に対して回答することができたからです。また、ユーザーの質問に対する学習も行い、人間が対応しているかのような自然な文章を作成することも可能でした。このような理由から、ChatGPTはIT業界に留まらず広く注目され、世界中でその運用に関する意見や議論が交わされています。
2023年7月時点において、ChatGPTは無償で利用可能なGPT-3.5と、より精度の高い有償版のGPT-4の二種類が公開されています。GPT-4は、GPT-3.5では対応が難しかった創造的な回答や、画像の認識が可能となるなど、非常に大きな進歩を遂げています。
ChatGPTの精度は高いのか
前述の通り、ChatGPTはインターネットを通じて得られるテキストデータや、ユーザーからの質問などを繰り返して学習するため、基本的に精度の高い回答が期待できます。中には約98%という精度をマークしたという記録もあるほどです。また、文語から口語までを認識できるため、「親しい友人へのメッセージとして書いて」や「顧客に対する説明として書いて」といった指定も可能で、活用の幅が非常に広いと評価されています。
ただ、ChatGPTを利用する前に認識しておきたい、幾つかの問題点・注意点の一つとして「回答の精度は高い一方、内容に大きな誤りが含まれている可能性がある」という問題があげられます。例えば、存在しない架空の人物の生い立ちについて質問すると、さも実在する人物であるかのような経歴が返ってきます。ユーザーが架空の話であると理解していれば問題はありませんが、例えば「日本市場における特定商品の売れ行きについて」といった質問に対して、架空の回答が返ってきている可能性も否定できません。ChatGPTを利用する場合、このようなリスクがあることを常に意識しつつ、適切な回答が得られるように注意し、かつ、得られた回答内容に間違いがないかをチェックする必要があります。
ChatGPTのその他の注意点
また、前述の「誤った回答を行う可能性がある」という点以外にも、注意したいポイントがあります。特にビジネスとして利用する場合は、必ず確認しておきましょう。
第一に、機密情報の取り扱いに関する問題があります。ChatGPTの利用規約に明記されている通り、ユーザーが入力したデータは原則としてサーバーに保管され、OpenAIが開発等の目的で活用することになっています。つまり、機密情報や顧客の個人情報などを入力してしまうと大規模な情報流出事件に発展しかねないため、原則としてそういった情報を入力してはいけません。
第二に、著作権侵害の危険性が高まります。前述の通り、誤った内容を真のものとして回答する可能性があることに加えて、他者の著作物を盗用する形で回答をしてしまう可能性も否定できません。出版物や新聞、論文の他、歌詞などを、引用ではなくコピーして回答してしまうリスクが少なからずあるのです。
このような特徴を持つChatGPTを活用するのは、今はまだ難しいと判断し、ビジネスシーンでの利用を禁止している企業もあります。ChatGPTの特徴や使い方を知ると同時に、自社や取引先などの利用ルールに抵触しないかについても確認しておきましょう。
日本語と英語の違いは？
ChatGPTは世界の標準語である英語を基本として開発されていますが、日本語などの他言語にも対応しています。利用制限などは特になく、アカウントを取得後、チャットに日本語で質問を入力すれば、ChatGPTもそれに応じて日本語で回答してくれるのです。ただ、インターネットで参照できるテキストデータは、日本語よりも英語の方が圧倒的に多く、ChatGPTのような機械学習を行うAIは、そのデータ量によって精度が左右されるため、「英語による会話の方が回答の精度が高い」と言われています。
また、日本語と英語でそれぞれ同じ内容の質問をした時、より正確かつ詳細な回答が返ってくるのは英語だと言われています。また、英語（アルファベット）と日本語（平仮名・カタカナ・漢字）とでは、一文字ずつのデータ容量が異なるため、英語の方が早く処理が完了する可能性が高いでしょう。このため、「英語で質問し、返ってきた英語の回答を日本語に翻訳する」というフローで対応する人も珍しくありません。
精度を上げる方法は？
少しでも精度をあげるためには、ChatGPTを利用する上で知っておきたいポイントが三つあります。
質問内容を明確にする
ChatGPTへの質問はできるだけ曖昧なものを避け、明確に指定しましょう。例えば、「男性向きの嗜好品は？」といった質問よりも、「30代の日本人男性が好む嗜好品を10個あげて」といったような、明確な指定・制限を加えることで、精度が高まる可能性があります。また、一度に全てを問うのではなく、「先ほどの嗜好品10個を、平均価格が安い順に並べなおしてください」といった形で問いかけを重ねていくのも良いでしょう。
ハイパーパラメーターを調整する
ChatGPTには言語モデルの動作に影響を与えるパラメーターが存在し、一部はユーザーが調整することが可能です。その中の一つとして「Temperature （温度）」と呼ばれる値があります。この値が高ければ創造性が高まって空想的・抽象的な回答が増え、値が低ければ、実務的で冷静な回答が増えるでしょう。このような制限は、質問事項に盛り込むこともできますが、値をデフォルトから変更することで、自分の望む回答に近づけやすくなります。
類似した質問を繰り返す
ChatGPTの回答内容に誤りがないかを確認する方法の一つとして、同じ質問を内容を少し変化させて繰り返すという方法があります。例えば、「日本のスマートフォンの普及率は、2020年時点でどれくらいだった？」という質問と、「2020年当時、日本におけるスマートフォンの普及率は？」という質問をすると、回答に差が出ることがあります。このような場合は自分でデータを調べるなど、確認作業をすることが望ましいでしょう。一方、質問を繰り返しても同様の回答が返ってきた場合は、精度が高い回答であると考えられます。
ChatGPTの知能が低下しているとの研究結果に関して
2023年7月、アメリカのスタンフォード大学の研究結果を受けて「ChatGPTの知能が急激に低下した」と報じられました。GPT-3.5とGPT-4のうち、GTP-4において「ごく単純な数学の問題」や「センシティブな質問」などに対する精度が、極端に落ち込んだといった結果が得られています。その原因は「ドリフト」と呼ばれるAIの劣化であると考えられ、参照するデータに誤りやノイズが混じることや、データ分布の変化などに伴って新しいデータを適切に学習できなくなることなどにより、発生したと推測されます。
このような問題は、時間の経過やAIのバージョンアップなどに伴い、あらゆるAIシステムに発生する可能性があります。ChatGPTにおいても、より精度の高い結論を得られるように、調整やバージョンアップが重ねられていくでしょう。ユーザー側は、ChatGPTにそういったパフォーマンスの問題が生じていないか、動向をチェックしながら利用することが大切です。
