こんにちは。
とあるメーカーで海外営業の仕事をしている神高（かんだか）です。
TOEIC IP ONLINE で915点を持っていて、英語を専門にしない会社員の中では、TOEIC の仕組みや対策にも詳しい方だとは思います。
さて、最近、英語学習（というか、相談相手）に ChatGPT を使っていて、なかなかに賢い。
なんというか、英語が無茶苦茶できる部下、後輩を持ったような感覚です。
そこで、彼（彼女）に公開されている TOEIC の試験問題を解かせてみました。
結果は、意外なものとなりました。
TOEIC の問題を ChatGPT に解かせてみたら……｜意外な結果に驚きました
TOEIC のサンプル問題。
無料で IIBC に公開いただいている内容とはいえ、引用は最低限にします。
興味のある方は、IIBC（TOEIC を主催している団体）の公式ページを訪問ください。
Part 5 （リーディングセクションの穴埋め問題）の例題①
問題：Customer reviews indicate that many modern mobile devices are often unnecessarily —.
選択肢を与えずに — に入る単語は？と質問すると、「complex」と GhatGPT は答えました。
一方、４つの選択肢を与えると、こちらも (D) complicated と正しい選択肢を選びました。
生成 AI は、話の流れ、文脈のようなものは、すでに感じる能力を持っているんですね。
日本語訳は？と質問すると、「顧客のレビューによると、多くの現代のモバイルデバイスはしばしば不必要に複雑であることが示されています。」とも示してくれました。
ちなみに、complex も形容詞ですから、選択肢にあれば正答です。
Part 5 （リーディングセクションの穴埋め問題）の例題②
問題：Jamal Nawzad has received top performance reviews — he joined the sales department two years ago.
選択肢を与えずに — に入る単語は？と質問しても、正しく since と ChatGPT は答えました。
日本語の問題と考えると、たしかに文の前後を読み取れれば、正解を選べる、というわけです。
小学生、中学生の国語の問題みたいですね。
ちなみに、since 以外に当てはまる単語はあるのか？と質問すると、
“since”以外に文脈に合う単語を使う場合は、特定の時間を指す表現に限定されますが、この文の意味を保持する別の単語を直接的に置き換えるのは難しいです。ただし、文を少し再構成することで、似た意味を持たせることができるかもしれません。例えば、「after」を使って文を書き換えることはできますが、文の流れを変える必要があります。
例: “Jamal Nawzad has been receiving top performance reviews after he joined the sales department two years ago.”
しかし、この文では時間の経過を示す「since」の意味合いを正確に反映できていないため、厳密に「since」の代わりとなる単語はありません。「since」は入社してから現在まで継続している状態を指し、他の選択肢ではそのニュアンスが異なってしまいます。
なるほどなあ、と思わず膝を打つような回答を示してくれました。
Part 5 （リーディングセクションの穴埋め問題）の例題③
問題：All clothing sold in Develyn’s Boutique is made from natural materials and contains no — dyes.
この問題も、選択肢を与えずに質問して「synthetic」（正答）を選びました。
他に考えられる英単語はあるか？との質問には、以下のように回答しています。
「Develyn’s Boutiqueで販売されている全ての衣類は天然素材から作られており、— 染料を含んでいません。」という文を日本語に訳すと、「Develyn’s Boutiqueで販売されている全ての衣類は天然素材から作られており、合成染料を含んでいません。」となります。
「synthetic」を選んだ理由は、この文脈では「天然素材から作られた衣類」というフレーズがあるため、天然のものと対比される「合成の」、つまり人工的に作られたものを指す形容詞が適切だと考えられるからです。「合成染料」は天然素材とは異なり、化学的に製造された染料を指します。
他に当てはまる可能性のある英単語としては、「artificial」（人工の）や「chemical」（化学の）が考えられますが、これらも似た意味合いで使われることがあります。ただし、「synthetic」は特に材料や化学製品に関連して使われることが多く、この文脈では最も適切な選択と言えるでしょう。
と丁寧に説明してくれました。
選択肢を思いつく、発想の根拠まで示してくれる。
正直、ここまでできるとは驚きです。
もちろん、英語を母語として話している方に質問すれば、同様の返事をもらえるのでしょう。
しかし、ここまできれいに言語化してくれるかどうか。
仮に日本語の試験で類似の問題を答えるにしても、です。
正答はできるでしょう。
しかし、おそらく「なんとなく自然だから」程度しか解答できないケースも多いはず。
子供のように「なぜ」「なぜ」を繰り返していけば、テキストや解答、解説にないニュアンスまで説明してくれる。
いや、すごい英語力だね、きみ。
TOEIC の問題を ChatGPT に解かせてみたら……｜まとめ
ここまでの内容をまとめておきます。
すごい、すごい、と思っていたのですが、実は ChatGPT も早とちりすることも分かっています。
サンプル問題はこちらの Part 6 です。
この記事への引用は避けますので、まずはリンク先で問題文を読んでみてください。
E-mail の途中の空欄にふさわしい単語、あるいは慣用句を選ぶ問題です。
こちらの問題と選択肢を画像データで与えて ChatGPT に解かせたところ、なんと No. 133 を早とちりして間違えたのです。
ChatGPT の選択: (B) / 正答:(D)
For でつなぐには、何か名詞が後に続かないといけない箇所です。
そこで、なぜ間違えたの? とChatGPT に聞いたところ、以下の回答がありました。
先ほどの誤解は、おそらく文章の流れから推測してしまったためだと思われます。テキストの前後の文脈から、「理由」に基づいた結果を述べる接続詞が適切だと判断し、「For that reason」を選択するという誤った推測をしてしまいました。しかし、実際の文面には「that reason」というフレーズが含まれておらず、適切な接続詞は「At the same time」でした。このような間違いを避けるためには、提供された情報を正確に読み取ることが重要です。誤解を招いたことをお詫び申し上げます。
文脈から勝手に類推して誤読、勘違いしたことを認めています。
逆に人間らしいといえるかも知れません。
勝手に For the reason の “the reason” がある、と頭の中（？）で誤変換してしまっているのですから。
ちなみに、選択肢を与えずに解答してもらうと、こちらの結果になりました。
131: new
理由: この文では、経験豊富なプロジェクトリーダーからの支援と適切な助けを受けて、経験が少ない従業員が迅速に何かを学べると述べています。ここで「new」を使用すると、「新しい」という意味で、経験が少ない従業員を指す一般的な表現になります。
132: gain
理由: ここの空欄は、何かを「速やかに習得する」という文脈に適している動詞が必要です。「gain」は「得る」という意味で、知識やスキルを獲得するという文脈でよく使われます。
133: therefore
理由: この部分は、結果や理由を導入する接続詞が適切です。「therefore」は前の文で述べた内容に基づいて結論を導く時に使われるので、この空欄には「それゆえに」と訳される「therefore」が適しています。
134: gain
理由: この文の最後の部分では、従業員が何かを得ることに言及しており、これは131の空欄と同じコンセプトです。繰り返しを避けるために別の単語を使うこともできますが、文脈上、スキルや知識を「得る」という意味の「gain」が再び適していると考えられます。
先入観（？）なしだと、therefore と回答していたわけです。
この種の「AI が堂々と間違いを答える」現象をハルシネーションと呼びますが、その間違いすらちょっと人間らしさが出ていて、逆に怖くなりました。
まだ発展途上、完璧ではないものの、
「末恐ろしい、非常に英語ができる部下、後輩」
を持った気分です。
さて。
メーカーで海外との仕事に関わっている立場から、「情報漏洩」と「著作権」に気を付けつつ、実際に事務仕事で使っている事例も、別のブログ「ビジタブル」で紹介しています。
興味のある方は、併せてどうぞ。
