なぜ「良質なデータ」を選んで与えても生成AIは間違えるのか?(根底にあるパラダイム・シフト)

なぜ「良質なデータ」を選んで与えても生成AIは間違えるのか?(根底にあるパラダイム・シフト)
  • 生成AIは学習した情報を断片化した上で連続的に生成するため、質の良いデータでも文脈の断絶や再構成エラーが起こり、ハルシネーションが発生しがちです。
  • 従来の「正確さ」を重視する検索パラダイムと「自然さ・創造性」を重視する生成パラダイムの間には根本的な矛盾があります。
  • 生成AIの真価は単なる「知識や情報を提供するツール」ではなく、対話的に「思考を広げ・深めるツール」として活用することにあります。
なぜ「良質なデータ」を選んで与えても生成AIは間違えるのか?(根底にあるパラダイム・シフト)

YouTube動画でも話しています。

sns_share_buttons
\記事が役に立ったらシェアしてね/
【スポンサーリンク】

1. なぜ良質なデータでも生成AIは賢くならないのか?

会社の商品やサービスの情報をAIにしっかり覚えさせたら、人間の代わりに正確に答えられて便利になるはずだと思うんだけど、難しい理由はあるの?

  • 確かに、「生成AIに特定分野(企業、医療、法律など)の専門知識を与えて学習させて一般AIより高い精度の回答を提供する」という考え方があります。
    これを「ファインチューニング」や「特化型AI」といいます。
  • あるいは、「RAG(検索拡張生成)」というAI技術があります。
    RAGは、まず用意したデータベースで情報源を「検索(Retrieval)」してから回答を「生成(Generation)」する、という二段階構造の仕組みになっています。

分野を限定して良質な学習データを用意すれば、優秀な情報ツールになりそうです。

生成AIの特化型アプローチとその課題 特化型AIの2つのアプローチ ファインチューニング 特定分野の専門知識を学習させる RAG(検索拡張生成) データベース参照型 企業導入の失敗事例 「現場用語を誤解して回答がトンチンカン」 「検索結果が曖昧で結局担当者が二度手間」 「開発費用やランニングコストに見合った効果なし」 特化型アプローチの本質的課題 汎用AIの進化スピードに追いつかない 「特別な情報を与えて賢いAIを作る」アプローチは 期待に反して成果が上がっていない AIシステムの特性 ソフトウェアと異なり、AIは動かすごとに 計算資源を消費し費用が発生する 多くの特化型AIプロジェクトが頓挫・廃止

確かに、「適切に設計」されれば RAGシステムやファインチューニングは非常に効果的です。
カスタマーサポートの効率化、知識共有の促進、創造的な問題解決の支援などで成功を収めている例もあります。

しかし、特別な情報を学習させれば、それだけで効果が出るほど甘くはありません。
現実的には、事前に期待したほどの成果が上がらなかったり、開発中に汎用AIの性能向上に追い抜かれてしまったりして、失敗する特化型AIプロジェクトも少なくありません。
適切なデータ選定、コンテキスト長の考慮、プロンプト設計など、慎重に設計する必要があるからです。

大手企業のAI導入プロジェクトでは、社内検索やチャットボットを生成AIに置き換えようとしましたが、「現場用語を誤解して回答がトンチンカン」になったり、「検索結果が曖昧で結局担当者が二度手間」になったりして、概念実証(PoC)の段階で頓挫してしまいました

企業が生成AI導入に失敗するのはなぜ? | Link AI(2025年1月7日)

社内独自のAIを作っても、開発費用やランニングコストに見合った効果が上がらず、早々に廃止されたものが少なくないのです。

なぜ良質なデータでも生成AIは賢くならないのか?

ソフトウェアは一度開発すれば無限に複製できますが、AIシステムは動かすごとに計算資源を消費し費用が発生します。
このことも維持を難しくする要因です。

なぜ良質なデータでも生成AIは賢くならないのか?

「自社専用AI」は消耗戦なんだね。

なぜ良質なデータでも生成AIは賢くならないのか?

現在のAI研究では、RAG以外にも、Chain-of-Thought(思考の連鎖)、Tool Use(ツール使用)、Multi-agent frameworks(複数エージェント協調)などのアプローチで、ハルシネーションを軽減し、性能を向上させる試みが進んでいます

1-1. 「アインシュタインのAI」はできる?

例えば、アインシュタインの著作を全部を学習させたら、「アインシュタインのAI」が出来上がりそうです。

アインシュタインのAI:プロセスと結果 アインシュタインAIを作る 学習データ 学習プロセス アインシュタインAI 対話開始 ユーザーとの対話 結果:表面的な類似と本質的な限界 初期印象:「それらしく見える」 ✓ アインシュタインの文体を模倣 ✓ 特徴的な表現パターンを再現 ✓ 基本的な物理概念を説明可能 長く話すと:「ボロが出る」 ✗ 思考「プロセス」の欠如 ✗ 経験に基づく直感が再現不可能 ✗ 革新的な概念を生み出せない 結果の学習だけでは思考力(プロセス)は再現できない

しかし、このようなAIが、アインシュタインの「代わり」になりうるか、というとそうではありません。
表面上はそれっぽく見えても、話しているとだんだんボロが出てしまいます。

アインシュタインの経験そのものは学習データよりはるかに豊かなものです。
著作で表現された「結果」だけを学習しても、文体や表現のクセを模倣したり、特定の思考スタイルの一部側面を捉えたりすることはできても、創造的な洞察や独自の経験に基づく直感までは再現できないからです。

「アインシュタインのAI」はできる?

学生が、学校の先生のモノマネをするようなものです。
どんなにモノマネがうまくても、代わりに講義はできません。

逆に言うと、「表現のクセを模倣すること」を求められるような分野では「賢く」見えます。

「アインシュタインのAI」はできる?

なんとなく「アインシュタインとマリリン・モンローの子ども」という逸話(真偽不詳)を思い出すね。

1-2. 「1+1=-1」?

生成AIが時々「ハルシネーション」と呼ばれる間違った情報を作り出すことがあります。
これは、どれだけ良質なデータをAIに与えても起こりうる現象です。

生成AIの文章生成における「つなぎ目問題」 生成AIの文章生成のしくみ 学習データから予測されるトークンの確率分布から連続して生成する 部分的には正確でも、トークンに引っ張られて齟齬が生じることがある 問題の具体例 学習データ1: このキノコは見た目がシイタケに 似ていますが、毒キノコなので 絶対に食べないでください」 学習データ2: 「シイタケは栄養価も高く 特徴的な傘の形状と 香りを持っています 生成結果: 「このキノコはシイタケに似ており、 特徴的な傘の形状と香りを持っています」

生成AIは、学習データから文章の断片(トークン)ごとに次の確率分布を予測し、文脈全体を考慮して紡いでいきます。
しかし、それぞれの断片は正確なデータから引出していても、全体の意味が不正確になることはよくあります。
つまり、ハルシネーションは、「次のトークン予測」という訓練目標と、「事実の正確な伝達」という使用目的の間のミスマッチからも生じます。

これを極めて単純化すれば、例えば、

  • このキノコは見た目がシイタケに似ていますが、毒キノコなので絶対に食べないでください
  • シイタケは栄養価も高く、特徴的な傘の形状と香りを持っています

という学習データがあったときに、生成AIは

  • このキノコはシイタケに似ており、特徴的な傘の形状と香りを持っています

と取り出しうる、ということです。
「シイタケ」というキーワードから続きを間違って予測してしまうことが確率的にあります。

もちろん、最近の生成AIはこのようなあからさまな間違えは少ないですが、文章の細部にはこのような綻びが忍び込むことを理解しておく必要があります。

「1+1=-1」?

このような問題は、情報の断片をつなぐときに「文脈の断絶」「暗黙の前提の欠落」「情報の再構成エラー」などが起きるために発生します。

いくら良いデータを使っても、情報を連続的に生成する過程でこうした問題は避けがたいです。

2. 2つのパラダイムが生み出すミスマッチ

2つのパラダイムが生み出すミスマッチ

もう少しじっくり考えてみると、これは「パラダイム」の違いの矛盾に気づきます。

生成AIに「正しい答え」を求めるアプローチは確かに重要です。
しかし、それが絶対的な目標というわけではありません。

2つのパラダイムが生み出すミスマッチ 正確さのパラダイム 古典的なAIアプローチ: ・明確なルールとロジック ・不確実性の排除と完全な制御 その延長にあるAIの目標: ・「正しい答え」を見つける ・情報の正確性を重視 ・ハルシネーションの排除 創造性のパラダイム ニューラルネットワークの特性: ・データからのパターン学習 ・確率的な応答生成 生成AIの本質: ・「ファジー」を強みとする ・自然で柔軟な表現の生成 ・複数の可能性の探索 生成AIは「正解を出す機械」ではなく「可能性の探索者」 生成AIの根本機能: 「次に来る可能性が高いものを予測する」 情報価値の多面性: 正確さだけでなく、創発性視点の多様性も重要

RAGや特化型AIは、「正確な情報」を探し出すことを目的としています。
同時に「柔軟に文章を作り出す」ためのニューラルネットワークを利用しています。

実は、この二つは根本的に異なる「考え方の枠組み(パラダイム)」に基づいています。
「正確さ」を重視する考え方と、「自然さ」や「創造性」を重視する考え方です。

2つのパラダイムが生み出すミスマッチ

生成AIの評価は、事実正確性だけでなく、文脈的一貫性、応答の関連性、創造性、有用性など多面的な基準で行われています。

2-1. 「ファジー」を良しとする考え方

生成AIの背景にある「ニューラルネットワーク」は、従来のコンピュータとは根本的に異なります。

  • 従来のAIは人間が設計した明確なルールやロジックに基づいていました。
    不確実性を排除し、完全な制御を追求していたのです。
  • 一方、ニューラルネットワークはデータから自動的にパターンを学習し、確率的に応答します。
    完璧な正確さよりも「だいたい良い」結果を目指します。

この変化はコンピュータ技術の歴史における一つの大きな転換点です。
「完全性」から「近似性」へ、「制御」から「創発」へという価値観の変化を表しています。
この新しいパラダイムでは、「あいまいさ(ファジーさ)」は欠点ではなく、むしろ柔軟性という強みととらえられます。

「ファジー」を良しとする考え方

このアプローチは1980年代から研究されていましたが、2020年代になって実社会でも直接的な影響を与えるに至っています。

2-2. 優れた予測は正確さを保証しない

ハルシネーションの問題は、技術的な欠陥というよりも、私たちが生成AIに「完璧な正確さ」だけを求めるという期待とのミスマッチから生じているのかもしれません。

生成AIの根本的な機能は「次に来る可能性が高いものを予測する」ことです。
私たちがよく使う「質問→回答」という使い方では、この能力を「正しい回答の予測」に限定しています。
しかし、本質的には「与えられた文脈から妥当な続きを生成する」能力なのです。

正確さと創造性は対立するものではなく、文脈や用途に応じてバランスを取るべき特性です。

優れた予測は正確さを保証しない

情報の価値も「正確さ」だけでなく、「創発性」「視点の多様性」「思考の拡張」など、多面的に捉える必要があります。

3. 言語の仮想性と「思考の拡張」

言語には「存在しないものを表現できる」という特性があります。

「もし〜なら」「〜のような」という表現で、現実には存在しない状況を考えることができます。
生成AIはこの言語の特性を活かして、私たちの思考を拡張します。

言語の仮想性と思考の拡張 言語の仮想性 「もし〜なら」「〜のような」という表現で、現実には 存在しない状況を考えることができる 人間と機械の関係性の根本的な再定義 従来のコンピュータ ・「入力→処理→出力」の一方向的プロセス ・同じ入力には常に同じ出力を返す 生成AI ・対話的で循環的、開かれたプロセス ・「拡張/増幅」という新しい意義

多くの人は生成AIを、まだ「コンピュータ=正確な答えを提供する道具」という従来の考え方の延長で使っているようです。

しかし、「正しさ」自体が状況(文脈)によって変わるからです。
数学など明確な正解がある問題もありますが、創造的な活動や複雑な意思決定では、多様な視点や可能性の探索が重要になります。

言語の仮想性と「思考の拡張」

「思考の拡張」かぁ。
そういう意味では、文字や紙の発明に近いのかな。

3-1. 自律的に応答する生成AIは「思考の粘土」

従来のコンピュータの「演算/処理」に対して、生成AIは「拡張/増幅」ととらえられるかもしれません。

従来のコンピュータは「入力→処理→出力」という一方向的なプロセスでした。
「正解」や「解決策」を効率的に導き出すことを求められ、同じ入力には常に同じ出力を返します。
一方、生成AIとのやりとりは双方向的で、「思考する」「創造する」といった活動が、「個人の頭の中で行うこと」から「対話的環境の中で共同的に行うこと」へと拡張しました。

この変化は単なる技術進化ではなく、人間と機械の関係性の根本的な再定義と言えます。
生成AIは単に命令に従うだけでなく、意図を推測し、文脈を理解し、創造的に応答します。
重要なのは、生成AIを使うときに「自律的な応答性」という新しい特性を理解することです。

自律的に応答する生成AIは「思考の粘土」

生成AIは「知識の自動販売機」ではなく、いわば「思考の粘土」なのです。
粘土が形を変えながら思考を形作るように、生成AIも対話を通じて考えを育て、形作る道具として使えます。

したがって、生成結果を「最終的な答え」ではなく「継続的対話の一部」と捉え、「正しいか、間違っているか」という視点ではなく「これをどう発展させるか」と問いかけることも大切です。

こちらもどうぞ。
【基本】生成AIの「記憶の鮮度」を管理するコツ(コンテクストウィンドウ)
【基本】生成AIの「記憶の鮮度」を管理するコツ(コンテクストウィンドウ)
生成AIから目的に適った回答を得るには、詳細で具体的なプロンプトを与えるのが大切です。ただし、生成AIには一度に参照できる情報量に限界があり、会話が長くなるにつれ「脈絡のない答え」が増えてきます。適切なタイミングでチャットを仕切り直して、「記憶の鮮度」を維持する工夫が有効です。生成AIの基本的な性質について話したいと思います。最も伝えたいことは「プロンプトとチャットの長さ」という考え方です。YouTube動画でも話しています。生成AIとの会話の分量は長くなる生成AIは一つ一つ...

「ドリフト現象」とは?(漂流するAI)
「ドリフト現象」とは?(漂流するAI)
AI(人工知能)は、学習量が多くなればどんどん賢くなると思われています。しかし、実際には学習するほど「おかしな回答」をする「ドリフト現象」があります。AIの仕組みはとても複雑です。そのため、AIの一部を良くしようとすると、別の部分の性能が下がってしまうことがあります。学習するほど賢くなる、という単純なものじゃないんだね。「ドリフト」って何?「ドリフト」とは、利用しているうちに AI の回答精度が下がってしまう現象です。例えば、こんな感じです:以前はきちんと答えられていた質問に...

生成AIは「正解のない問題」を聞く道具(検索との違い)
生成AIは「正解のない問題」を聞く道具(検索との違い)
代表的な生成AIとしては、ChatGPT、Copilot、Geminiなどがあります。すごく当たり前ですが、生成AIは「生成」が必要な作業に役立ちます。生成AIを「調べもの」に使うと、「遅くて」「的外れ」な回答が多いと感じるかもしれません。しかし、対話を伝え続けると「文脈」が共有され、徐々に意図に沿った回答が得られるようになります。生成AIは、「正解のない問題」が得意です。反対に「正解がある問題」を調べるには従来の検索エンジンの方が速い面も。「生成AI」というと、「なんでも答...
こちらもどうぞ。
QRコードを読み込むと、関連記事を確認できます。

なぜ「良質なデータ」を選んで与えても生成AIは間違えるのか?(根底にあるパラダイム・シフト)
タイトルとURLをコピーしました