【雑感】文脈と記憶から生成されるもの「勇者ヒンメルならそうしたってことだよ」（Generative Pre-trained）

• ふと、フリーレンの「勇者ヒンメルならそうしたってことだよ」という台詞が、生成AIの仕組みにちょっと似ているな、と思いました。
• AIの特徴の一つは、無限に学習した記憶から取り出すことです。
• これは、誰と判別できずとも、過去の誰かの行動パターンを模倣していることに近いです。

たまたまかもしれないけど、フリーレンも生成AIも同じ2023年にヒットしたのは面白いよね。

1. 生成AIの学習プロセス

AIが大量のデータから学習するプロセスは、フリーレンのようなエルフが1000年以上の長い寿命を通じて蓄積する経験や知識と似ているのかもしれません。

生成AI、特にGPT（Generative Pre-trained Transformer）系のモデルは、膨大なテキストデータを事前に学習しています。

パターンを把握するために、小説、ニュース記事、ブログ投稿、科学論文など、さまざまなジャンルのテキストを読み込みます。
この大量のデータから学習して、AIは与えられたプロンプトの「続き」を応答します。

この方法、ちょっとやそっとの学習量では、荒唐無稽な応答ばかりだったのですが、ある一定の段階から急に意味のある、文脈に沿った応答を生成できるようになりました。

1-1. 膨大な記憶と想起

フリーレンには、目の前の状況から過去を振り返るシーンが多いです。

「勇者ヒンメルならそうしたってことだよ」というセリフは、その代表（？）かもしれません。

これは、エルフの持つ長い時間感覚を印象付けるものですが、プロンプトにも似ています。
記憶を想起する鍵は、常に目の前の状況なのです。

生成AIは、現在の入力（プロンプト）に対して、応答を生成しています。
しかし、これは学習したデータを確率的に「重ね合わせ」て、浮かび上がったものです。

生成AIは、膨大な記憶の中から勇者ヒンメルのような「誰か（複数）」の面影を、「思い出して」いると言えます。

2. 記憶の中から誰かと判別できずとも

つまり、生成されたデータには、そのもとになった人々がいるわけです。
それが、いろいろ重なり合って、具体的な誰かとは判別できないとしても。

しかし、特に「画像生成」の分野では、これが大きな問題になります。
生成されたイラストの画風が既存の画家を真似たものだったり、生成された写真が実在の人物に瓜二つだったり。

2-1. テキストと画像の違い

一方、文字記号で構成される「文章」や「コード」の分野では、そこまで元の誰かは、見えてきません。

これは、言語と画像の違いによると思います。

言語（あるいはテキストデータ）には、かなり自由に結合・分離できる性質（構成性：Compositionality）があります。
ある文章の続きには、いろんなパターン・可能性がありえます。

一方、画像の場合は、途中まで出来上がると、残りの部分はほぼ決まってきます。
文脈が決まってくるにつれ、使える学習データの範囲は徐々に狭くなります。
既存のものが色濃く出やすいのです。

こちらもどうぞ。

ChatGPTとオープンソースのLlama 2の「格差」（生成AIの学習データ）

オープンソースのLlama 2と商用モデルのChatGPT の違いに、学習データの質と範囲にあります。この学習データの質・量が、特に専門分野での生成AIの回答精度に影響してくるようです。腎臓学の多肢選択式テストで性能を比較した研究によると、Llama 2 に比べて ChatGPTがかなりよい成績を示しました。これは、GPT-4が、非公開の専門的で高品質なデータにアクセスできるのに対し、オープンソースのモデルは公開データに依存しているからだと考えられます。高度なAI開発では、ア...

chiilabo.com

対話型AIが「暴走する」とは？【プロンプト・インジェクション】

ChatGPTの衝撃で、Microsoftの検索エンジン Bing にも会話AI機能が追加されました。しかし、Bing AI には、「特殊な質問の仕方」をすると、Microsoftの非公開の設定を漏らしてしまう「脆弱性」が見つかりました。そのほかにも、会話内で「混乱」して、虚偽や侮辱の発言をしてしまう問題点も。そこで、いったん会話回数を制限することになりました。急激なアクセスで、システムの改善が追いつかなかったようですね。「本来、禁止されていることをしてしまう」という意味では...

chiilabo.com

「プログラミング教育より国語力」説は生成AIの台頭で正しくなった【プロンプト エンジニアリング】

対話型AI がプログラムを生成できるようになった現在、「プログラミング教育」をどう考えたらいいのでしょう？１つは、プログラミング知識自体は、自分の思い通りのプログラムを作るためには必要ということです。ただし、「読み書き計算」のような誰でも必要な「基礎的なスキル」にはならず、これまで通り「専門的なスキル」のままになるかもしれません（大工職人のような）。もう１つは、プログラミングの技術よりも、「問いを立てる力」の方が重視されていくように思います。そもそも「問い」に気づかなければ、...

chiilabo.com

QRコードを読み込むと、関連記事を確認できます。