記憶

【基本】生成AIの「記憶の鮮度」を管理するコツ(コンテクストウィンドウ) AIの話題

【基本】生成AIの「記憶の鮮度」を管理するコツ(コンテクストウィンドウ)

生成AIから目的に適った回答を得るには、詳細で具体的なプロンプトを与えるのが大切です。ただし、生成AIには一度に参照できる情報量に限界があり、会話が長くなるにつれ「脈絡のない答え」が増えてきます。適切なタイミングでチャットを仕切り直して、「記憶の鮮度」を維持する工夫が有効です。生成AIの基本的な性質について話したいと思います。最も伝えたいことは「プロンプトとチャットの長さ」という考え方です。YouTube動画でも話しています。生成AIとの会話の分量は長くなる生成AIは一つ一つ...
AIと「会話」はできるのか?(会話型AIの課題) AIの話題

AIと「会話」はできるのか?(会話型AIの課題)

近年、「人々の会話し心に寄り添う」というAIが登場しています。対話型AIアプリのユーザーレビューを元に、現時点での課題と本質的な課題を整理してみます。もともと人間の代替は無理だろうけど、どの辺に「違い」があるのかな。AIと「自然な会話」ができるようになったCotomoやSELFは、音声会話型のAIです。(参考)Cotomo(コトモ:音声会話型おしゃべりAI)(AppStore / Playストア)SELF:毎日、AIと話そう(AppStore / Playストア)かなり自然な...
Transformerモデルと「自然言語」(GPTが「スマホの次」だった) AIの話題

Transformerモデルと「自然言語」(GPTが「スマホの次」だった)

Transformerがもっと強力になったら、個々のアプリもいらなくなるかも。たとえば、時間を聞いて、その場で時計盤の画像を生成して見せくれるなら、極端な話 時計も時計アプリもいらなくなっちゃう。すでに、そういう次元じゃないかもしれないけど。あとは、電気代の問題ですね。Transformerモデルがすごいのは、「自己注意機構」でテキスト内の単語間関係を分析できるようになったこと。旧来のモデルと比べ、効率的に文脈全体を把握できるようになったのが成長の背景です。翻訳や要約といった...
【雑感】文脈と記憶から生成されるもの「勇者ヒンメルならそうしたってことだよ」(Generative Pre-trained) AIの話題

【雑感】文脈と記憶から生成されるもの「勇者ヒンメルならそうしたってことだよ」(Generative Pre-trained)

ふと、フリーレンの「勇者ヒンメルならそうしたってことだよ」という台詞が、生成AIの仕組みにちょっと似ているな、と思いました。AIの特徴の一つは、無限に学習した記憶から取り出すことです。これは、誰と判別できずとも、過去の誰かの行動パターンを模倣していることに近いです。たまたまかもしれないけど、フリーレンも生成AIも同じ2023年にヒットしたのは面白いよね。生成AIの学習プロセスAIが大量のデータから学習するプロセスは、フリーレンのようなエルフが1000年以上の長い寿命を通じて蓄...