言語モデル

推論によるスケーリング（OpenAI o1のChain of Thought）

推論によるスケーリング（OpenAI o1のChain of Thought）

OpenAIが発表した新しい人工知能「o1（オーワン）」は、「Chain of Thought」という推論の仕組みを使って複雑な問題を解決します。問題を小さな部分に分けて段階的に解決することで、より正確な答えを導き出すことができます。モデルサイズではなく推論時間を延長することで性能を向上させるアプローチの登場で、生成AIの世界は大きく変化する可能性があります。従来の生成AIとは違う「推論」の仕組み2024年9月12日、OpenAIは新しい人工知能「o1（オーワン）」を発表しま...

AIの話題とりあえずのメモ

「GPTベース翻訳」の意味とは？DeepLとの比較

「GPTベース翻訳」の意味とは？DeepLとの比較

OpenAI TranslatorはGPTベースの翻訳アプリで、Chat-GPTとつないで翻訳する機能を提供します。Chat-GPTのAPIキーがあれば、GitHubから簡単にインストールして使えます。GPTの翻訳は、文脈を理解した流暢な日本語が特徴。DeepLは高品質な翻訳で知られ、特に速さと正確さで優れています。現状では、DeepLの訳文の方が「素材」として使い勝手がよくて、GPTの方が「資料」としてざっと読みやすい、と言えそうです。（公開サイト）生成AI GPTの性質を...

2024.02.18 2025.01.13

AIの話題とりあえずのメモクラウドニュースから考える作業効率化

【雑感】文脈と記憶から生成されるもの「勇者ヒンメルならそうしたってことだよ」（Generative Pre-trained）

【雑感】文脈と記憶から生成されるもの「勇者ヒンメルならそうしたってことだよ」（Generative Pre-trained）

ふと、フリーレンの「勇者ヒンメルならそうしたってことだよ」という台詞が、生成AIの仕組みにちょっと似ているな、と思いました。AIの特徴の一つは、無限に学習した記憶から取り出すことです。これは、誰と判別できずとも、過去の誰かの行動パターンを模倣していることに近いです。たまたまかもしれないけど、フリーレンも生成AIも同じ2023年にヒットしたのは面白いよね。生成AIの学習プロセスAIが大量のデータから学習するプロセスは、フリーレンのようなエルフが1000年以上の長い寿命を通じて蓄...

2024.02.14 2024.02.15

AIの話題ちいラボエッセイ

ChatGPTとオープンソースのLlama 2の「格差」（生成AIの学習データ）

ChatGPTとオープンソースのLlama 2の「格差」（生成AIの学習データ）

オープンソースのLlama 2と商用モデルのChatGPT の違いに、学習データの質と範囲にあります。この学習データの質・量が、特に専門分野での生成AIの回答精度に影響してくるようです。腎臓学の多肢選択式テストで性能を比較した研究によると、Llama 2 に比べて ChatGPTがかなりよい成績を示しました。これは、GPT-4が、非公開の専門的で高品質なデータにアクセスできるのに対し、オープンソースのモデルは公開データに依存しているからだと考えられます。高度なAI開発では、ア...

2024.02.10 2024.02.17

AIの話題とりあえずのメモニュースから考える

「プログラミング教育より国語力」説は生成AIの台頭で正しくなった【プロンプトエンジニアリング】

「プログラミング教育より国語力」説は生成AIの台頭で正しくなった【プロンプトエンジニアリング】

対話型AI がプログラムを生成できるようになった現在、「プログラミング教育」をどう考えたらいいのでしょう？１つは、プログラミング知識自体は、自分の思い通りのプログラムを作るためには必要ということです。ただし、「読み書き計算」のような誰でも必要な「基礎的なスキル」にはならず、これまで通り「専門的なスキル」のままになるかもしれません（大工職人のような）。もう１つは、プログラミングの技術よりも、「問いを立てる力」の方が重視されていくように思います。そもそも「問い」に気づかなければ、...

2023.03.20 2023.03.23

AIの話題ちいラボエッセイとりあえずのメモニュースから考えるパソコン基礎知識プログラミング