- 機械学習はコンピュータがデータから学ぶ方法で、特に強化学習は人間の学習過程に似ています。
- 強化学習では「状態認知→判断→行動→評価→報酬→強化」という6ステップのサイクルを繰り返します。
- このプロセスでは、新しい行動を試す「探索」と効果が分かっている行動を選ぶ「活用」のバランスを取りながら、失敗と成功を通じて徐々に賢くなっていきます。
1. 学習サイクルの全体像
「機械学習」は、コンピュータがデータから学んで賢くなる方法です。
その中でも強化学習という手法は、人間が学ぶ過程にとても似ています。
強化学習では、「エージェント」（AIのこと）と「環境」が互いに作用し合いながら学習が進みます。
このサイクルは次の6つのステップで成り立っています。
- まず、エージェントが「状態を認知」します。
つまり、今の状況を理解します。
例えば、レコメンドシステムならユーザーの好みや過去の行動履歴を把握します。 - 次に、「意思決定ルールから判断」します。
今持っている知識や方針に基づいて、何をするか決めます。
例えば、どの映画をおすすめするかを選びます。 - そして「行動を実行」します。
決めた行動を実際に行います。
例えば、選んだ映画をユーザーに表示します。 - 行動の後は「結果を評価」します。
何が起きたかを観察します。
例えば、ユーザーがその映画を見たかどうかを確認します。 - 評価に基づき「報酬を獲得」します。
良い結果なら「ご褒美」、悪い結果なら「マイナス評価」を受け取ります。
例えば、ユーザーが映画を見たら点数が上がります。 - 最後に「意思決定ルールを強化」します。
報酬をもとに、次はどうすべきかの判断基準を更新します。
ユーザーが喜んだ映画のような選択をより多くするよう学習します。
このサイクルの重要な部分は「試行錯誤」です。
時には新しい行動を試し（探索）、時には効果が分かっている行動を選ぶ（活用）ことで、バランス良く学習していきます。
失敗から学び、成功を積み重ねることで、意思決定ルールは徐々に良くなっていきます。
機械学習、特に強化学習は、このような人間らしい学習プロセスをコンピュータで再現したものなのです。
何度も繰り返すことで、少しずつ賢くなっていくのが特徴です。
こちらもどうぞ。
「いいね」が作る虚像（フィルターバブルとエコーチェンバー）
インターネットの情報は、アルゴリズムによって個人の好みに合わせて表示されています。この仕組みにより、同じ価値観を持つ人々が集まり、特定の意見が増幅される「エコーチェンバー現象」が起きています。暗黙的に選別するレコメンドエンジンの強化学習を理解して、必ず複数の多様な情報源で確認する意識が大切です。エコーチェンバー・フィルターバブル私たちは毎日、SNSやウェブサイトを通して大量の情報に触れています。しかし、すべての情報を見ることはできないため、機械的に選別されたものを見ています。...
chiilabo.com
「プログラム」と「AI」の違い（従来型プログラムと機械学習ベースのAIプログラム）
従来型プログラムは決まった手順に従い予測可能な結果を出しますが、AIプログラムはデータから学習し新しい状況に対応できるのが特徴です。人間に打ち勝つようなコンピュータプログラムは、チェスのDeep Blueから囲碁のAlphaGoへと進化しました。現在のAIブームは、コンピュータの性能の向上、ビッグデータの出現、深層学習の登場によって、過去のブームよりも社会に大きな影響がありました。YouTube動画でも話しています。チェスの名人Deep Blueと囲碁の達人AlphaGoコン...
chiilabo.com
生成AIはデータとコードが一体化しているようなものでは？（コードを注入されるリスク）
生成AIシステムは一般的なプログラム以上に深刻な脆弱性を抱えているように思えます。それは悪意のあるユーザーによって、システムの動作を不正に操られる可能性。AIの動作を決める学習データが容易にインプットできるためです。最近、『情報セキュリティの敗北史: 脆弱性はどこから来たのか』という本を読んでいます。コンピュータの歴史を振り返ると、生成AIの「安全機構」の弱さが心配になりました。そもそも自然言語って、入力チェックが可能なのかな？原理的に。ノイマン型コンピュータの脆弱性プログラ...
chiilabo.com
機械学習のAIは「人間のような感情」を持たない
考えてみれば、生成AIは悲しい存在である。人は、生物だから「生きる本能」によって駆動している。だから、自己のために動いている。一方、「機械学習」によるAIは、「評価」によって駆動している。これは、他者によるものである。 この違いは根本的で、だから AIには、「人間のような感情」は発生しないだろう。AIが「感情」のような「複雑な反応」を持つ可能性はありますが、人間とは根本的に異なるものになると思います。「生命」につながっていないからです。例えていえば、炭素以外の元素による「有機...
chiilabo.com
QRコードを読み込むと、関連記事を確認できます。
