Claude 3 Opusに「振り飛車」を聞いてみた（事前学習が弱い分野の具体例）

Claude 3 Opusは、自然な文章を生成するのが特徴です。
しかし、事前学習だけによる回答には、「知ったかぶり」も含まれるので注意が必要です。

そのうち改善されると思いますが、どこまでいっても「信頼性」の問題はあります。

生成AIとの対話では、情報源ではなく情報加工に使う、ということを意識するとよいです。

まんべんなく賢いわけではないんだね。

自分が知らない分野の話だと、ころっと「だまされてしまう」かも。

環境：2024年4月時点、Claude 3 Opus

1. Claude 3 Opusの回答には誤解がある

Claude 3 Opusの将棋についての回答をもとに、「知ったかぶり」の具体例をみてみます。

将棋における「捌く振り飛車」と「受ける振り飛車」の考え方の違いを聞いてみました。

すると、Claude 3 Opusには以下のような誤解があるようでした。

観点	Claude 3 Opusによる「捌く振り飛車」	Claude 3 Opusによる「受ける振り飛車」
得意な戦い方	相手の仕掛けを受けつつ、隙を見て自らも仕掛けている	相手の駒組みを妨害しつつ、早期の仕掛けから導権を握ることを目指す
目指すこと	じっくりと駒組みを進めて終盤での優位を目指すこと。	中盤での優位を目指し、多様な戦型に転換すること。

Claude 3 Opusの回答による

回答内容がちょっと意味不明なのですが、特に「受ける振り飛車」の急戦・持久戦の考え方が真逆になっているように思います。

実際の将棋では、以下のように言われています。

「捌く振り飛車」のねらいは、相手の攻めを適度に受け入れつつ、自陣の駒の効率を高めることで優位を築くこと¹。
「受ける振り飛車」のねらいは、堅い玉の守りを基盤として、相手の攻めを正確に受け流し、終盤のねじりあいで勝つこと²。

観点	捌く振り飛車	受ける振り飛車
得意な戦い方	相手の攻めを適度に受け入れつつ、自陣の駒の効率を高める	堅い玉の守りを基盤として、相手の攻めを正確に受け流す
目指すこと	中盤で優位を築くこと	終盤のねじりあいで勝つこと

振り飛車の「捌き」と言えば、飛車角などの攻め駒を交換して互いに打ち合う戦い方です。

目次に戻る

1-1. Claude 3 Opusへのプロンプトと回答

与えたプロンプトは以下です。

捌く振り飛車と受ける振り飛車について、
2つの戦法の考え方・ねらいと駒組みの仕方の違いを
できるだけ詳細・具体的に解説してください。

それに対する回答です（かなり長いです）。

Claude 3 Opusによる回答

捌く振り飛車と受ける振り飛車は、どちらも相振り飛車の基本的な戦型ですが、その考え方やねらい、駒組みには大きな違いがあります。
捌く振り飛車：
考え方・ねらい
早期の攻め合いを避け、じっくりと駒組みを進めることを目指す。
相手の仕掛けを受けつつ、隙を見て自らも仕掛けていく。
終盤での優位を目指し、持久戦に持ち込むことを意識する。
駒組みの特徴
金銀の活用：銀を5筋や3筋に配置し、金を6筋や4筋に配置することで、柔軟な守りと攻めを可能にする。
桂馬の活用：桂馬を中盤で活躍させるため、3筋や5筋に配置することが多い。
角換わりを目指す：角交換を行うことで、相手の攻めを鈍らせ、自らの攻めに繋げる。
歩の進行：4筋や6筋の歩を適宜進めることで、相手の攻めを牽制しつつ、自陣の守りを固める。
受ける振り飛車：
考え方・ねらい
早期の仕掛けを目指し、主導権を握ることを優先する。
相手の駒組みを妨害しつつ、自らの攻めを優先して進める。
中盤での優位を目指し、速攻や中飛車など、多様な戦型に転換することを意識する。
駒組みの特徴
角道の開放：角道を開放し、角の利きを生かした攻めを目指す。
飛車先の攻め：飛車先の歩を進め、早期の仕掛けを目指す。
金銀の活用：金を5筋や3筋に配置し、攻めの支援を行う。銀は4筋や6筋に配置し、守りを固める。
桂馬の活用：桂馬を早期に動かし、相手陣へ侵入することを目指す。
歩の進行：2筋や8筋の歩を早めに進め、相手の駒組みを妨害しつつ、自らの攻めを加速させる。
これらの違いを理解し、戦況に応じて柔軟に対応することが、相振り飛車戦での勝利に繋がります。ただし、これらはあくまで基本的な考え方であり、実際の対局では、相手の戦術や局面に合わせて、臨機応変に駒組みを変化させることが重要です。

それっぽいことを言っていますが、実際の将棋を知っていると「てんでデタラメ」なことに気づきます。

たとえば、「受ける振り飛車の駒組みの特徴」とする「角道の開放」や「飛車先の攻め」は、居飛車急戦の解説を引っ張って来ているような気がします。

でも、将棋のことを知らないと信じちゃうかもね。

このような生成AIの見当違いを、「ハルシネーション」といいます。

「ハルシネーション」とは？

生成AIの「ハルシネーション」というのは、AIが学習したデータの範囲を超えて、でたらめな答えを出力してしまう現象です。人工知能が幻覚を見ているかのように回答することから名付けられました。

目次に戻る

1-2. Claude 3 Opusへのプロンプトと回答（その2）

意味不明な部分をもうちょっと具体的に聞いてみました。

プロンプト：

捌く振り飛車と受ける振り飛車は、
それぞれどんな戦法への対抗策として有利ですか？
比較してください。

回答（ますます「トンチンカン」なことを言っています）：

捌く振り飛車と受ける振り飛車は、それぞれ異なる戦法に対して有利に働きます。
捌く振り飛車が有利な戦法：
早石田：早石田は早期の攻め合いを目指す戦法ですが、捌く振り飛車は金銀を柔軟に配置することで、守りを固めつつ、相手の攻めを受け流すことができます。
角換わり：角換わりは角交換を積極的に行う戦法ですが、捌く振り飛車も角交換を目指すため、有利に戦うことができます。
相掛かり：相掛かりは、両者が角道を開放し、早期の攻め合いを目指す戦法ですが、捌く振り飛車は持久戦を目指すため、相手の攻めを受けつつ、優位を築くことができます。
受ける振り飛車が有利な戦法：
居飛車：居飛車は、飛車を振らずに攻めを進める戦法ですが、受ける振り飛車は早期の仕掛けを目指すため、相手の駒組みを妨害しつつ、主導権を握ることができます。
相矢倉：相矢倉は、両者が矢倉を築く戦法ですが、受ける振り飛車は角道を開放し、早期の攻めを目指すため、相手の矢倉築城を妨害しつつ、優位に立つことができます。
中飛車：中飛車は、飛車を中段に配置し、早期の攻めを目指す戦法ですが、受ける振り飛車も同様の戦術を取ることができるため、有利に戦えます。
比較：
捌く振り飛車は、持久戦を得意とし、相手の攻めを受け流しつつ、優位を築くことを目指します。一方、受ける振り飛車は、早期の仕掛けを得意とし、相手の駒組みを妨害しつつ、主導権を握ることを目指します。
捌く振り飛車は、相振り飛車戦での基本的な戦法に対して有利に働くのに対し、受ける振り飛車は、居飛車や相矢倉など、振り飛車以外の戦法に対しても有効です。
捌く振り飛車は、じっくりと駒組みを進める必要があるため、時間的な余裕が必要ですが、受ける振り飛車は、早期の仕掛けを目指すため、時間的な制約が少ない傾向にあります。

居飛車と振り飛車などの基本的な理解がないようで、読んでいるとクラクラしてきますね。

目次に戻る

1-3. Claude 3 Opusへのプロンプトと回答（その3）

ここまでの回答から比較表にまとめてもらってみます。

プロンプト：

以下[以上の間違い]の文章を簡潔な表形式に

回答：

こちらが、捌く振り飛車と受ける振り飛車の比較を簡潔な表形式でまとめたものです。
観点捌く振り飛車受ける振り飛車
得意な戦い方持久戦早期の仕掛け
目指すこと相手の攻めを受け流しつつ、優位を築く相手の駒組みを妨害しつつ、主導権を握る
有利な対戦法早石田、角換わり、相掛かり居飛車、相矢倉、中飛車
戦法の幅相振り飛車戦での基本的な戦法に有利振り飛車以外の戦法にも有効
時間的制約じっくりと駒組みを進める必要があり、時間的余裕が必要早期の仕掛けを目指すため、時間的制約が少ない
Claude 3 Opusによるハルシネーション
この表は、捌く振り飛車と受ける振り飛車の主な違いを、得意な戦い方、目指すこと、有利な対戦法、戦法の幅、時間的制約の5つの観点から比較しています。これにより、それぞれの戦法の特徴と違いが一目で分かるようになっています。

観点	捌く振り飛車	受ける振り飛車
得意な戦い方	持久戦	早期の仕掛け
目指すこと	相手の攻めを受け流しつつ、優位を築く	相手の駒組みを妨害しつつ、主導権を握る
有利な対戦法	早石田、角換わり、相掛かり	居飛車、相矢倉、中飛車
戦法の幅	相振り飛車戦での基本的な戦法に有利	振り飛車以外の戦法にも有効
時間的制約	じっくりと駒組みを進める必要があり、時間的余裕が必要	早期の仕掛けを目指すため、時間的制約が少ない

目次に戻る

2. 事前学習がなくてもとりあえず答えるスタイル

生成された回答は、論理的な文章とは言えません。
「振り飛車」「居飛車」「対抗形」などの将棋の基本的な考え方を無視して、ごちゃごちゃした話になっています。

また、「Comparing Shikake and Ukeru Furibisha Strategies in Shogi」というタイトルをみると、おそらく内部的には英語で処理していることが伺えます。
つまり、プロンプトを内部表現に変換する過程で、意味が変わってしまったのかもしれません。

このようなハルシネーションの原因は、将棋がClaude 3の事前学習であまり重視されていない分野だったからだと考えられます。
大事なのは、このような「手薄な分野」はほかにもある、ということです。

Claude 3では、プログラミングや心理学など回答精度が高く感じる分野もあります。
ただ、その精度をすべての問題に対して期待しない方がよいと思います。

まんべんなく賢いわけではないんだね。

よく「将棋AIは人間を超えた」っていう話を聞くけど、「dlshogi」とか「水匠」など自然言語処理とはまた別の分野だもんね。

目次に戻る

3. ちいラボの授業料を聞いてみる

一般的な調べものでも試してみます。

Claude 3 Opusに、前提となる情報を与えないで「スマホ教室ちいラボの授業料」を聞いてみました。

スマホ教室ちいラボの授業料を教えてください。

スマホ教室ちいラボの授業料に関する情報は以下の通りです。
入会金: 3,300円（税込）
60分レッスン料金: 1回 3,850円（税込）（…）

料金が違うね。

もしかすると別の「スマホ教室ちいラボ」が実在するのかもしれないので、情報源を聞いてみます。

公式サイトのURLを教えてください。

スマホ教室ちいラボの公式サイトのURLは以下の通りです。
https://chiilabo.jp/
このサイトでは、スマホ教室ちいラボの概要、授業内容、料金プラン、教室の場所、講師紹介、受講者の声などの情報を確認することができます。また、体験レッスンや本受講の申込みもオンラインで行えます。

ところが、この「https://chiilabo.jp/」は存在しないサイトです。
つまり、いろんなスマホ教室の料金を総合して、架空の平均的な金額を「生成」しているわけです。

せっかくなので、今のうちにchiilabo.jpのドメインを取得しておきました³。

目次に戻る

3-1. テキストを与えて回答させる

これだけだと Claude 3 Opus が役に立たないように思うかもしれません。
しかし、もちろんそんなことはありません。
ちゃんと前提となる情報を与えれば、有用な回答をします。

プロンプト：

以下の文章から、スマホ教室ちいラボの授業料を教えてください。
（https://chiilabo.com/の内容のテキストファイルを添付）

回答：

ちいラボの授業料は以下の通りです。
個別レッスン：40分 5,000円ワンポイントレッスン：20分 2,500円
初回は無料の体験レッスンを実施しているので、まずはお試しいただけます。

つまり、Claude 3 Opusの回答は、情報源として使うようにはできていません。
しかし、情報源を用意すれば、上手に加工してくれます。

生成AIを使う上で、情報源にするのではなく、情報加工に使うということを意識することが大事ですね。

こちらもどうぞ。

Claudeという生成AI（調べものの回答では本当っぽい捏造を含むので注意）

Claudeは、ChatGPTよりも「流暢な日本語」を生成するAIで、クリエイティブな作業や長文の生成に向いています。長い複雑な文章を与えても、かなり精度よく要約や回答させることができます。しかし、前提なしに調べものの回答をさせると、いかにも本物っぽい事例が架空のものだったりするので、受け売りは要注意です。 Claude 3が話題なので気になる、という話。調べものに使うと足元をすくわれそうですが、要約はとても自然でわかりやすいです。自然言語処理にはいろんな用途があるので...

Claude 3 Opusに出戻った

先日、GPT-4 Turboの公開があり、Claude Proの更新をキャンセルしました。結局、Claude 3 Opusの方が「感覚的に好み」だったので、Claude Proのサブスクリプションを再開しました。 GPT-4の方が「AIらしい文章」でその良さもあるのですが、要約タスクなどはやはり Claude 3の文章の方がスッと読める気がします。 AIの性能は、スペックやスコアだけではわからない感じがします。人やタスクによっても相性もありますし。 1か月だけならどちら...

ChatGPTがS式を解釈する？（自然言語処理と構文解析）

「S式風のプロンプトの書き方が使えるかも？」という説を目にして、実験してみました。結果は、全く異なる構造のプロンプトを与えても、ほとんど同じ結果になってしまいました（GPT-4, Claude 3 Opus）。カッコをほとんど省いて「うまいこと」解釈しているようで、現状は修飾関係を明示するような用途では使えなさそうでした。生成AIは、もっともらしく動作します。だからこそ、うまくいくケースだけを与えて判断して、評価するのは危険ですね。エラーチェックや境界条件を調査するこ...

（補足）

目次に戻る

QRコードを読み込むと、関連記事を確認できます。