ChatGPTがS式を解釈する？（自然言語処理と構文解析）

「S式風のプロンプトの書き方が使えるかも？¹²」という説を目にして、実験してみました。
結果は、全く異なる構造のプロンプトを与えても、ほとんど同じ結果になってしまいました（GPT-4, Claude 3 Opus）。
カッコをほとんど省いて「うまいこと」解釈しているようで、現状は修飾関係を明示するような用途では使えなさそうでした。

生成AIは、もっともらしく動作します。
だからこそ、うまくいくケースだけを与えて判断して、評価するのは危険ですね。

エラーチェックや境界条件を調査することが、プログラミング以上に大事だと思います。

もし、S式を解釈してくれるなら、日常会話がLISPにできるかも……、と思ったんだけどなぁ。

1. S式は文章構造を明確にする

わざわざカッコを使う意味があるなら、それは助詞による修飾関係を厳密できる場合だと思います（字数を減らすだけなら、空白によるキーワード列挙で済む）。

２つのS式風のプロンプトA, Bを用意します。

(((投げ方 (ボール 野球)) 練習) 方法)

(((野球 (ボール 方法)) 練習) 投げ方)

BのS式は、Aと区別して書かれています。

仮に「野球での、ボールにとっての方法で、練習を投げる方法」を意図したとします。
常識的には意味不明ですが、人間向けに言い換えれば「野球をしているとき、ボールの立場で練習を終わらせる方法は？」という意味とでもしましょう。

これについての ChatGPTの回答を比較します。

しかし、構造の違いにもかかわらず、ほとんど同じ回答を返しました。

A：野球でのボールの投げ方を上達させるための練習方法について説明しましょう。…
B：野球のボールの投げ方についての練習方法を説明しますね。…

目次に戻る

2. プロンプトの文字数を削減したい

これは、Claude 3 Opusの場合でも同様です。
2つのS式プロンプトでの違いは誤差の範囲内でした。

キーワードを列挙しただけのプロンプトCとも比較しました。

いずれも大きな差は見られませんでした。
つまり、現時点ではS式である必要性はあまり感じることができません。

S式・LISPっぽいプロンプトへの懐疑的な意見

GPT-4ならこの括弧なくてもこれくらいの回答しない？？³
括弧でくくっていくと結果的に意図した結果をもたらす単語の並び方になっている模様
括弧の有無自体はあまり影響を与えないっぽくて、単語と単語の並び方の影響が強そう⁴
人間にとってLispは可読性が低いので、人間の言葉から学習したLLMも同じで理解しずらいのではないだろうか。
なので、単に意味の順番に単語を並べていく方が、圧縮率および復元精度はともに高いかもしれない⁵。

せっかく変態的な構文で書いても、ChatGPTには伝わらないのかぁ。
残念。

ただし、このアプローチのもう一つの目的は、「文字数削減（トークン数削減）」です。
多用するプロンプトはできるだけ圧縮しておきたい、という事情があるからです。

「JavaScriptライブラリをminifyしておく」みたいな感じですね。

というのも、同じようなプロンプトを使い回す場合、できるだけ短くしておいた方が効率的になるからです。

APIから生成AIを使う場合、トークン数がコストになる
入力テキストが長くなるほど言語モデルの性能が低下する

生成AIを利用するサービスを構築する場合には、この差は大きくなります。

Same Task, More Tokens

大規模言語モデルの推論能力についての研究⁶では、入力が長くなるほどモデルの性能が大きく低下することが知られています。
次単語予測の性能が高くても、長い入力での推論タスクの性能が高いとは言えないことがわかりました。
また、入力長を増加させると、言語モデルが具体的な指示に従わなくなったり、関連情報を取り込む能力が低下したりするなどの障害モードが特定されました。

目次に戻る