Claudeという生成AI（調べものの回答では本当っぽい捏造を含むので注意）

Claudeは、ChatGPTよりも「流暢な日本語」を生成するAIで、クリエイティブな作業や長文の生成に向いています。
長い複雑な文章を与えても、かなり精度よく要約や回答させることができます。
しかし、前提なしに調べものの回答をさせると、いかにも本物っぽい事例が架空のものだったりするので、受け売りは要注意です。

Claude 3が話題なので気になる、という話。

調べものに使うと足元をすくわれそうですが、要約はとても自然でわかりやすいです。
自然言語処理にはいろんな用途があるので、得意・不得意があるんでしょうね。

1. 基本的な使い方はChatGPTなどとほぼ同じ

Claudeには、無料プランもあるので、アカウントを作るだけで使用できます。
入力欄に指示（プロンプト）を入れて、送信していくだけ。

（参考）

Claude（https://claude.ai/chats）

使い方は、ChatGPTなどと同じです。

目次に戻る

1-1. Claudeの利用登録はかんたん

すぐに使いたいなら、Googleアカウントとの連携が速いです。

Googleアカウントとの連携したくなければ、メールアドレス・パスワードを登録してもいいんだね。

新規登録にはスマートフォンの電話番号による「SMS認証」がありました。

あとは、使用上の注意について同意したら、利用できます。

デフォルトのフォントがセリフ体だったり、背景が書籍用紙風だったりして、なんとなく「リッチな」感じがするね。

目次に戻る

1-2. Claude Proは月20ドル

ただし、評判の “Claude 3 Opus”（文脈理解量が大きい上位モデル）は、有料プランです。

月20ドルのサブスクリプションなので、ChatGPTと同じですね。

ChatGPT Plusを解約した（プランのキャンセル）

Claude Pro（/月）を試したいので、いったんChatGPT Plus（/月）を解約しました。 ChatGPTは、「カスタムプロンプト」が便利だったので、Claude への切替えは迷いました。ただ、何事も経験と思って、変えることにしました。サブスクリプションのキャンセル ChatGPTの有料プランをやめるのはかんたんです。自分のアカウントから「My Plan」を選び、「サブスクリプションの管理（Manage my subscription）」に進みます。 ...

目次に戻る

2. ClaudeとAnthropic

「Claude」は、AnthropicというAI企業が開発した大規模言語モデルです。
特に Claude 3が公開され、日本語での文章生成能力（自然な会話、幅広い知識、創造性）に長けている、と評価されています。

理解できる文脈の長さが飛躍的に伸びたこと、
厳密であるより創造的であることを重視していること、
多彩な日本語表現を選択すること、
長い文章も比較的高速に生成できること、

が高い評価の要因になっているようです。

モデル	コンテクストウィンドウ
Claude 3 Opus	20万トークン以上
Chat GPT GPT4	8192トークン

両モデルの文脈を理解する能力の違い

ChatGPT 3の登場時にも思ったのですが、生成AIの文脈理解の「量」が一定の「閾値」を超えたときに、急に「質」的に「賢くなった」ように感じるような気がします。

インターネット上の評価例

GPT-4まではツール感が否めなかった。Claudeは同僚と仕事している感ある¹。
Claude 3、マジヤバい。ヤバいよヤバいよ²。
Anthropicの先日出たばかりのClaude 3（Opus）が、ChatGPTのGPT-4を超えてきたと聞いて、自分の原稿を解説させてみたところ、確かに革新的な進歩が見られる。もはや内容を「理解」しているようにしか見えない³。
うそやろ、こんなにClaudeすごいのにまだChatGPTで止まってる人いるんか⁴。
Claude 3 Opusの文章のクオリティの高さに魅了され、ChatGPTからの乗り換えを決意しました⁵。
自然さというか「中に人が入ってる感じ」は10割、Claude3が勝ってる。これはチューニングに起因すると思ってる⁶。

AnthropicとOpenAI

Anthropic社は、生成AIの分野で注目されている米国のスタートアップ企業です。

元々OpenAIに所属していた複数のメンバーが、そのやり方に異を唱えて2021年に設立したのがAnthropicです。
GoogleはAnthropicに4億ドル近くを投資し、正式な提携を結んでいます。

目次に戻る

2-1. ただし、捏造も上手い……

もちろん、「完全にGPT-4を上回っているとも言えない」という評価もあります。

インターネット上の評価例

軽く触った感じでは、OpusはなんJスレ書かせる以外では言うほどChatGPTより凄いって感じでもないかなと思った⁷。
Claude 3 Opusは、8割のケースでGPT-4より圧倒的に優れていると感じるが、全然ダメなケースも2割くらいある、みたいな感じですね⁶。
まるで本当のことのように嘘を付く「ハルシネーション（幻覚）」の多さだ。外部インターネットへのアクセスができないこともあり、特に上場していないような規模の日本の企業について聞くと、8割方でたらめな説明を始める⁸。

生成結果の根拠を聞いてみると、「でっち上げ」だと白状することが多いです。

どうも「具体例を挙げて説明して」というのが、「説明のための具体例を作って」と解釈して回答することがあるのです。
かなり詳細に書かれているので、実在の事例に見えるのが厄介。

Claude 3 Opusに「振り飛車」を聞いてみた（事前学習が弱い分野の具体例）

Claude 3 Opusは、自然な文章を生成するのが特徴です。しかし、事前学習だけによる回答には、「知ったかぶり」も含まれるので注意が必要です。そのうち改善されると思いますが、どこまでいっても「信頼性」の問題はあります。生成AIとの対話では、情報源ではなく情報加工に使う、ということを意識するとよいです。まんべんなく賢いわけではないんだね。自分が知らない分野の話だと、ころっと「だまされてしまう」かも。環境：2024年4月時点、Claude 3 Opus Claude...

「ハルシネーション」とは？

生成AIの「ハルシネーション」というのは、AIが学習したデータの範囲を超えて、でたらめな答えを出力してしまう現象です。人工知能が幻覚を見ているかのように回答することから名付けられました。

実際にGPT 4とClaude 3の生成結果の比較については、以下を見るとわかりやすいです。

（参考）

24/03/20 ChatGPTとClaude3の比較

これは「厳密さ」と「創造性」のチューニング次第な気もします（temperatureパラメータ）。

ただ、ChatGPT以上に使いどころを選ばないといけないな、と感じました。

生成AIは「正解のない問題」を聞く道具（検索との違い）

代表的な生成AIとしては、ChatGPT、Copilot、Geminiなどがあります。すごく当たり前ですが、生成AIは「生成」が必要な作業に役立ちます。生成AIを「調べもの」に使うと、「遅くて」「的外れ」な回答が多いと感じるかもしれません。しかし、対話を伝え続けると「文脈」が共有され、徐々に意図に沿った回答が得られるようになります。生成AIは、「正解のない問題」が得意です。反対に「正解がある問題」を調べるには従来の検索エンジンの方が速い面も。「生成AI」というと、「な...

目次に戻る

2-2. ハルシネーションの例（link）

たとえば、Claude 3 OpusとChatGPT GPT4に以下の質問をしてみました。

「linkを使用してワンクリック決済の情報を保存する」とはどういうことですか？
決済サービスlinkについて教えて。

Claude 3 Opus	ChatGPT 4
「link」は、GMOペイメントゲートウェイ株式会社が提供するオンライン決済サービスの名称です。主に以下のような特徴があります。…	Linkは、Stripeによって開発された決済サービスで、ユーザーがオンラインでの支払い情報を安全に保存し、それを再利用することができるようにすることで、支払いプロセスを速める機能です。…

このときに私が知りたかったのは、「Link by Stripe」でした。
ChatGPTは正しいものの、Claude 3 Opusは的外れの回答になっていました。
また、GMOが実際に提供しているのは、「リンクタイプ Plus」というサービス名です。

（参考）

目次に戻る