- Anthropicの Claude 3.5 Sonnetは、回答精度・応答速度・コスト効率が良くなりました。
- 日常的な質問や通常のタスクなら Claude 3.5 Sonnet でも十分なレベルになっています。
- まだ、本一冊まるごと分析するなど、膨大なデータを分析するようなケースでは Claude 3 Opusが役に立つケースもあるようです。
私は Claude Pro プランで、今までは主に Claude 3 Opusで文章処理をしていました。
これからは まずは Claude 3.5 Sonnet を第一選択にしてよさそうです。
回答はこれまで同様に自然な感じだし、何より応答までの待ち時間が減ったのが大きいね。
その分、回答生成中の細切れの休憩は取れなくなったけど……（笑）。
1. ねぇ、新しいSonnetと古いOpus、どっちがいいの？
AnthropicのClaude 3.5 Sonnetが公開されました。
中位モデルのSonnetだけがバージョンアップしました。
高品質の回答を求めるなら、高位モデルのOpusとどちらがよいですか？
ざっくり言うと、
「中位モデルの最新版が、従来の高位モデルに匹敵するようになった」
ということです。
2. コスパだけでない 3.5 Sonnet
コスパは圧倒しているのはわかるけど、回答精度（納得感）はどうなの？
それでも、日常的な質問なら、Claude 3.5 Sonnetの方がよい回答をするようです。
とりあえず、ふだん使いは「3.5 Sonnet」に移行していて、回答に不満があれば Opusで聞き直す運用で使ってみました。
ただ、ほとんど聞き直すことはなかったです。
回答に多少の不満があれば、あとは人力でもいいしね。
| 特徴 | Claude 3.5 Sonnet | Claude 3 Opus |
|---|---|---|
| 使用推奨場面 | 日常的な複雑なタスク、 コスト効率重視の場合 | 非常に高度な分析や 長文生成が必要な場合 |
| 性能 | 最新モデルで性能が向上 | 以前のモデルで性能はやや劣る |
| 速度 | Claude 3 Opusの2倍 | Claude 3.5 Sonnetの半分 |
| コスト | 中位モデルの価格設定 | 高位モデルで比較的高価 |
| 推論能力 | 大学院レベル | 高いが3.5 Sonnetより劣る |
| コーディング能力 | 問題解決率64% | 問題解決率38% |
| 視覚認識 | 最新の改良された能力 | 高い能力だが3.5 Sonnetより劣る |
3. LLMにとっての「長文」は日常レベルではない
Claude 3 Opus を選ぶメリットがあるのは、長文。
ただし、Opusが優位になりそうな「長文」というは、「出版された本全体を詳細に分析する」というようなレベル感です。
逆に言うと、日常生活で5000文字〜10000文字程度の文章を要約する程度なら、Claude 3.5 Sonnetで十分です。
応答速度・コスト面も考えると、旧バージョンにこだわる必要はあまりなさそうです。
こちらもどうぞ。
Claudeの新機能Artifactsを表示できるようにした（Claude 3.5 Sonnet, Feature Preview）
Anthropicが新しい人工知能モデル「Claude 3.5 Sonnet」を発表し、その主要機能を紹介しました。新機能「Artifacts」を使うと、AIが生成したコンテンツをリアルタイムで確認・編集できるようになりました。Artifactsを表示するには、claude.aiのメニューにある「Feature Preview」から有効にします。「Claude 3.5 Sonnet is here」というメールAnthropicから「Claude 3.5 Sonnet is ...
chiilabo.com
Claudeという生成AI（調べものの回答では本当っぽい捏造を含むので注意）
Claudeは、ChatGPTよりも「流暢な日本語」を生成するAIで、クリエイティブな作業や長文の生成に向いています。長い複雑な文章を与えても、かなり精度よく要約や回答させることができます。しかし、前提なしに調べものの回答をさせると、いかにも本物っぽい事例が架空のものだったりするので、受け売りは要注意です。Claude 3が話題なので気になる、という話。調べものに使うと足元をすくわれそうですが、要約はとても自然でわかりやすいです。自然言語処理にはいろんな用途があるので、得意・...
chiilabo.com
ChatGPTがS式を解釈する？（自然言語処理と構文解析）
「S式風のプロンプトの書き方が使えるかも？」という説を目にして、実験してみました。結果は、全く異なる構造のプロンプトを与えても、ほとんど同じ結果になってしまいました（GPT-4, Claude 3 Opus）。カッコをほとんど省いて「うまいこと」解釈しているようで、現状は修飾関係を明示するような用途では使えなさそうでした。生成AIは、もっともらしく動作します。だからこそ、うまくいくケースだけを与えて判断して、評価するのは危険ですね。エラーチェックや境界条件を調査することが、プ...
chiilabo.com
Claude 3 Opusに「振り飛車」を聞いてみた（事前学習が弱い分野の具体例）
Claude 3 Opusは、自然な文章を生成するのが特徴です。しかし、事前学習だけによる回答には、「知ったかぶり」も含まれるので注意が必要です。そのうち改善されると思いますが、どこまでいっても「信頼性」の問題はあります。生成AIとの対話では、情報源ではなく情報加工に使う、ということを意識するとよいです。まんべんなく賢いわけではないんだね。自分が知らない分野の話だと、ころっと「だまされてしまう」かも。環境：2024年4月時点、Claude 3 OpusClaude 3 Opu...
chiilabo.com
GPT 4-Turboが使えるようになったので（サブスクリプションの再開）
Chat GPTの言語モデルがGPT 4-Turboにアップグレードしました。そこで、使い比べるために Claude Proをいったん停止して、ChatGPT Plusを再開してみました。GPT 4-Turboでは、主に処理速度やコスパが向上しています。ふーん。GPT 4-Turboで回答精度が上がったわけではないのかぁ。本当に「ターボ」ということなんだね。GPT 4 から Claude 3 Opusに移行したときほど、GPT 4-Turbo には驚きはありませんでした。個人...
chiilabo.com
QRコードを読み込むと、関連記事を確認できます。
