生成AIのリアルタイム回答は傍受されやすい（単語長からの解読）

• ユーザーの質問に対する生成AIの回答を傍受すると、暗号化されていても単語の長さが推測できたようです。
• しかも、単語の長さの情報だけでも、データ解析によってある程度AIの回答内容を復元できたそうです。
• これは、生成AIがリアルタイムに回答を表示するために、細切れにデータを送信する性質が原因になっています。

「解読可能」であっても実際には条件が厳しいので、ふつうに生活していたら、そこまで気にする必要はないです。

ただ、生成AIとのやり取りは、たとえ通信が暗号化されていても、外部から見られてしまう危険性があることは知っておくとよいです。

1. 単語の長さだけで元の文章が推測できる

生成AIがユーザーの質問に回答する際、文章は単語や文字ごとにトークン化され、個々のトークンが連続的にユーザーに送信されます¹。
イスラエルの研究チームは、生成AIから送信されている個々のデータパケットのサイズから、単語の長さを推測できることに気づきました²。

さらに、単語の長さの情報を手掛かりに大規模言語モデル（LLM）で解析すると、生成AIの回答内容をある程度 推測できることがわかりました。

つまり、攻撃者は、ユーザーと生成AIの通信を傍受し、送信されるデータのサイズからトークンの長さを推測します。
そして、その情報をAIで解析することで、生成AIの回答内容を復元するのです。

実験では、回答の29％を正確に再現し、55％はトピックを類推できたそうです。

通常は通信が暗号化されていれば、内容を傍受されることはありません。
しかし、この攻撃では暗号化された情報なのに、外部の攻撃者が回答内容を盗み見ることができてしまいました。
もし、生成AIと機密情報をやり取りしていたら、外部に情報漏洩してしまう危険性があるのです。

まぁ、そもそも生成AIに機密情報をそのまま送るのはやめておいた方がよいですよね。

壁に耳あり、障子に目あり。

2. 生成AIの回答とメールなどの違い（リアルタイム）

暗号の解読みたいだね。

これって、電子メールとかでも危ないの？

一般的なメッセージのやり取り（電子メールなど）では、事情が異なります。
というのも、通常は単語ごとにリアルタイムで送信されることはないからです。
メッセージ全体を一度に暗号化して送信するので、この手法では単語の長さを推測できません。

一方、主にChatGPTやCopilotなどの生成AIの場合、リアルタイム性を重視するためにトークンを個別に送信する仕組みになっています。
これが、独特のパターンを悪用されやすいわけです。

ふーん。
ということは、今みたいなリアルタイムで回答を生成する方法は、まとまった文章ができてから送るように変わるかもしれないんだね。

こちらもどうぞ。

「インターネットVPN」とは？（IPsec）

「インターネットVPN」は、インターネット通信を暗号化するための仕組みです。ざっくり言うと、公衆 Wi-Fi からインターネットにアクセスするときに、途中経路で情報漏えいすることを防ぎます。「テレワーク」で、社外から社内システムにアクセスするときには、通信の暗号化が必要になります。インターネットは「開かれた通信網」「VPN」っていう言葉を見かけるんだけど、なんなのかな？インターネットのセキュリティで、必要みたいなんだけど……。もともとインターネットは、不特定多数のユーザーが利...

chiilabo.com

[LINE] レターシーリングはどんなセキュリティなの？（共通鍵交換と暗号化）

LINEの「レターシーリング」では、送信者・受信者の2人だけが共有する秘密鍵を、Diffie-Hellman方式で生成し、メッセージの暗号化と復号を行います。それ以前のメッセージはLINEサーバでいったん平文にしていた送り直す方式でした……。ちなみに、LINEの「レターシーリング」では、楕円曲線Diffie-Hellman方式。まぁ、従来が怖い話ではあるんだけどね。（参考）メッセージの安全性新時代：Letter Sealingレターシーリングとは？「レターシーリング（Lett...

chiilabo.com

申込サイトで他人の個人情報が表示された？ 【サーバ キャッシュの落し穴】

通常は、「自分の入力したデータは、フォーム画面に残らない」のですが、ウェブサーバの設定ミスで個人情報が流出したケースはあります。過去のニュース報道を具体的に整理しながら、「キャッシュ」について考えてみましょう。ポイント・サービス会社の設定のミスで、個人情報が流出したことがある。・個人では防ぎようがないので、通知があればパスワードを変更する。・ただし 善意の人も気づくので、問題の表面化と解決は早い。サーバーのキャッシュ設定（キョードー東京の事例）実際に、「ほかの利用者の個人情報...

chiilabo.com

1. 厳密には、トークンは必ずしも単語や文字とは一致しません。トークンは、単語の一部や記号なども含む可能性があります。
2. 他人がGPT-4とやりとりしたテキストを盗む攻撃　成功率50％以上　イスラエルの研究者らが発表：Innovative Tech – ITmedia NEWS

QRコードを読み込むと、関連記事を確認できます。