生成AIトラブル5選。事例から読み解く原因と予防策
INDEX
2022年11月末におけるChatGPTの一般公開以降、生成AIは瞬く間に世界に普及して、文字通り「生成AI時代」に突入した。ビジネスやエンタメにおける生成AI活用が急速に進んだ半面、生成AIに対する知識不足や法整備の不備に起因するトラブルも報告されるようになった。
こうした現状をうけて、本稿は生成AIに関する代表的な5つのトラブルを振り返ったうえで、その原因と対策を考察する。そして、こうした考察によって浮かび上がってくる”生成AIリテラシー”の重要性を明らかにする。
なお、以上の考察においては、AI事業者ガイドラインをはじめとする生成AIについての行政文書を参照する。
CASE1｜ハルシネーションによる”実在しない祭り”などの地方PR
IT media AI+が2024年11月8日に報じたところによると、Webで地方の魅力をPRする「つながり応援プロジェクト」は11月7日、福岡県でのキャンペーン「福岡つながり応援」の公式Webメディアで「誤った情報を発信した」と公式Xで謝罪した（当該Xポストはすでに削除）。
同Webメディアでは福岡の観光地や特産品を紹介する記事を掲載したのだが、これらの記事に対して読者から「実在しない祭りが開催されている」などの指摘が相次いだことにより、謝罪とともに当該記事を削除するにいたった。
謝罪文では「生成AIを活用してメディア記事を作成し、人的確認のうえ発信してまいりました」との弁明があることから、本トラブルの原因はファクトチェックの不足または不備と考えられる（以下の画像は謝罪文）。
生成AIが時として偽・誤情報を生成する、いわゆるハルシネーションが生じるリスクについては、AI事業者ガイドライン（第1.01版）別添の『別添1.第1部関連』の「B.AIによる便益/リスク」において言及されている。本トラブルに関しては、このリスクに関する認識が不足していた可能性がある。
ハルシネーションへの対応は、関係者の立ち位置によって異なってくる。福岡つながり応援キャンペーン制作チームは、生成AIを活用した「利用者」に該当するだろう。利用者が留意すべき事項は、同ガイドライン別添の『別添 5.AI利⽤者向け』の「A.本編「第 5 部 AI利⽤者に関する事項」の解説」で解説されている。本トラブルにおいても、利用前にAIの性質やリスクに対する理解を深め、利用中においても適正なファクトチェック体制を確保することで回避できたのではないか、と考えられる。こうしたリスクとその対応について、AI事業者ガイドラインはまさに指針を示している。
CASE2｜不適切な発言の出力による倫理的問題
テック系海外メディア The Registerは2024年11月15日、Google Geminiが倫理的に不適切な発言を出力したことを報じた。報道によると、アメリカ・ミシガン州在住のある大学院生が高齢者介護に関するレポート執筆をGeminiにサポートしてもらっていたところ、同AIが「死んでください。お願いします」と出力したと言う。この時の会話履歴は、こちらから閲覧できる（以下の画像は会話履歴の一部であり、画像末尾に問題の発言がある）。
以上のトラブルには、対話型生成AIのガードレールが関連している。ガードレールとは、生成AIの出力に関わるリスクを抑制するために、出力を監視して、必要であれば出力させないようにする仕組みのことである。
ガードレールについては、AI事業者ガイドライン別添の『別添 3.AI 開発者向け』の「A. 本編「第 3 部 AI 開発者に関する事項」 の解説」で言及されている。とくに「D-2） ii. ⼈間の⽣命・⾝体・財産、精神及び環境に配慮した開発」の解説箇所において、ガードレールの導入を推奨しており、さらにこの箇所に付随した「コラム 11︓リスクを最⼩化するためのガードレールの活⽤事例」でガードレールの種類を挙げている。本件のようなケースであれば、回答に倫理的に不適切な⾔葉が含まれないようにするガードレールであるModeration Railが効果的だと考えられる。
以上の不適切な出力をめぐりGoogleはThe Registerの取材に対して、「AIの暴走の典型的な例」と認めたうえで再発を防ぐ対策を講じた、と回答している。Geminiのガードレールについては、同AIについての論文の「安全性、セキュリティ、そして責任」で詳細に解説されている。
もっとも、今回の不適切な出力については、プロンプトの問題が指摘されている。共有された問題の会話履歴に対してあるXポストは、当該会話において高齢者が抱えるリスクをめぐって「社会的孤立、経済的搾取、脆弱性」といった表現を多用していたことに注目している。こうしたネガティブな表現が続いたことが、Geminiのネガティブな反応を引き起こしたのではないか、と言うのだ。こうした現象は「フィードバックバブル」と呼ばれている。
CASE3｜AIと不適切な関係に陥ってしまった未成年のユーザー
海外テック系メディアVentureBeatは2024年10月23日、会話自体を楽しめるように設計されたさまざまなチャットボットを提供するCharacter.AIが、同サービスを利用して自殺した10代のユーザの母親から過失致死の疑いで訴えられたことを報じた。
自殺当時14歳であったスウェル・セッツァー３世さんは、海外ドラマ『ゲーム・オブ・スローンズ』に登場する女性キャラクターのダナーリス・ターガリエンをモデルにしたAIと数ヶ月にわたり会話を続けていた。その会話のなかではAIを妹と呼び、話した内容には性的なものも含まれていた。
以上のトラブルを考察するには、AI事業者ガイドライン別添の『別添 3.AI 開発者向け』における「D-2） iii. 適正利⽤に資する開発」が参考になる。この箇所においても、ガードレールの実装が推奨されている。本トラブルの場合、前述のModeration Railに加えて、「自殺に関する会話」のような特定のユースケースを回避できるようにするTopical Railが有効である。
本トラブル発生後、Character.AIは未成年のユーザーに対しては、刺激的な内容の会話をしないようにしたAIを導入するなどの対策を発表した（以下のXポストも参照）。この対策には、「コミュニティガイドラインに違反するユーザー入力」を検出した場合、対応あるいは介入することも含まれている。しかしながら、一連の対策は一部のユーザーの反発を招いた。というのも、対策実施以降、会話の一部が削除された成人ユーザーがいたからだ。
本トラブルからは、AIサービス提供開始後に運営ポリシーを大幅に変更することの難しさも学べる。提供前の段階で、いかにリスクを考慮できるかが重要な観点の一つになっていくだろう。
CASE 4｜キャラクターの模倣をはじめ、氾濫する権利侵害画像
日本経済新聞は2024年6月6日、画像生成AIが出力した権利侵害画像に関する特集記事を発表した。発表によれば、同メディアは生成AI画像共有サイト「Civitai」「PixAI」「SeaArt」を対象として、ピカチュウをはじめとする世界的に人気のある日本アニメのキャラクターを検索したところ、9万枚が検索された。この9万枚について、原作アニメと際立って特徴が似ている2,500枚を詳しく調べた。
以上の調査の結果、ピカチュウに類似した画像は1,200枚あり、そのなかには銃を持っているような当該ブランドを毀損しかねないものもあった。また、調査した画像の9割のプロンプトにはキャラクター名が含まれていた。この結果は、ユーザーが意図的に有名アニメキャラを含んだ画像を出力していたことを意味する。
生成AIと著作権については、文化庁が「AIと著作権について」と題したウェブページに関連資料をまとめている。また、経済産業省がゲーム開発をはじめとするコンテンツ制作における生成AIの適切な活用方法を具体的なユースケース別にまとめた「コンテンツ制作のための生成AI利活用ガイドブック」を発表している。これらの資料は、コンテンツ制作者がビジネスシーンにおいて生成AIを適切に活用したい時に大いに参考になる。
イラストレーターをはじめとするクリエイターは、生成AIによる権利侵害の被害者になる可能性が大いにある。こうした権利侵害への対策についても、前述の文化庁作成ページに掲載された「AIと著作権に関するチェックリスト＆ガイダンス」で解説されている。
生成AIによる権利侵害対策には、2通りある。1つ目は著作物を学習データとして収集されないようにする技術的措置である。具体的には、クローラによる収集防止、著作物をIDとパスワードでログインが必要な領域に保存しておくことが推奨されている。
2つ目は、著作物をAI学習データとして販売するビジネス的措置である。もっとも、この措置を実施する場合でも、上記の技術的措置を併用するのが望ましい、とされている。
さらに著作権侵害について懸念がある権利者に対して、文化庁は「インターネット上の海賊版による著作権侵害対策情報ポータルサイト」を立ち上げており、相談窓口も設けている。2025年1月14日には、この相談窓口に寄せられた相談のうち、相談担当の弁護士から、著作権侵害の蓋然性（がいぜんせい）が高いと判断された事案を支援する目的で「インターネット上の著作権侵害等に対する個人クリエイター等による権利行使の支援事業」の開始が発表された。具体的には、著作権侵害に対して削除請求などの著作権行使に伴う費用を一部負担する。
CASE5｜デバイスへのAI実装に伴う情報生成元のブラックボックス化
CNN日本版は2024年12月20日、iPhoneに搭載されたAI「Apple Intelligence」が誤ったニュースの要約を通知していたことを報じた。報道によれば、BBCの記事が伝えたアメリカ医療保険大手ユナイテッドヘルスケアのCEO射殺事件について、同AIはCEOではなく事件のルイージ・マンジオーニ容疑者が、自分を銃で撃ったと要約したのだ。
以上のトラブルについてBBCは、AppleにApple Intelligenceに対する懸念を伝え、問題の修正も求めた。こうした求めを受けて、2025年1月18日、BBCが報じたところによると、Appleは同AIを活用したニュース要約機能を一時停止する、とApple広報担当者が発表した。
本件は、基本的にはCASE1と同様にファクトチェックの必要性が指摘できる。加えて本件を難しくしているのは、Apple Intelligenceだけの問題ではないことである。Appleは2024年6月10日に同AIを発表したのだが、その発表でiOS 18をはじめとする同社製品のOSがChatGPTにアクセスして、回答を出力してもらうようになる、と解説している。
以上の発表からApple製品ユーザーは、Apple IntelligenceとChatGPTを頻繁に切り替えながら使うようになると予想される。この事態は、情報生成元となるAIが何であるのか、ユーザーがわかりづらくなる、いわゆる「ブラックボックス化」という問題を起こすかもしれない。
前出のApple Intelligenceの発表記事によれば、ChatGPTに入力情報が送信される場合、送信される前に許可が求められる、とされている。もっとも、Apple製OSがChatGPTと連携しているという仕様を理解していないと、ユーザーはこうした通知をあまり気にしないだろう。
以上に述べたApple IntelligenceとChatGPTが混在する状況においては、ユーザーが自身の使っているAIが何であり、どのような状況下でそれを用いているのかを理解する”生成AI活用認識”が重要となる。こうした理解が不足していると、生成AIから出力された偽・誤情報に対する評価が難しくなるだろう。
2025年は、AIエージェントが発展・普及する年になると予想されている。AIエージェントは複数のAIと連携しながら、ユーザーが与えた目標を遂行する。AIエージェントが実際に普及した際には、AIの使用状況は現在より複雑になるだろう。こうした複雑化する使用状況におけるリスクに対処するには、生成AI活用認識の向上が有効だろう。
まとめ｜技術進歩とともに必要性が高まる生成AIリテラシー
以上に解説した5つのCASEについて、いずれも生成AIを正しく理解し、適切に使うための教養である生成AIリテラシーを習得していれば、トラブルが予防できたかもしれない。また、こういったトラブルを回避するためには、生成AIを利用して制作されたコンテンツを受け取る立場においても生成AIリテラシーが求められると言えるだろう。
インターネットの台頭に伴って、インターネットの仕組みを知ったうえでこの技術から生じるトラブルを予防するための教養としてインターネットリテラシーが定義され、普及した。時がくだって生成AI時代となった現代においては、この時代を安全かつ安心に過ごすために生成AIリテラシーの定義と普及が求められている。
CASE5のような動きが加速すると、デバイスの一機能の裏側に生成AIが実装され、無意識のうちに生成AIを扱うユーザーが増えることが予測される。また、CASE3からは自身の生成AI活用の視点だけでなく、保護者や教育者の立場から未成年の生成AIリテラシーを高める必要性が感じられるだろう。
ビジネスシーンで生成AIを活用するにあたっては、本稿で度々言及したAI事業者ガイドラインをはじめとする生成AI関連行政文書が大いに参考になる。それゆえ、企業のAI活用推進担当者は生成AIの技術的最新動向を注視すると同時に、こうした文書にも目を向けるのが望ましいだろう。
（記事著者：吉本幸記）
