IT Homeは10月24日、米国で14歳の少年が自殺したことを受け、母親のメーガン・ガルシアさんがチャットボットプラットフォーム「Character.AI」、その創設者であるノアム・シャジーア氏とダニエル・デ・フレイタス氏、そしてGoogleを相手取り訴訟を起こしたと報じた。訴訟の申し立てには、不法死亡、過失、欺瞞的な商慣行、製造物責任などが含まれている。訴訟では、Character.AIプラットフォームは「不当に危険」であり、子供向けに販売された際に安全対策が不十分だったとされている。

訴状によると、14歳のセウェル・セッツァー3世は昨年からCharacter.AIを使い始め、デナーリス・ターガリエンを含む『ゲーム・オブ・スローンズ』の登場人物をモデルにしたチャットボットとやり取りしていた。セッツァーは亡くなる数ヶ月前からこれらのボットとチャットを続け、2024年2月28日に最後にボットとやり取りした「数秒後」に自殺した。

訴状によると、Character.AIプラットフォームには「人間のような」AIキャラクターと「無認可の心理療法」を提供するチャットボットが搭載されているという。同プラットフォームには、メンタルヘルスに特化したチャットボットがあり、「セラピスト」や「寂しいですか？」といった名前で、セイザー氏はこれらのチャットボットとやり取りしていた。

ガルシア氏の弁護士は、シャゼル氏との以前のインタビューを引用し、シャゼル氏がデ・フレイタス氏と共にGoogleを退社し、自身の会社を設立した理由について、「大企業で何か面白いことを立ち上げるにはブランドリスクがある」ため、そして技術開発を「可能な限り最大限に」加速させたいと考えていたと述べていることを明らかにした。訴状ではまた、Googleが大規模言語モデル「Meena」のリリースを見送ることを決定した後、2人はGoogleを退社したとも述べている。Googleは今年8月にCharacter.AIの経営陣を買収した。

IT Homeは、Character.AIのウェブサイトとモバイルアプリケーションには何百ものカスタマイズされたチャットボットが搭載されており、その多くがテレビシリーズ、映画、ビデオゲームの人気キャラクターをモデルにしていると指摘した。

Character.AIはプラットフォームにいくつかの変更を発表しました。同社の広報責任者であるチェルシー・ハリソン氏は、The Vergeへのメールで「ユーザーを失ったことを深く悲しんでおり、ご遺族に心よりお悔やみ申し上げます」と述べました。

変更点には次のようなものがあります:

未成年者（18 歳未満）向けのモデル変更は、未成年者がセンシティブなコンテンツや挑発的なコンテンツに遭遇する可能性を減らすように設計されています。

プラットフォームの利用規約またはコミュニティ ガイドラインに違反するユーザー入力の検出、対応、介入を改善します。

各チャットセッションには、人工知能は実際の人間ではないことをユーザーに思い出させる改訂版の免責事項が含まれています。

ユーザーは、プラットフォーム上で 1 時間のセッションが終了すると通知を受け取り、次に何をするか選択できます。

ハリソン氏は、「当社は企業として、ユーザーの安全を非常に重視しています。当社の信頼と安全チームは、過去6ヶ月間に多くの新たな安全対策を実施してきました。その中には、ユーザーが自傷行為や自殺願望といった言葉を使用した際に、全米自殺予防ライフラインに誘導するポップアップウィンドウの表示も含まれています」と述べました。