最近のAP通信の報道によると、OpenAIの音声テキスト変換ツールWhisperに重大な欠陥があることが明らかになった。

10人以上のソフトウェアエンジニア、開発者、学術研究者によると、Whisperは「AIイリュージョン」と呼ばれる大量の偽コンテンツを生成することがあるという。このイリュージョンコンテンツには、人種差別的な発言、暴力的な言葉、さらには誤った医療アドバイスが含まれている可能性がある。

ウィスパーの広範な使用と潜在的なリスク

Whisperは、翻訳、インタビューの文字起こし、消費者向けテクノロジー関連テキストの生成、動画キャプション作成など、世界中の様々な業界で広く利用されています。こうした広範な利用により、Whisperの「錯覚」問題は深刻化しており、意図せず誤情報を拡散してしまう可能性があります。

この問題は医療機関にとって特に深刻な課題です。OpenAIは「高リスク地域」でのWhisperの使用を控えるよう警告していますが、一部の医療機関は依然として医師と患者の診察を記録するためにWhisperベースのツールの導入を急いでいます。

幻覚の蔓延

研究者やエンジニアたちは、Whisperにおいて幻覚がかなり頻繁に見られることを発見しました。例えば、ミシガン大学の研究者は、公開会議を研究していた際に、モデルの改良を試みる前、調査した10件の音声トランスクリプトのうち8件に虚構の内容が含まれていることを発見しました。別の機械学習エンジニアは、100時間以上のWhisperトランスクリプトを分析し、コンテンツの約半数に幻覚が含まれていることを発見しました。

ある開発者は、Whisperを使って生成された26,000件の書き起こしのほぼすべてに虚偽の内容が含まれていることを発見しました。短く高品質な音声サンプルでさえ、これらの問題から逃れることはできません。コンピューター科学者による調査によると、13,000件以上のクリアな音声クリップのうち、187件に幻覚が見られました。

OpenAIの対応

この発見を受けて、OpenAIの広報担当者は、同社は幻覚を軽減する方法を継続的に研究しており、研究者からのフィードバックに感謝の意を表しました。OpenAIは、このフィードバックをモデルのアップデートに反映させ、Whisperのパフォーマンスと信頼性を向上させることを約束しました。(Suky)