TechCrunchは12月19日、Googleが大規模言語モデル「Gemini」のアウトソーシング評価プロセスを調整したと報じ、機密性の高い領域における情報の正確性について懸念が高まっている。この調整により、アウトソーシング評価担当者は専門知識不足を理由に特定の評価タスクを省略することがなくなり、医療などの高度に専門化された分野においてGeminiの出力に偏りが生じる可能性がある。

Geminiの改良にあたり、Googleは日立の子会社であるGlobalLogicと提携しました。GlobalLogicの契約社員は、AIが生成した回答を「信憑性」などの基準に基づいて評価します。以前は、評価者が質問が自分の専門分野外である（例えば心臓病学に関する質問）と感じ、関連する科学的背景が不足している場合、回答を「スキップ」して、その質問に対するAIの回答を評価しないようにすることができました。

しかし、先週、GlobalLogicはGoogleからの変更を発表しました。評価者は専門知識不足を理由に質問をスキップできなくなりました。社内資料によると、以前のガイドラインは「この質問を評価するために必要な重要な専門知識（コーディング、数学など）がない場合は、このタスクをスキップしてください」でした。新しいガイドラインは「ドメイン固有の知識を必要とする質問をスキップしないでください」です。代わりに、評価者は「質問の中で理解できる部分を評価」し、関連するドメイン知識が不足していることを示す必要があります。

この変更により、ジェミニの特定のトピックにおける精度に対する懸念が生じています。評価者は、希少疾患に関する質問など、全く馴染みのない高度に専門化された技術的なAIの回答を評価する必要が生じるようになったためです。ある請負業者は社内メモの中で、「この作業を省略したのは、より専門的な担当者に任せることで精度を向上させるためだと思っていたのですが」と述べています。

新しいガイドラインでは、評価者はプロンプトまたは応答に「情報が完全に欠落している」場合、またはプロンプトに評価に特別な同意を必要とする有害なコンテンツが含まれている場合の 2 つの状況でのみプロンプトをスキップできるようになりました。

この新しい規制の施行は、医療などの高度に専門化された分野において、関連する背景知識を欠いた評価者によって評価が行われることを意味します。これは間違いなく、Geminiが不正確な情報を提供するリスクを高めます。特に健康のような重要な問題においては、不正確な情報が深刻な結果をもたらす可能性があるため、この動きはユーザーに誤解をもたらす可能性があるという懸念があります。

本稿執筆時点では、Googleはこの報道に対して反応を示していない。(Yuanyang)