最近の研究で、生成AIモデルが物議を醸す話題に対して対立する見解を持つことが判明しました。この研究は2024年のACM FAccT会議で発表され、カーネギーメロン大学、アムステルダム大学、およびAIスタートアップのHugging Faceの研究者たちが行いました。
研究者たちは、MetaのLlama 3を含むいくつかのオープンなモデルを複数の言語でテストし、LGBTQ+の権利や社会福祉、代理出産などの質問に対するモデルの回答が一貫性に欠けていることを発見しました。彼らは、モデルのトレーニングの過程で埋め込まれたバイアスが、これらの不一致を引き起こしていると指摘しています。
特にLGBTQ+の権利に関する質問は、多くのモデルが回答を拒否するケースが多かったとのことです。その他にも、移民、社会福祉、障害者の権利に関する質問でも多くの拒否回答が見られました。中でも、AlibabaのQwenはMistralに比べて4倍以上の拒否回答を示し、各企業のモデル開発方針の違いを反映している可能性があります。
研究者のGiada Pistilli氏は、利用者としてモデルに埋め込まれた文化的な差異を認識することが重要だと述べています。彼女は、モデルバイアス問題の解決策は一筋縄ではいかないものの、研究者がモデルの社会的影響を包括的に評価する重要性を強調しています。