AIモデルのベンチマークプラットフォーム「Chatbot Arena」において、Googleの「Gemini 1.5 Pro（5/14モデル）」が日本語カテゴリで性能トップにランクインしました。Gemini 1.5 Pro はテキスト、音声、画像、動画を入力できるマルチモーダルなモデルで、5月14日のアップデートより200以上の国と地域で利用可能となっていました。
Chatbot Arenaは、カリフォルニア大学バークレー校の研究組織LMSYS Orgが開発し、ユーザーがランダムに選択された2つのモデルに対してプロンプトを入力し、どちらが優れているかを評価するものです。
Gemini 1.5 Proのおもな性能は以下の通りです。
- 複数のファイルをアップロードして質問
複数のファイルをアップロードして質問することができ、より一貫性、関連性、有用性の高い出力ができます。
2. コードリポジトリ全体にクエリを実行
コードベース全体の詳細な分析が可能で、複雑な関係、パターン、コードを理解することができます。
3. 動画のフルバージョンのアップロード
最大 1 時間の動画を解析することができます。動画を添付すると、それを何千ものフレームに分割し、高度な推論と問題解決タスクを実行します。
Google DeepMindのシェイン・グウ氏は、5/14のモデルは4月に発表された旧モデルと比較して、大幅に性能が改善されたと述べています。同氏は今後UXの観点でさらに改善を重ねていくということです。