おすすめ機能の動作方法です
おすすめは定められたルールに従って表示されます。AIが判断を下すことはなく、有料の表示もありません。
01 · 除外対象
まず、指定された要件を満たさないモデルが除外されます。具体的には、選択したテキストの長さに対してコンテキストウィンドウが小さい(8,000 / 32,000 / 200,000トークン)、画像分析に画像入力機能がない、指定された地域での処理ができない、またはローカルでの使用に必要なオープンウェイトがない場合です。
ローカルでの利用にあたり、モデルがお使いのハードウェアのメモリに収まるかどうかも確認いたします。圧縮済みバージョン(Q4)の目安として、10億個のパラメータあたり0.6 GBに1.5 GBの余裕分を加えた容量が必要です。
業務やチームでの利用の場合、ライセンスで商用利用が禁止されているモデルは対象外となります。
02 · スコアリング
各評価済みモデルには、タスクごとに1から3までの品質ランクが設定されています。このランクは公開されているランキングに基づいており、ランキングの上位3分の1がランク3、中位3分の1がランク2、下位3分の1がランク1となります。各タスクについては、利用可能な中で最も詳細なランキングを使用しています。
| 作業内容 | ランキング(代替案) |
|---|---|
| テキスト作成 | LMArena Creative Writing (Text) |
| 文書の要約 | LMArena Document (Longer Query, Text) |
| チャットボット | LMArena Text |
| プログラミング | LMArena Coding (WebDev) |
| 翻訳 | LMArena Non-English (Text) |
| 数学 | LMArena Math |
| 画像の分析 | LMArena Vision |
| 動画の分析 | LMArena Vision – 動画理解の公開ランキングはまだないため、画像理解のランキングを参考にしています |
| 画像の作成・編集 | LMArena Text-to-Image / Image Edit |
| 動画の作成・写真から動画への変換 | LMArena Text-to-Video / Image-to-Video |
| 音声の文字起こし | Hugging Face Open ASR Leaderboard (英語と多言語の順位の平均値) |
LMArenaのランキングは実際のユーザーによる何百万件もの盲検比較に基づいています。Open ASRのランキング表では固定されたテスト音声の単語誤り率が測定され、数値が低いほど性能が良いとされます。法律や医学、ビジネス、科学といった専門分野を選択した場合、該当するLMAArenaの分野別ランキングも平均値の算出に加えられます。これらのランキングに含まれないモデルは評価が行われません。より信頼性の高い情報がある場合は個別のランキング項目を手動で修正し、その旨をモデルページに記載しています。典型的なリクエストの料金は価格に数千倍の差があるため対数スケールで表示されています。これらのランキングはいずれもお客様の優先度に応じて重み付けされます。
| 優先度 | 品質 | 価格 |
|---|---|---|
| 安価 | 30 % | 70 % |
| バランス良し | 50 % | 50 % |
| 最高品質 | 80 % | 20 % |
月間のリクエスト数が10,000件に達すると、わずかな価格差が積み重なるため、重み付けは価格側に10パーセントポイント移行します。価格が同じ場合は、より低い価格のモデルが優先され、それでも同じ場合はより大きなコンテキストウィンドウを持つモデルが優先されます。
03 · 複数のタスクを同時に処理
複数のタスクを選択することができます。テキスト処理と分析タスクは1つのモデルで処理され、そのモデルはすべてのタスクをこなさなければならず、その品質はこれらのタスクにおけるモデルのランクの平均値となります。画像、動画、音声転写についてはそれぞれ別々の料金体系が適用されます。なぜならほとんどのモデルがすべての処理を行えないからです。画像は1枚あたり、動画は10秒間あたり、音声転写は1分間あたりの料金がかかります。これらの料金は公開されているLiteLLMの価格表に基づいており、複数の提供業者や品質レベルが記載されている場合は最も安い価格ではなく、中央値(典型的な価格)を使用しています。クラウドサービスを提供しないオープンな音声認識モデルはローカルでの使用にのみ推奨されます。
04 · ベンチマーク
ベンチマークスコアにはパーセンテージ、Eloポイント、エラーレートなど異なる尺度が用いられているため、単純に平均を取ることはできません。こちらでは各スコアを、同じベンチマークを実施したここに掲載されているすべてのモデルの中で0から100の位置づけに変換しています(100は最も優れていることを意味し、エラーレートの場合は最も低い値が最も優れています)。3つ以上のモデルで比較できる場合にのみ位置づけが表示されます。ベンチマークの平均値はこれらの位置づけの平均です。「強み」とは平均位置づけが75以上の分野で、「弱み」とは30以下の分野です。ベンチマーク結果は推薦には反映されず、推薦は当社が定めた品質ランクに基づいて行われます。
05 · データソース
モデルと価格については OpenRouter をご覧ください。オープンウェイトやホスティングプロバイダー(地域別)は models.dev です。オープンモデルのライセンスやサイズに関する情報は Hugging Face で確認できます。ランキングについては LMArena および Open ASR Leaderboard をご参照ください。画像1枚、動画1秒、音声1分あたりの料金については LiteLLM をご覧ください。為替レートは欧州中央銀行のものを使用しています。すべての情報は毎日自動的に更新されますが、情報源が利用できない場合は最終的に確認された値がそのまま表示されます。
06 · 広告
広告を表示する場合、その旨は明確に表示され、別のエリアにのみ表示され、ランキングやおすすめに影響を与えることはありません。
07 · 制限事項
品質ランクは簡略化されたものです。価格はOpenRouterのもので、プロバイダーから直接購入した場合や他の地域では異なることがあります。メモリ容量は概算値です。当社の評価がないモデルも比較には含まれますが、おすすめリストには載りません。
音楽生成、3DモデルやCAD、テキスト読み上げといった一部のAIタイプについては現在対応しておりません。これらに関しては利用可能な公開データに基づくランキングが存在しないためです。出典のない推奨を行うよりも、こうした項目は除外する方が適切だと考えております。
プライバシーに関する記載は法的アドバイスではありません。提供業者との契約(例えばデータ処理契約)はご自身で確認してください。