初心者向けAI
01トークンとは何ですか?
トークンとは、AIが処理する小さなテキストの単位で、通常は短い単語や単語の一部です。「House」という単語は1つのトークンとなり、「internationalisation」のような長い単語は複数のトークンに分かれます。目安として、1,000トークンは約750語で、1ページ半程度の長さに相当します。
トークン単位で料金が発生し、入力するテキストに対してもう1回、出力される回答に対してもう1回料金がかかります。そのため、短いメールの場合は数セントのごくわずかな費用で済みますが、本全体を要約する場合ははるかに高額になります。
02コンテキストウィンドウとは何ですか?
コンテキストウィンドウとは、モデルの「短期記憶」にあたるもので、一度に処理できるテキストの量、つまりご質問、添付された文書、そしてこれまでの会話内容がすべて含まれます。これはトークン数で表されます。
例えば、32,000トークンのコンテキスト容量を持つモデルでは、一度に約40~50ページ分のテキストを読み込むことができます。文書がそれより長い場合は分割するか、より大きなコンテキスト容量を持つモデルが必要になります。ただし、容量が大きいからといって必ずしも性能が向上するわけではありません。長い入力データは処理コストが高くなり、非常に長いテキストでは一部のモデルで詳細が見落とされることがあります。
03パラメータ数とは何を意味するのでしょうか。
パラメータとは、モデルが学習中に習得した「調整用のノブ」のようなものです。「70B」モデルには700億個のパラメータがあります。パラメータが多いほど知識量は増えますが、同時により多くの計算能力と高価なハードウェアも必要になります。
この数値だけでは品質を判断するのは難しく、トレーニングデータや方法の方がより重要な場合が多いです。十分にトレーニングされた小規模なモデルは、不十分にトレーニングされた大規模なモデルよりも優れた性能を発揮することがあります。これは、分厚い百科事典が必ずしも薄い優れた本よりも説明力が高いわけではないのと同じです。多くの提供業者はこの数値を公開していません。
04ローカルでモデルを実行するには、どのようなハードウェアが必要ですか。
最も重要なのはグラフィックスカードのメモリ(VRAM)です。モデルはこのメモリに収まる必要があり、そうでなければ動作が大幅に遅くなります。通常の圧縮済みバージョンを想定した目安としては、10億個のパラメータあたり約0.6 GBで、さらに1~2 GBの余裕を確保することが推奨されます。
例えば、7Bモデルは約6GBのメモリを必要とするため、8GBを搭載したRTX 4060で動作します。70Bモデルは40GBを超えるメモリが必要で、通常のグラフィックカードでは対応できません。Mシリーズチップを搭載したMacはメインメモリをGPUと共有するため、より大きなモデルも扱えることが多いです。また、グラフィックカードなしでも動作しますが、処理速度は大幅に低下します。Windowsでは、タスクマネージャーの「パフォーマンス」→「GPU」でGPUのメモリ量を確認できます。