コンテンツに移動します
Model Wayfinder
ガイド

自分のコンピュータでAIモデルを実行する方法

ローカルでモデルを実行する場合、データはコンピューターから外部に出ることはなく、オフラインで動作し、月額料金もかかりません。十分な性能のコンピューターと約15分の時間があればよいです。

01 · ハードウェアを確認してください

最も重要なのはグラフィックスカードのメモリ(VRAM)です。Windowsの場合は、タスクマネージャー → パフォーマンス → GPU → 「Dedicated GPU memory」をご確認ください。Mシリーズチップを搭載したMacの場合、メインメモリの約4分の3を使用できます。

通常の圧縮済みバージョン(Q4)に関する目安としては、10億個のパラメータあたり0.6 GBに1.5 GBを加えた値です。7Bモデルの場合は約6 GB必要となり、8 GBのメモリカードに収まります。「ローカル」を選択すると、当社のfinderが自動的にこれを確認してくれます。

02 · 簡単な方法:LM Studio

LM Studioは、Windows、macOS、Linux向けの無料デスクトップアプリで、コマンドラインを必要とせず、通常のチャットウィンドウで利用できます。

  1. lmstudio.aiからLM Studioをダウンロードし、インストールしてください。
  2. 検索窓にモデル名を入力してください。これらのモデルはHugging Faceから提供されています。
  3. サイズと品質のバランスが良いQ4_K_Mと記載されたバージョンを選択してください。LM Studioにてメモリ容量に適合するかが表示されます。
  4. Downloadをクリックし、モデルを読み込んでチャットを開始してください。

03 · テクニカルな方へ:Ollama

Ollamaはコマンドラインからモデルを実行し、他のプログラムが利用できるローカルAPIも提供しています。

  1. ollama.comからOllamaをインストールしてください。
  2. ターミナルを開き、Ollamaライブラリを使ってモデルを起動します。例えば、ollama run <model-name>と入力します。各モデルのページには、確認済みの正確なコマンドが記載されています。
  3. GGUF形式のHugging Faceモデルは、直接次のように起動できます:ollama run hf.co/<user>/<repository>:Q4_K_M

04 · Hugging Faceでモデルを探す方法

Hugging Faceは、オープンなAIモデルが最も多く収録されているライブラリです。ヒント:

  • GGUFでフィルタリングします。これはLM StudioおよびOllamaで使用される形式です。
  • モデルカードを確認してください。そこにライセンスが記載されています。一部のモデルは個人利用または研究目的でのみ使用できる場合があります。
  • 原作者または信頼できるアップローダーから提供されたファイルを優先してください。

05 · 期待できること

ローカルモデルは一般的に最大規模のクラウドモデルよりも性能がやや低いですが、文章の作成、要約、翻訳といった作業には十分な性能を発揮します。モデルの読み込みに数秒かかり、最初の回答が出ます。グラフィックカードがなくても動作しますが、処理速度は大幅に遅くなります。