कंटेंट पर जाएँ
Model Wayfinder
मार्गदर्शिका

आप अपने कंप्यूटर पर एक AI मॉडल को चलाने के लिए क्या कर सकते हैं?

स्थानीय रूप से मॉडल चलाने का मतलब है कि आपका डेटा कभी आपके कंप्यूटर से बाहर नहीं जाता, यह ऑफलाइन काम करता है और इसके लिए कोई मासिक शुल्क नहीं लगता। आपको बस एक पर्याप्त शक्तिशाली कंप्यूटर और लगभग 15 मिनट का समय चाहिए।

01 · अपने हार्डवेयर की जाँच करें

सबसे महत्वपूर्ण बात आपके ग्राफिक्स कार्ड की मेमोरी (VRAM) है। विंडोज़ में: टास्क मैनेजर → परफॉर्मेंस → GPU → “Dedicated GPU memory”。 M-सीरीज़ चिप वाले मैक में, आपकी मुख्य मेमोरी का लगभग तीन चौथाई हिस्सा इस्तेमाल किया जा सकता है।

सामान्य संपीड़ित संस्करण (Q4) के लिए एक सरल नियम है: प्रति एक अरब पैरामीटर 0.6 GB बिल्कुल और 1.5 GB। 7B मॉडल के लिए लगभग 6 GB की आवश्यकता होती है, इसलिए यह 8 GB वाले कार्ड में फिट हो जाता है। जब आप “लोकल” विकल्प चुनते हैं तो हमारा finder आपके लिए यह जाँच कर देता है।

02 · आसान तरीका: LM Studio

LM Studio विंडोज़, मैकओएस एवं लिनक्स के लिए एक नि:शुल्क डेस्कटॉप ऐप है जिसमें सामान्य चैट विंडो होती है – कमांड लाइन की आवश्यकता नहीं है।

  1. lmstudio.ai से LM Studio को डाउनलोड करके इंस्टॉल करें।
  2. खोज विकल्प (आवर्धक लेंस) खोलें एवं मॉडल का नाम टाइप करें। ये मॉडल Hugging Face से आते हैं।
  3. Q4_K_M चिह्नित संस्करण चुनें – यह आकार एवं गुणवत्ता के बीच अच्छा संतुलन है। LM Studio बताएगा कि यह आपकी मेमोरी के अनुकूल है या नहीं।
  4. Download पर क्लिक करें, फिर मॉडल लोड करके चैट शुरू करें।

03 · प्रयोगशील उपयोगकर्ताओं के लिए: Ollama

Ollama कमांड लाइन के जरिए मॉडल चलाता है एवं ऐसा लोकल API भी प्रदान करता है जिसका उपयोग अन्य प्रोग्राम कर सकते हैं।

  1. आप ollama.com से Ollama को इंस्टॉल करें।
  2. एक टर्मिनल खोलें और Ollama लाइब्रेरी से कोई मॉडल चलाएँ, उदाहरण के लिए: ollama run <model-name>. हमारे मॉडल पृष्ठों पर वही सही कमांड दी गई है।
  3. Hugging Face से GGUF फॉर्मेट में उपलब्ध मॉडलों को सीधे ही चलाया जा सकता है: ollama run hf.co/<user>/<repository>:Q4_K_M

04 · ह्यूगिंग फेस पर मॉडल खोजना

Hugging Face खुले मॉडलों का सबसे बड़ा संग्रह है। सुझाव:

  • GGUF के आधार पर फ़िल्टर करें – यही वह फ़ॉर्मेट है जिसका उपयोग LM Studio एवं Ollama द्वारा किया जाता है।
  • मॉडल कार्ड पढ़ें: इसमें लाइसेंस की जानकारी दी गई होती है। कुछ मॉडलों का उपयोग केवल निजी उद्देश्यों या अनुसंधान हेतु ही किया जा सकता है।
  • मूल निर्माता या प्रसिद्ध अपलोडरों से प्राप्त फ़ाइलों को ही प्राथमिकता दें।

05 · आपको क्या उम्मीद करनी चाहिए

स्थानीय मॉडल आमतौर पर सबसे बड़े क्लाउड मॉडलों की तुलना में कुछ कमजोर होते हैं, लेकिन लेखन, सारांश बनाने एवं अनुवाद करने हेतु अक्सर पर्याप्त होते हैं। मॉडल लोड होने के दौरान पहला उत्तर प्राप्त करने में कुछ सेकंड लगते हैं। ग्राफिक्स कार्ड के बिना भी ये काम करते हैं – बस बहुत धीरे।