मोड्युल १: दिमाग: LLM र Claude API का आधारभूत कुरा

यो मोड्युलमा: LLM कसरी काम गर्छ, Claude API मा पहिलो request, streaming, system prompt (व्यक्तित्व), conversation memory र खर्च नाप्ने तरिका। अन्त्यमा terminal मा कुरा गर्ने आफ्नै chatbot बनाउँछौं।

यो पढेपछि तपाईं…

token, context window र temperature के हुन् बुझाउन सक्नुहुन्छ
Opus, Sonnet र Haiku मध्ये कामअनुसार model छान्न सक्नुहुन्छ
Python बाट Claude लाई प्रश्न सोधेर जवाफ लिन सक्नुहुन्छ
assistant को नाम र व्यक्तित्व system prompt बाट तय गर्न सक्नुहुन्छ
अघिल्ला कुरा सम्झेर कुरा गर्ने chatbot बनाउन सक्नुहुन्छ

१.१ LLM भनेको के हो?

LLM (Large Language Model) भनेको अर्बौं वाक्य पढेर तालिम पाएको program हो, जसले "अब आउने शब्द कुन होला?" भनेर अनुमान गर्दै वाक्य बनाउँछ।

उदाहरण: "नेपालको राजधानी ___" भन्दा model ले सबैभन्दा सम्भावित शब्द "काठमाडौं" छान्छ। यही काम लगातार गर्दा पूरा अनुच्छेद, code वा कविता बन्छ।

सजिलो उपमा: LLM भनेको धेरै किताब पढेको, छिटो लेख्ने साथी जस्तै हो। तर उसलाई आज के भयो थाहा हुँदैन, र तपाईंको कम्प्युटर आफैं चलाउन सक्दैन। ती कुरा हामी tools दिएर सिकाउँछौं (मोड्युल २)।

Token

Model ले शब्द होइन, token पढ्छ। Token भनेको शब्दको टुक्रा हो।

English मा औसत १ token ≈ ४ अक्षर (¾ शब्द)
नेपाली (देवनागरी) मा एउटै वाक्यले धेरै token खान्छ, त्यसैले खर्च अलि बढी पर्छ
API को मूल्य input token (तपाईंले पठाएको) र output token (model ले लेखेको) मा गनिन्छ

Context window

Model ले एकपटकमा हेर्न सक्ने token को सीमा context window हो। यसमा system prompt, पूरा कुराकानी र नयाँ प्रश्न सबै पर्छ। कुराकानी लामो भयो भने पुरानो भाग हटाउनु वा सारांश बनाउनु पर्छ (मोड्युल ६)।

Temperature

जवाफ कति "रचनात्मक" होस् भन्ने सेटिङ।

कम (0-0.3): उस्तै, भरपर्दो जवाफ: code, तथ्य, tool चलाउने काम
बढी (0.7-1): फरक-फरक, रचनात्मक: कविता, script, idea

१.२ Claude models: कुन छान्ने?

Model	विशेषता	कहिले चलाउने
Opus	सबैभन्दा बुद्धिमान, ढिलो र महँगो	कठिन योजना, ठूलो code, गहिरो विश्लेषण
Sonnet	बुद्धि र गतिको राम्रो सन्तुलन	assistant को मुख्य दिमाग (यो कोर्समा default)
Haiku	सबैभन्दा छिटो र सस्तो	छोटा जवाफ, वर्गीकरण, voice मा छिटो reply

यो कोर्समा प्रयोग हुने model ID:

claude-sonnet-5 (मुख्य)
claude-haiku-4-5-20251001 (छिटो/सस्तो)
claude-opus-5-5 (कठिन काम)

टिप: Model ID र मूल्य समयसँगै फेरिन्छन्। सधैं Anthropic को docs र pricing page हेर्नुहोस्। Code मा model को नाम एउटै ठाउँमा (.env वा config) राख्नुहोस्, ताकि पछि सजिलै फेर्न सकियोस्।

१.३ Setup: API key र पहिलो request

Python, VS Code, venv र key को पूरा setup मोड्युल ० मा छ। यहाँ छोटकरीमा दोहोर्याइएको छ।

चरण १: API key बनाउने

console.anthropic.com मा account बनाउनुहोस्
Billing मा केही credit हाल्नुहोस्
API Keys → Create Key थिच्नुहोस्, नाम दिनुहोस् (जस्तै my-assistant-dev)
Key एकपटक मात्र देखिन्छ, तुरुन्तै सुरक्षित ठाउँमा राख्नुहोस्

चरण २: Project folder र virtual environment

mkdir my-assistant
cd my-assistant
python -m venv .venv
.venv\Scripts\activate
pip install anthropic python-dotenv

चरण ३: `.env` फाइल

Project folder मा .env नामको फाइल बनाएर:

ANTHROPIC_API_KEY=sk-ant-यहाँ-तपाईंको-key
MODEL=claude-sonnet-5

र .gitignore मा यो line थप्नुहोस्:

.env

⚠️ सबैभन्दा सामान्य गल्ती: key सिधै .py फाइलमा लेखेर GitHub मा push गर्नु। Bot हरूले केही मिनेटमै खोजेर तपाईंको credit सक्छन्। गल्ती भयो भने तुरुन्तै console मा गएर key delete (revoke) गरी नयाँ बनाउनुहोस्।

चरण ४: पहिलो request (`01_hello.py`)

import os
from dotenv import load_dotenv
import anthropic

load_dotenv()                      # .env बाट ANTHROPIC_API_KEY पढ्छ
client = anthropic.Anthropic()     # key आफैं environment बाट लिन्छ

response = client.messages.create(
    model=os.getenv("MODEL", "claude-sonnet-5"),
    max_tokens=300,
    messages=[{"role": "user", "content": "नमस्ते! तिमी को हौ? दुई वाक्यमा भन।"}],
)

print(response.content[0].text)
print("Tokens:", response.usage.input_tokens, "in /", response.usage.output_tokens, "out")

चलाउनुहोस्: python 01_hello.py

के भयो?

messages भनेको कुराकानीको list हो; हरेक message मा role (user वा assistant) र content हुन्छ
max_tokens = जवाफ बढीमा कति लामो हुन सक्छ (यसले खर्चको सीमा पनि तोक्छ)
response.usage ले कति token खर्च भयो देखाउँछ। यही बाट खर्च हिसाब गरिन्छ

१.४ Streaming: जवाफ टाइप भएझैं देखाउने

पूरा जवाफ आउन ५-१० सेकेन्ड लाग्न सक्छ। Voice assistant मा यति पर्खनु नराम्रो हो। Streaming ले जवाफ शब्द-शब्द गरेर तुरुन्तै पठाउँछ, अनि हामी पहिलो वाक्य आउनेबित्तिकै बोल्न सुरु गर्न सक्छौं (मोड्युल ५)।

02_stream.py:

import os
from dotenv import load_dotenv
import anthropic

load_dotenv()
client = anthropic.Anthropic()

with client.messages.stream(
    model=os.getenv("MODEL", "claude-sonnet-5"),
    max_tokens=500,
    messages=[{"role": "user", "content": "AI assistant ले मान्छेलाई कसरी मद्दत गर्छ? ३ बुँदामा।"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

print()

किन महत्त्वपूर्ण? मान्छेले जवाफ "कति छिटो सुरु भयो" (time to first token) लाई गति ठान्छ, "कति छिटो सकियो" लाई होइन।

१.५ System prompt: assistant को व्यक्तित्व

System prompt भनेको model लाई दिइने स्थायी निर्देशन हो: तिमी को हौ, कसरी बोल्ने, के गर्ने/नगर्ने। यसैबाट साधारण chatbot "तपाईंको assistant" बन्छ।

राम्रो system prompt का भाग:

पहिचान: नाम र भूमिका
बोल्ने शैली: छोटो, विनम्र, कुन भाषा
प्रयोगकर्ताबारे: के भनेर सम्बोधन गर्ने
नियम: के गर्ने, के कहिल्यै नगर्ने
Output format: voice का लागि markdown/table नचलाउने

03_system_prompt.py:

import os
from dotenv import load_dotenv
import anthropic

load_dotenv()
client = anthropic.Anthropic()

SYSTEM = """तिमी 'Maya' हौ, एक मिलनसार personal AI assistant।
- प्रयोगकर्तालाई 'Boss' भनेर सम्बोधन गर।
- छोटो जवाफ देऊ (१-३ वाक्य), किनभने जवाफ ठूलो स्वरमा पढिन्छ।
- Markdown, table वा bullet नचलाऊ।
- थाहा नभएको कुरा बनाएर नभन; 'मलाई थाहा छैन' भन।"""

response = client.messages.create(
    model=os.getenv("MODEL", "claude-sonnet-5"),
    max_tokens=200,
    system=SYSTEM,
    messages=[{"role": "user", "content": "आज के गरौं जस्तो लाग्छ?"}],
)
print(response.content[0].text)

अभ्यास: नाम 'Maya' बाट आफ्नो मनपर्ने नाममा फेर्नुहोस्, र "हरेक जवाफ एउटा emoji बाट सुरु गर" भन्ने नियम थपेर फरक हेर्नुहोस्।

१.६ Conversation memory: अघिल्लो कुरा सम्झने

API stateless हो, अर्थात् हरेक request मा model ले अघिल्लो कुरा आफैं सम्झँदैन। सम्झाउन हामीले पूरा कुराकानी हरेकपटक फेरि पठाउनुपर्छ।

पहिलो request:  [user: मेरो नाम सुमित हो]
दोस्रो request: [user: मेरो नाम सुमित हो] [assistant: नमस्ते सुमित!] [user: मेरो नाम के हो?]

त्यसैले कुराकानी लामो हुँदै जाँदा हरेक request मा input token बढ्छ, र खर्च पनि बढ्छ। समाधान (मोड्युल ६): पुराना message हटाउने, सारांश बनाउने, र महत्त्वपूर्ण कुरा long-term memory मा राख्ने।

१.७ 🛠️ Mini project: Terminal chatbot (`04_chat.py`)

अहिलेसम्म सिकेका सबै कुरा (system prompt, streaming, history र token गणना) एउटै program मा:

import os
from dotenv import load_dotenv
import anthropic

load_dotenv()
client = anthropic.Anthropic()
MODEL = os.getenv("MODEL", "claude-sonnet-5")
SYSTEM = "तिमी 'Maya' हौ, मिलनसार AI assistant। प्रयोगकर्तालाई 'Boss' भन। छोटो जवाफ देऊ।"
MAX_TURNS = 20                      # बढीमा पछिल्ला २० message (१० जोडी) मात्र राख्ने; जोर संख्या

history = []
total_in = total_out = 0

print("Maya तयार छ! (बन्द गर्न 'exit' लेख्नुहोस्)")
while True:
    user = input("\nतपाईं: ").strip()
    if user.lower() in ("exit", "quit", "bye"):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})
    print("Maya: ", end="", flush=True)
    with client.messages.stream(
        model=MODEL, max_tokens=400, system=SYSTEM, messages=history
    ) as stream:
        for text in stream.text_stream:
            print(text, end="", flush=True)
        final = stream.get_final_message()
    print()
    history.append({"role": "assistant", "content": final.content[0].text})
    del history[:-MAX_TURNS]        # पुराना जोडी हटाउने: बाँकी list सधैं user बाट सुरु हुन्छ
    total_in += final.usage.input_tokens
    total_out += final.usage.output_tokens

print(f"\nजम्मा token: {total_in} input, {total_out} output। फेरि भेटौंला, Boss!")

परीक्षण गर्नुहोस्:

"मेरो नाम ___ हो" भन्नुहोस्, अनि केही प्रश्नपछि "मेरो नाम के हो?" सोध्नुहोस्। Maya ले सम्झनुपर्छ।
exit गरेपछि जम्मा token हेर्नुहोस्।
Program फेरि चलाएर नाम सोध्नुहोस्: अब सम्झँदैन! किन? (उत्तर: history RAM मा मात्र थियो। स्थायी memory मोड्युल ६ मा।)

⚠️ सामान्य गल्ती (हामीले test गर्दा भेटेको!): पठाउनुअघि history[-20:] जस्तो काट्यो भने, त्यो बेला list मा बिजोर (odd) संख्याका message हुन्छन् (नयाँ user message थपिएको हुन्छ), त्यसैले काटिएको भाग assistant बाट सुरु हुन्छ र API ले error दिन्छ। Claude मा कुराकानी सधैं user बाट सुरु हुनुपर्छ। सही तरिका: assistant को जवाफ थपेपछि मात्र del history[:-MAX_TURNS] गर्ने, र MAX_TURNS जोर संख्या राख्ने। त्यसो गर्दा बाँकी list सधैं user बाट सुरु हुन्छ।

१.८ खर्च नियन्त्रणका ५ टिप

max_tokens सधैं राख्नुहोस्
साधारण कामका लागि Haiku, कठिन कामका लागि मात्र Opus
History सीमित राख्नुहोस् (MAX_TURNS)
Console मा monthly spend limit र usage alert सेट गर्नुहोस्
हरेक request को usage log गर्नुहोस्; कुन काममा कति खर्च हुन्छ थाहा हुन्छ

✅ सम्झिने ५ कुरा

LLM ले अर्को token अनुमान गर्छ; मूल्य input + output token मा गनिन्छ।
Sonnet = मुख्य दिमाग, Haiku = छिटो/सस्तो, Opus = कठिन काम।
API key सधैं .env मा; .gitignore मा .env थप्नुहोस्।
Streaming ले voice assistant लाई छिटो बनाउँछ।
API stateless हो: सम्झाउन history फेरि पठाउनुपर्छ।