متخصص مدل‌های زبانی بزرگ (LLM Engineer)
نقشه راه کامل، به‌روز و معتبر برای تسلط بر مدل‌های زبانی بزرگ از مبانی NLP تا آموزش، تنظیم، استقرار و پژوهش
پیش‌نیازهای برنامه‌نویسی و یادگیری ماشین (Python & ML Fundamentals)
پایتون پیشرفته، NumPy، Pandas، Scikit-learn، مفاهیم پایه یادگیری نظارت‌شده، گرادیان کاهشی، overfitting و cross-validation
مبانی یادگیری عمیق (Deep Learning Essentials)
پرسپترون، شبکه‌های عصبی چندلایه، توابع فعال‌سازی، بک‌پراپگیشن، فریم‌ورک PyTorch، کلاس‌های nn.Module، DataLoader و حلقه آموزش
پردازش زبان طبیعی کلاسیک (Classical NLP)
توکنایزیشن، stem/lemma، N-gram، TF-IDF، word2vec، GloVe، مدل‌های sequence (RNN، LSTM، GRU)، معماری encoder-decoder و مفهوم attention
معماری Transformer (Core Architecture)
کامل Self-Attention، Multi-Head Attention، Positional Encoding، LayerNorm، Feed-Forward، Encoder و Decoder stacks، پیاده‌سازی یک Transformer ساده با PyTorch
مدل‌های زبانی از پیش آموزش‌دیده (Pre-trained Language Models)
اهداف پیش‌آموزش: Causal LM (GPT)، Masked LM (BERT)، Seq2Seq (T5)؛ توکنایزرهای BPE، WordPiece، SentencePiece؛ مطالعه GPT-2، BERT، T5 در سطح معماری
مقیاس‌پذیری و قوانین Scaling (Scaling & Infrastructure)
Scaling Laws (Kaplan, Chinchilla)، داده‌های با کیفیت، آموزش توزیع‌شده (Data/Model Parallelism)، ZeRO، FSDP، mixed precision (FP16/BF16)، FlashAttention
مهندسی پرامپت و یادگیری درون‌متنی (Prompt Engineering & In-Context Learning)
طراحی پرامپت، Few-shot/Zero-shot، Chain-of-Thought، ReAct، Tree of Thoughts، دستورالعمل‌ها و قالب‌ها، ارزیابی خروجی
تنظیم دقیق مدل‌های بزرگ (Fine-tuning & Alignment)
Full Fine-tuning، Fine-tuning دستورالعملی (Instruction Tuning)، RLHF (PPO، DPO)، Constitutional AI، Direct Preference Optimization، تکنیک‌های کاهش توهم
تنظیم کارآمد پارامترها (Parameter-Efficient Fine-Tuning - PEFT)
LoRA، QLoRA، Adapter، Prefix/Prompt Tuning، IA3، مقایسه روش‌ها، ادغام با quantization، کار با کتابخانه‌های HuggingFace PEFT و bitsandbytes
بهینه‌سازی برای استنتاج (Inference Optimization)
Quantization (GPTQ, AWQ, GGUF)، Pruning، Knowledge Distillation، Speculative Decoding، Continuous Batching، موتورهای استنتاج vLLM و TensorRT-LLM
بردارها و بازیابی (Embeddings & Retrieval - RAG)
مدل‌های embedding (text-embedding-ada، BGE، GTE)، جستجوی برداری (FAISS، Chroma، Pinecone)، Retrieval-Augmented Generation، chunking و ارزیابی retrieval
عامل‌های هوشمند و ابزارها (Agents & Tool Use)
ReAct agents، function calling، برنامه‌ریزی و اجرا، AutoGPT، LangChain/LlamaIndex، حافظه، جستجوی وب، کد اینترپرتر و محیط‌های multi-agent
مدل‌های چندوجهی و پیشرفته (Multimodal & Recent Architectures)
LLaVA، GPT-4V، مدل‌های تصویر-به-متن، Mixture of Experts (MoE)، مدل‌های state-space (Mamba)، long context (RoPE extension)، و معماری‌های نوظهور
ارزیابی و تست (Evaluation & Red Teaming)
معیارهای Perplexity، BLEU، ROUGE؛ بنچمارک‌ها (MMLU، HumanEval، HELM)؛ تست انسانی، شناسایی توهم و bias، حملات خصمانه (jailbreaking)، red teaming
MLOps برای LLMها (LLMOps)
ثبت مدل (MLflow، HuggingFace Hub)، پرامپت ورژنینگ، CI/CD برای LLM، مانیتورینگ (drift، toxicity، latency)، تخمین هزینه، ابزارهای LangSmith، W&B
استقرار و سرویس‌دهی (Deployment & Serving)
FastAPI + vLLM، Ray Serve، Docker/Kubernetes، Serverless (Modal، Banana)، تعادل بار، auto-scaling، caching و streaming
پروژه‌های عملی و نمونه‌کار (Projects & Portfolio)
چت‌بات سفارشی با RAG، عامل جستجوی هوشمند، تنظیم دقیق مدل روی داده فارسی/انگلیسی، طراحی و مستندسازی پروژه‌های واقعی
مسیر شغلی و پژوهش (Career & Research Path)
منابع برتر (آندریژ کارپاتی، Lilian Weng)، دنبال کردن مقالات (ArXiv)، همایش‌ها (NeurIPS, ICML, ACL)، ساخت پورتفولیو، موقعیت‌های شغلی: LLM Engineer، NLP Researcher، Prompt Engineer