ML इंजीनियर कैसे बनें

नोटबुक से आगे। टाइपिंग, टेस्टिंग, पैकेजिंग, एसिंक कोड। ML इंजीनियर ऐसा कोड लिखते हैं जिसे लिखा कम और पढ़ा ज़्यादा जाता है।

• डॉक्स मुफ़्त Python Docs →
• किताब पेड Fluent Python →

ज़्यादातर ट्रेनिंग डेटा की शुरुआत डेटा वेयरहाउस पर चलाई गई SQL क्वेरी से होती है।

• ट्यूटोरियल मुफ़्त Mode SQL Tutorial →

लीनियर/लॉजिस्टिक रिग्रेशन, डिसीज़न ट्री, रैंडम फ़ॉरेस्ट, ग्रेडिएंट बूस्टिंग। प्रोडक्शन की 80% ML समस्याओं को ये डीप लर्निंग से बेहतर हल करते हैं।

• डॉक्स मुफ़्त scikit-learn User Guide →
• किताब मुफ़्त Introduction to Statistical Learning (ISLR) →
• डॉक्स मुफ़्त XGBoost Docs →

समस्या के प्रकार के हिसाब से मेट्रिक्स, क्रॉस-वैलिडेशन, कैलिब्रेशन, लागत-संवेदी लर्निंग। असंतुलित डेटासेट पर एक्युरेसी को पैमाना चुनना शुरुआती लोगों की सबसे आम गलती है।

• डॉक्स मुफ़्त scikit-learn — Model Evaluation →

प्रोडक्शन में यही डिफ़ॉल्ट है। टेंसर, autograd, DataLoader, डिस्ट्रिब्यूटेड ट्रेनिंग।

• ट्यूटोरियल मुफ़्त PyTorch Tutorials →
• किताब मुफ़्त Dive into Deep Learning →

वह आर्किटेक्चर जिस पर LLM, ज़्यादातर अत्याधुनिक (SOTA) विज़न मॉडल और आधुनिक रिकमेंडर सिस्टम टिके हैं।

• डॉक्स मुफ़्त Hugging Face Transformers →
• ब्लॉग मुफ़्त The Illustrated Transformer →

vLLM, TensorRT-LLM, Ollama, llama.cpp। क्वांटाइज़ेशन, बैचिंग, कैशिंग, और थ्रूपुट बनाम लेटेंसी के ट्रेड-ऑफ़।

• डॉक्स मुफ़्त vLLM Docs →
• डॉक्स मुफ़्त Ollama Docs →

रिट्रीवल-ऑगमेंटेड जनरेशन। एम्बेडिंग, वेक्टर सर्च (pgvector, Weaviate, Pinecone, Qdrant), चंकिंग की रणनीतियाँ।

• ट्यूटोरियल मुफ़्त LangChain RAG Tutorial →
• रिपॉज़िटरी मुफ़्त pgvector →

LoRA, QLoRA, पूरी फ़ाइन-ट्यूनिंग। कब फ़ाइन-ट्यून करें और कब सिर्फ़ प्रॉम्प्ट से काम चल जाएगा।

• डॉक्स मुफ़्त PEFT (Hugging Face) →

MLflow, Weights & Biases, Neptune। हर रन को दोबारा हूबहू वैसा ही चला पाना अनिवार्य है।

• डॉक्स मुफ़्त MLflow Docs →
• डॉक्स मुफ़्त Weights & Biases Docs →

मॉडल को वर्ज़न के साथ रजिस्टर करें, अलग-अलग चरणों से आगे बढ़ाएँ, और एक स्थिर API के पीछे सर्व करें।

• डॉक्स मुफ़्त MLflow Model Registry →
• डॉक्स मुफ़्त BentoML Docs →

Airflow, Kubeflow, Metaflow, Prefect। फ़ीचर इंजीनियरिंग, ट्रेनिंग, मूल्यांकन और डिप्लॉयमेंट को एक क्रम में व्यवस्थित करें।

• डॉक्स मुफ़्त Kubeflow Docs →
• डॉक्स मुफ़्त Metaflow Docs →

Feast, Tecton, Databricks Feature Store। ट्रेनिंग और सर्विंग के बीच के अंतर को दूर करें और फ़ीचर को कई मॉडलों में दोबारा इस्तेमाल करें।

• डॉक्स मुफ़्त Feast Docs →
• ब्लॉग मुफ़्त Tecton — What is a Feature Store →

TorchServe, Triton, KServe, Ray Serve, BentoML। लेटेंसी, थ्रूपुट और हार्डवेयर की सीमाओं के हिसाब से चुनें।

• डॉक्स मुफ़्त NVIDIA Triton →
• डॉक्स मुफ़्त Ray Serve →

डेटा ड्रिफ़्ट, कॉन्सेप्ट ड्रिफ़्ट, प्रदर्शन में गिरावट। Evidently, WhyLabs, Fiddler, Arize। मॉडल चुपचाप ख़राब होते जाते हैं — उन पर नज़र रखें।

• डॉक्स मुफ़्त Evidently AI Docs →
• ब्लॉग मुफ़्त Arize AI ML Observability Course →

DDP, FSDP, DeepSpeed। एक GPU या एक नोड से आगे स्केल करें।

• ट्यूटोरियल मुफ़्त PyTorch DDP Tutorial →
• डॉक्स मुफ़्त DeepSpeed Docs →

मैनेज्ड ML प्लेटफ़ॉर्म — किसी एक वेंडर पर निर्भरता के बदले इंफ्रास्ट्रक्चर का काम कम हो जाता है।

• डॉक्स मुफ़्त SageMaker Docs →
• डॉक्स मुफ़्त Vertex AI Docs →

कोड का यूनिट टेस्ट, पाइपलाइन का इंटीग्रेशन टेस्ट, और मॉडल की जाँच। ट्रेनिंग और डिप्लॉयमेंट के लिए GitHub Actions या GitLab CI।

• कोर्स मुफ़्त Made With ML — Testing →

जहाँ से ML इंजीनियर ख़ुद को अपडेट रखते हैं।

• ब्लॉग मुफ़्त Applying ML (Eugene Yan) →
• ब्लॉग मुफ़्त Chip Huyen's blog →
• ब्लॉग मुफ़्त Distill.pub →