डेटा इंजीनियर कैसे बनें

डेटा इंजीनियरिंग की डिफ़ॉल्ट भाषा — पाइपलाइन, ऑर्केस्ट्रेशन, ग्लू कोड और टेस्टिंग, सब इसी में होते हैं।

• डॉक्स मुफ़्त Python.org →
• ट्यूटोरियल मिश्रित Real Python →
• किताब पेड Fluent Python by Luciano Ramalho →
• किताब मुफ़्त Automate the Boring Stuff →

हर सर्वर, कंटेनर और CI रनर bash समझता है। curl, jq, awk, sed और पाइप की मदद से डेटा को इधर-उधर ले जाना सीखें।

• कोर्स मुफ़्त MIT — Missing Semester →
• ट्यूटोरियल मुफ़्त Linux Journey →
• डॉक्स मुफ़्त jq Tutorial →

डेटा पाइपलाइन Git में रहती हैं। ब्रांचिंग, PR रिव्यू और कोड का इतिहास पाइपलाइन के लिए भी उतने ही अहम हैं जितने ऐप कोड के लिए।

• किताब मुफ़्त Pro Git →
• ट्यूटोरियल मुफ़्त Learn Git Branching (interactive) →
• ब्लॉग मुफ़्त Oh Shit, Git!?! →

जॉइन, एग्रीगेशन, विंडो फ़ंक्शन, CTE। हर डेटा भूमिका की रोज़ी-रोटी — यह आपकी आदत में शामिल होना चाहिए।

• ट्यूटोरियल मुफ़्त Mode SQL Tutorial →
• ट्यूटोरियल मुफ़्त SQLBolt →
• किताब मुफ़्त Use The Index, Luke! →
• किताब मुफ़्त Select Star SQL →

सबसे ज़्यादा फ़ीचर वाला ओपन-सोर्स RDBMS। इसके क्वेरी प्लानर, इंडेक्स, JSONB और एक्सटेंशन में महारत हासिल करें।

• डॉक्स मुफ़्त PostgreSQL Docs →
• ट्यूटोरियल मुफ़्त PostgreSQL Exercises →
• ट्यूटोरियल मुफ़्त PostgreSQL Tutorial →

OLTP के लिए 3NF, OLAP के लिए डायमेंशनल (Kimball) मॉडलिंग। कब डीनॉर्मलाइज़ करना है, यह जानना सीनियर स्तर का कौशल है।

• डॉक्स मुफ़्त Kimball Group →
• किताब मुफ़्त The Analytics Setup Guidebook →
• डॉक्स मुफ़्त Database Answers — 500 sample models →

EXPLAIN प्लान पढ़ना, सही प्रकार का इंडेक्स चुनना, जॉइन एल्गोरिद्म समझना — स्केल करने के लिए ये बुनियादी ज़रूरतें हैं।

• किताब मुफ़्त Use The Index, Luke! →
• डॉक्स मुफ़्त PostgreSQL docs — Using EXPLAIN →

OLAP बनाम OLTP, कॉलमनर स्टोरेज, पार्टिशनिंग, क्लस्टरिंग। वेयरहाउस अपनी बनावट में OLTP डेटाबेस से अलग क्यों होते हैं।

• ट्यूटोरियल मुफ़्त Data School — Data Modeling 101 →
• किताब पेड The Data Warehouse Toolkit (Kimball) →

इंडस्ट्री का अग्रणी क्लाउड वेयरहाउस। स्टोरेज और कंप्यूट का अलगाव, वर्चुअल वेयरहाउस और माइक्रो-पार्टिशन।

• डॉक्स मुफ़्त Snowflake Docs →
• ट्यूटोरियल मुफ़्त Snowflake Quickstarts →
• कोर्स मिश्रित Snowflake University →

Google का सर्वरलेस वेयरहाउस। स्लॉट-आधारित प्राइसिंग, पार्टिशनिंग, क्लस्टरिंग और BQ ML सीखें।

• डॉक्स मुफ़्त BigQuery Docs →
• ब्लॉग मुफ़्त Google Cloud Blog — BigQuery Explained →

SQL-आधारित ट्रांसफ़ॉर्मेशन फ़्रेमवर्क। टेस्टिंग, डॉक्यूमेंटेशन, लीनिएज और इंक्रीमेंटल मॉडल ही आधुनिक वेयरहाउस को स्टोर्ड-प्रोसीजर के झंझट से अलग करते हैं।

• डॉक्स मुफ़्त dbt Docs →
• कोर्स मुफ़्त dbt Learn →
• चैनल मुफ़्त dbt Labs on YouTube →

बड़े पैमाने पर बैच डेटा प्रोसेसिंग का डिफ़ॉल्ट इंजन। DataFrames, Spark SQL, एडैप्टिव एक्ज़ीक्यूशन और पार्टिशनिंग सीखें।

• डॉक्स मुफ़्त Spark Docs →
• किताब पेड Learning Spark, 2nd Ed (O'Reilly) →
• ट्यूटोरियल मुफ़्त Spark Examples →

MapReduce, शफ़ल, स्क्यू, स्पिलिंग, और बड़े पैमाने पर जॉइन क्यों फ़ेल होते हैं। Spark/Flink/BigQuery से जुड़ी हर चीज़ की नींव।

• किताब पेड Designing Data-Intensive Applications (Kleppmann) →
• शोध-पत्र मुफ़्त MapReduce — Google Research →

इवेंट स्ट्रीमिंग का सबसे प्रचलित प्लेटफ़ॉर्म। पार्टिशन, कंज़्यूमर ग्रुप, हर संदेश ठीक एक बार पहुँचाने वाली डिलीवरी और स्कीमा रजिस्ट्री में महारत हासिल करें।

• डॉक्स मुफ़्त Kafka Docs →
• ट्यूटोरियल मुफ़्त Confluent Developer →
• किताब पेड Kafka: The Definitive Guide →

इवेंट टाइम बनाम प्रोसेसिंग टाइम, वॉटरमार्क, विंडोइंग, ठीक एक बार प्रोसेसिंग की गारंटी। यही अवधारणाएँ Flink, Beam और Spark Structured Streaming में भी दिखती हैं।

• किताब पेड Streaming Systems (Akidau et al.) →
• ब्लॉग मुफ़्त Confluent Blog →

अत्याधुनिक स्ट्रीमिंग इंजन, जब आपको कम लेटेंसी के साथ मज़बूत स्टेट सिमैंटिक्स चाहिए।

• डॉक्स मुफ़्त Flink Docs →
• ब्लॉग मुफ़्त Ververica Blog →

आधुनिक डेटा स्टैक ELT को पसंद करता है — पहले कच्चा डेटा लोड करें, फिर वेयरहाउस में dbt से ट्रांसफ़ॉर्म करें। समझें कि ऐसा क्यों है।

• ब्लॉग मुफ़्त dbt Blog →
• ब्लॉग मुफ़्त Fivetran — ETL vs ELT →

इंडस्ट्री का मानक ऑर्केस्ट्रेटर। DAG, ऑपरेटर, सेंसर, TaskFlow API, और इसे डेटा प्रोसेसर की तरह इस्तेमाल करने के नुकसान।

• डॉक्स मुफ़्त Airflow Docs →
• ट्यूटोरियल मुफ़्त Astronomer Learn →
• किताब पेड Data Pipelines Pocket Reference →

Airflow के आधुनिक विकल्प। एसेट-आधारित (Dagster) या फ़्लो-आधारित (Prefect) — पूरी तरह Python पर काम करने वाली टीमों के लिए ज़्यादा सुविधाजनक।

• डॉक्स मुफ़्त Dagster Docs →
• डॉक्स मुफ़्त Prefect Docs →

प्रोडक्शन की हर पाइपलाइन को दोबारा चलाए जाने, आंशिक विफलताओं और पुराने डेटा के बैकफ़िल को सहजता से संभालना चाहिए। यह कोई टूल नहीं, डिज़ाइन का कौशल है।

• ब्लॉग मुफ़्त Maxime Beauchemin — Functional Data Engineering →

S3 (स्टोरेज), Glue (कैटलॉग + ETL), EMR (Spark), Athena (S3 पर Presto SQL), Redshift (वेयरहाउस), Kinesis (स्ट्रीमिंग)।

• डॉक्स मुफ़्त AWS Analytics Overview →
• डॉक्स मुफ़्त AWS Data Lakes →
• चैनल मुफ़्त AWS Training on YouTube →

BigQuery, Dataflow (Beam), Pub/Sub, Cloud Storage, Composer (मैनेज्ड Airflow)। कहा जा सकता है कि GCP डेटा के काम के लिए सबसे अनुकूल क्लाउड है।

• डॉक्स मुफ़्त GCP Smart Analytics →
• चैनल मुफ़्त Google Cloud Tech on YouTube →

Synapse Analytics, Data Factory और Fabric, साथ में Databricks इंटीग्रेशन। एंटरप्राइज़ और Microsoft-आधारित कंपनियों में ख़ास तौर पर अहम।

• डॉक्स मुफ़्त Azure Data Architecture Guide →
• कोर्स मुफ़्त Microsoft Learn — Azure →

आधुनिक डेटा लेक कॉलमनर फ़ॉर्मेट पर चलते हैं। कम्प्रेशन, प्रेडिकेट पुशडाउन और स्कीमा इवोल्यूशन को समझें।

• डॉक्स मुफ़्त Parquet Docs →
• ब्लॉग मुफ़्त Upsolver — Why Parquet →

ऐसे टेबल फ़ॉर्मेट जो ऑब्जेक्ट स्टोरेज के ऊपर ACID ट्रांज़ैक्शन, टाइम ट्रैवल और स्कीमा इवोल्यूशन की सुविधा जोड़ते हैं।

• डॉक्स मुफ़्त Delta Lake →
• डॉक्स मुफ़्त Apache Iceberg →
• डॉक्स मुफ़्त Apache Hudi →

Python-आधारित डिक्लेरेटिव डेटा वैलिडेशन। असर्शन, डॉक्यूमेंटेशन और प्रोफ़ाइलिंग — सब एक ही फ़्रेमवर्क में।

• डॉक्स मुफ़्त Great Expectations Docs →
• ब्लॉग मुफ़्त GE Blog →

जेनेरिक टेस्ट (unique, not_null, accepted_values, relationships) + कस्टम SQL टेस्ट। किसी भी dbt प्रोजेक्ट के लिए अनिवार्य।

• डॉक्स मुफ़्त dbt Tests Docs →
• रिपॉज़िटरी मुफ़्त dbt-utils on GitHub →

डेटा बनाने वाले और इस्तेमाल करने वाले के बीच स्कीमा का समझौता, जिसे पाइपलाइन की सीमाओं पर लागू किया जाता है। यह उभरता हुआ क्षेत्र है — इसमें जल्दी क़दम रखना फ़ायदेमंद है।

• डॉक्स मुफ़्त Data Contract Specification →
• ब्लॉग मुफ़्त Chad Sanderson — Data Products blog →

GDPR, CCPA, DPDP (भारत), HIPAA। छद्मनामीकरण, टोकनाइज़ेशन, भुला दिए जाने का अधिकार। अब अनुपालन एक बुनियादी ज़रूरत है।

• डॉक्स मुफ़्त GDPR.EU →
• डॉक्स मुफ़्त India DPDP Act (MeitY) →

मेटाडेटा प्रबंधन, लीनिएज, डेटा की खोज। जब आपके वेयरहाउस में 100 से ज़्यादा टेबल हो जाएँ, तब यह ज़रूरी हो जाता है।

• डॉक्स मुफ़्त DataHub →
• डॉक्स मुफ़्त Amundsen →
• डॉक्स मुफ़्त OpenMetadata →

ताज़गी, मात्रा, वितरण, स्कीमा, लीनिएज — ये 5 स्तंभ हैं। Monte Carlo, Bigeye, Elementary, या अपना ख़ुद का समाधान।

• ब्लॉग मुफ़्त Monte Carlo — 5 Pillars of Data Observability →
• डॉक्स मुफ़्त Elementary Data (open source) →

SLA टूटने पर अलर्ट, रीट्राई की जानकारी, लागत पर नज़र। Airflow के DAG-स्तर के व्यू + Prometheus/Grafana या Datadog।

• डॉक्स मुफ़्त Prometheus Docs →
• ट्यूटोरियल मुफ़्त Grafana Tutorials →

हर पाइपलाइन कंटेनर में चलती है। इमेज, लेयर, मल्टी-स्टेज बिल्ड और वॉल्यूम माउंट को समझें।

• डॉक्स मुफ़्त Docker Docs →
• वीडियो मुफ़्त Docker Tutorial for Beginners — freeCodeCamp →

डिक्लेरेटिव इंफ्रास्ट्रक्चर — वेयरहाउस परमिशन, S3 बकेट, Airflow डिप्लॉयमेंट। टीमें सबसे ज़्यादा स्टेट मैनेजमेंट में ही लड़खड़ाती हैं।

• डॉक्स मुफ़्त Terraform Docs →
• ट्यूटोरियल मुफ़्त HashiCorp Learn — Terraform →

dbt टेस्ट, पाइपलाइन डिप्लॉयमेंट और शेड्यूल्ड रन के लिए CI। छोटी टीमों के लिए अलग CI स्टैक से सस्ता।

• डॉक्स मुफ़्त GitHub Actions Docs →

डेटा इंजीनियर एनालिस्ट, ML इंजीनियर और PM के लिए काम करते हैं। उनकी आपस में टकराती माँगों को संभालना असल काम का बड़ा हिस्सा है।

• ब्लॉग मुफ़्त Locally Optimistic (data leaders blog) →
• ब्लॉग मुफ़्त Benn Stancil's Substack →

पाइपलाइन में हर अहम बदलाव के लिए एक डिज़ाइन डॉक्यूमेंट बनना चाहिए — समस्या, विकल्प, चुना गया तरीका और रोलआउट योजना।

• ब्लॉग मुफ़्त Design Docs at Google (Malte Ubl) →

जहाँ कामकाजी डेटा इंजीनियर सच में जुड़ते हैं — चुपचाप पढ़ते रहने के लिए भी ये जगहें फ़ायदेमंद हैं।

• चैनल मुफ़्त Locally Optimistic Slack →
• चैनल मुफ़्त dbt Community Slack →
• चैनल मुफ़्त Airflow Slack + Mailing List →