Kursas "Duomenų inžinierius" - kursas 95 000 rub. iš Yandex seminaro, mokymai 6,5 mėn., Data: 2023 m. gruodžio 11 d.
įvairenybės / / November 30, 2023
Praktikuojantiems kūrėjams
Išmokite sukurti infrastruktūrą darbui su duomenimis ir sisteminkite savo žinias, kad galėtumėte jas panaudoti dabartiniame vaidmenyje arba pakeiskite kryptį į duomenų inžinieriaus darbą.
Trokštantiems duomenų inžinieriams
Žinių struktūrizavimas: be aiškios teorijos, bus daug praktikos. Įgysite patirties dirbdami su projektais – tai padės susikurti portfolio, išsiskirti iš kitų kandidatų ir nepasiklysti realiame darbe.
Duomenų mokslo specialistai ir analitikai
Įvaldykite įgūdžius, kurie padės efektyviau susidoroti su užduotimis: kurkite duomenų vamzdynus, projektuokite vitrinas, kurkite ETL ir rinkkite neapdorotus duomenis dideliais kiekiais.
Duomenų modelio atnaujinimas
1 modulis 2 savaites
Įmonė ir toliau panardina jus į savo procesus. Duomenys, su kuriais dirbote, buvo atnaujinti, todėl turite pakeisti duomenų modelį.
Šiame kurse jūs:
- suprasti, kaip įmonė kuria duomenų bazę;
- atnaujinti esamos duomenų bazės struktūrą pagal naujus verslo reikalavimus;
- parengti naujas vitrinas ir metrikas analitikams ir vadovams.
Technologijos ir įrankiai:
- PostgreSQL
+1 projektas portfelyje
Sukurkite duomenų rinką su laipsnišku įkėlimu internetinės parduotuvės auditorijos analizei.
DWH: duomenų modelio peržiūra
2 modulis 3 savaitės
Įmonė auga, duomenų architektūra tampa vis sudėtingesnė. Jums duota užduotis – optimizuoti procesus su duomenimis.
Šiame kurse jūs:
- apgalvoti perėjimo nuo senosios duomenų bazės schemos prie naujos procesą, tuo pačiu sumažinant verslo nuostolius (diegimas be prastovų);
- paruošti duomenų migraciją;
- atsižvelgti į galimas problemas ir sukurti galimybę atšaukti pakeitimus;
- įdiegti naują duomenų bazės struktūrą ir pritaikyti ją prie esamų procesų, susijusių su duomenimis.
Technologijos ir įrankiai:
- PosgreSQL
- Python
+1 projektas portfelyje
Sutvarkysite duomenų modelį ir perkelsite duomenis dabartinėje internetinės parduotuvės saugykloje.
ETL: duomenų rengimo automatizavimas
Modulis 3 3 savaitės
Dabar apie įmonės duomenų saugyklą žinote beveik viską. Atėjo laikas permąstyti ETL procesus.
Šiame kurse jūs:
- automatizuoti duomenų srautą;
- sukonfigūruoti automatinį duomenų atsisiuntimą iš šaltinių;
- išmokti reguliariai ir laipsniškai įkelti duomenis į duomenų bazę.
Technologijos ir įrankiai:
- Python
- Oro srautas
- PostgreSQL
+1 projektas portfelyje
Sukurkite elektroninės prekybos projekto duomenų automatizuoto gavimo, apdorojimo ir įkėlimo iš šaltinių į parduotuvę dujotiekį.
Duomenų kokybės patikrinimas
4 modulis 1 savaitė
Norite būti tikri, kad jūsų pirmieji vamzdynai veikia gerai. Duomenų kokybė turi būti tikrinama, o gedimai turi būti sekami laiku.
Šiame kurse jūs:
- suprasti, kaip naudotis metainformacija ir dokumentacija;
- įvertinti duomenų kokybę.
DWH keliems šaltiniams
5 modulis 2 savaites
Jūs ir toliau tyrinėjate DWH, nes įmonės plėtra, taigi ir duomenų kiekio didėjimas, negali būti sustabdytas.
Šiame kurse jūs:
- kurti DWH nuo nulio ant reliacinės DBVS;
- susipažinti su MongoDB kaip duomenų šaltiniu.
Technologijos ir įrankiai:
- PostgreSQL
- MongoDB
+1 projektas portfelyje
Suprojektuosite ir įdiegsite DWH vidiniam startuoliui.
Analitinės duomenų bazės
6 modulis 2 savaites
Atsiranda vis daugiau specifinių nestruktūruotų duomenų, kuriuos taip pat reikia saugoti ir apdoroti. Todėl mes supažindinsime jus su analitinių duomenų bazių koncepcija, kaip pavyzdį naudodami Vertica DBVS.
Šiame kurse jūs:
- studijų saugojimo organizavimas Vertikoje;
- išmokti atlikti pagrindines operacijas su duomenimis Vertica;
- Sukurkite paprastą duomenų saugyklą „Verticoje“.
Technologijos ir įrankiai:
- Vertica
- PostgreSQL
- Oro srautas
- S3
+1 projektas portfelyje
Sukurkite DWH didelės apkrovos žemos struktūros pranešimų siuntimo duomenų sistemai naudodami Vertica.
„Data Lake“ organizacija
7 modulis 4 savaitės
Klasikiniai sprendimai nepadeda susidoroti su duomenų kiekiu. Norėdami susidoroti su naujais verslo iššūkiais, sukursite ir užpildysite duomenų ežerą.
Šiame kurse jūs:
- apsvarstykite duomenų ežero architektūrą (vert. „duomenų ežeras“);
- išmokti apdoroti duomenis MPP sistemoje;
- užpildyti duomenų ežerą duomenimis iš šaltinių;
- praktikuoti duomenų apdorojimą naudojant PySpark ir Airflow.
Technologijos ir įrankiai:
- Hadoop
- MapReduce
- HDFS
- „Apache Spark“ („PySpark“)
+1 projektas portfelyje
Sukurkite duomenų ežerą ir automatizuokite duomenų įkėlimą bei apdorojimą jame.
Srauto apdorojimas
8 modulis 3 savaitės
Su dideliu duomenų kiekiu įveikėte sunkumus, tačiau atsirado nauja užduotis – reikia padėti verslui greičiau priimti sprendimus. Čia jums reikės žinių apie srauto duomenų apdorojimą. transliacija).
Šiame kurse jūs:
- atsižvelgti į srauto duomenų apdorojimo ypatybes;
- sukurti savo srautinio perdavimo sistemą;
- Sukurkite parduotuvę naudodami duomenis realiuoju laiku.
Technologijos ir įrankiai:
- Kafka
- Spark Streaming
+1 projektas portfelyje
Sukursite realaus laiko duomenų apdorojimo sistemą.
Debesų technologijos
9 modulis 3 savaitės
Dabar galite dirbti tiek su dideliais duomenų kiekiais, tiek su srautais. Belieka automatizuoti sistemų mastelį naudojant debesijos paslaugas.
Šiame kurse sužinosite, kaip įdiegti jau išnagrinėtus sprendimus, bet debesyje (pavyzdžiui naudojant Yandex Cloud).
Technologijos ir įrankiai:
- Yandex. Debesis
- Kubernetes
- kubectl
- Redis
- PostgreSQL
+1 projektas portfelyje
Sukursite duomenų saugojimo ir apdorojimo debesyje infrastruktūrą.
Baigimo projektas
10 modulis 3 savaitės
Patvirtinkite, kad išmokote naujų įgūdžių.
Čia turėsite savarankiškai pasirinkti ir įgyvendinti verslo problemos sprendimus. Tai padės jums dar kartą sustiprinti išmoktų įrankių naudojimą ir savarankiškumą.