Duomenų inžinierius - kursas 89 000 rub. iš Otus, mokymai 4 mėn., data 2023 m. lapkričio 30 d.
įvairenybės / / December 03, 2023
Ką tau duos šis kursas?
- Pagrindinių didelių duomenų integravimo, apdorojimo ir saugojimo būdų supratimas
- Gebėjimas dirbti su Hadoop ekosistemos komponentais, paskirstyta saugykla ir debesų sprendimais
- Praktiniai įgūdžiai kuriant duomenų paslaugas, vitrinas ir programas
- Stebėjimo, orkestravimo, testavimo organizavimo principų išmanymas
Kursas yra skirtas kūrėjams, DBVS administratoriams ir visiems, kurie siekia tobulinti savo profesinį lygį, įsisavinti naujus įrankius ir užsiimti įdomiomis užduotimis darbo su duomenimis srityje.
Išstudijavęs duomenų inžineriją, tapsi paklausiu specialistu, kuris:
- diegia, koreguoja ir optimizuoja duomenų apdorojimo įrankius
- pritaiko duomenų rinkinius tolesniam darbui ir analizei
- sukuria paslaugas, kuriose naudojami didelio duomenų kiekio apdorojimo rezultatai
- atsakingas už duomenų architektūrą įmonėje
Realių atvejų analizė: diegimo pavyzdžiai, įrankių naudojimas, našumo optimizavimas, problemos, klaidos ir taikomi rezultatai
Labai praktiška orientacija:
Kurso metu laipsniškai kursime veikiantį produktą, spręsdami taikomąsias problemas
Holistinis vaizdas apie šiuolaikinio verslo iššūkius ir uždavinius bei Duomenų inžinieriaus vaidmenį juos sprendžiant
Paklausa tarp darbdavių
40 darbdavių jau pasiruošę kviesti kursų absolventus pokalbiui
6
kursai„Wildberries“ duomenų inžinierius, DE jaunesniojo kurso pranešėjas. Daugiau nei 7 metai IT srityje
Su pagyrimu baigė Voronežo valstybinį universitetą. Šiuo metu studijuoja HSE magistrantūros programoje „Sistemų ir programinės įrangos inžinerija“. Profesinė patirtis - 2 metai duomenų analitiko ir duomenų inžinieriaus darbo. Dabar jis dirba su 5 populiariomis duomenų bazėmis, tobulėja Python ir sparčiai tobulina savo įgūdžius. Pasiruošęs pasidalinti savo patirtimi.
1
geraiĮmonėje analitiką jis plėtoja daugiau nei 10 metų. Tarp laimėjimų: - mūsų pačių visapusiškos žiniatinklio analizės sistemos sukūrimas; - MPP Vertica pagrindu veikiančio analitinės sandėlio statyba; - Duomenų apdorojimo organizavimas, pagrįstas Spark, Kafka, HDFS; -...
Įmonėje analitiką jis plėtoja daugiau nei 10 metų. Tarp laimėjimų: - mūsų pačių visapusės žiniatinklio analizės sistemos sukūrimas; - MPP Vertica pagrindu sukurto analitinės sandėlio statyba; - duomenų apdorojimo, pagrįsto Spark, organizavimas, Kafka, HDFS; - Darbo su duomenimis procesų kūrimas, įskaitant duomenų kokybę; - Kelių vidinių įrankių, skirtų dirbti ir struktūrizuoti metaduomenis, sukūrimas (duomenų katalogas);- Įmonės ataskaitų teikimo sistemos kūrimas, įskaitant realiu laiku; - Daugiau nei 5 metus tobulina duomenų raštingumą įmonėje, veda įvairius mokymus apie darbą su duomenimis, įrankiai, SQL; Jis taip pat sukūrė keletą analitikos lyderių, kurie dabar dirba didelėse įmonėse. Pagrindinis dėmesys skiriamas verslo problemų supratimui dirbant su duomenimis ir jas sprendžiant.
1
geraiSkyriaus vadovas, Sberbank 8 metų patirtis pramonės plėtros srityje, įskaitant interneto programų kūrimą ir priežiūrą tiek didelėse įmonėse, tiek pradedančiose įmonėse. 3 metai paskirstytų sistemų kūrimo didelėms vyriausybėms...
Skyriaus vadovas, Sberbank 8 metų patirtis pramonės plėtros srityje, įskaitant interneto programų kūrimą ir priežiūrą tiek didelėse įmonėse, tiek pradedančiose įmonėse. 3 metai paskirstytų sistemų kūrimo stambiems valstybiniams klientams. Įgyvendino tris projektus nuo nulio, nuo prototipo iki paruošto naudoti pramonėje. Šiuo metu banke užsiima full-stack plėtra vidiniams klientams, sprendžia su duomenų analize ir inžinerija susijusias problemas. Patirtis programuojant Java, Scala, Python, Javascript. Platus profesinių interesų spektras, pradedant paskirstytų sistemų kūrimu ir baigiant nuspėjamąja analize ir ketinimų analize. Išsilavinimas: UrFU bakalauro laipsnis pavadintas. B.N. Jelcino „Informacinės technologijos“.
Duomenų architektūra
-Tema 1.Duomenų inžinierius. Užduotys, įgūdžiai, įrankiai, rinkos poreikiai
-2 tema.Analitinių programų architektūra: pagrindiniai komponentai ir principai
-3 tema.Patalpose / Debesų sprendimai
-4 tema. Vamzdynų automatizavimas ir orkestravimas – 1
-5 tema. Vamzdynų automatizavimas ir orkestravimas – 2
Duomenų ežeras
-6 tema. Paskirstytos failų sistemos. HDFS/S3
- 7 tema. SQL prieiga prie Hadoop. Apache Hive / Presto
-8 tema. Duomenų saugojimo formatai ir jų ypatybės
-9 tema. Nuotolinio valdymo pulto 1 atveju analizė
-Tema 10.Pranešimų eilės. Kafkos apžvalga.
-11 tema. Duomenų atsisiuntimas iš išorinių sistemų
-12 tema. Apache Spark – 1
-13 tema. Apache Spark – 2
DWH
-14 tema.Analitinė DBVS. MPP duomenų bazės
-15 tema.DWH modeliavimas – 1. dbt pagrindai
-16 tema.DWH modeliavimas – 2. Data Vault 2.0
-17 tema. „DevOps“ praktika analitinėse programose. CI+CD
-18 tema. 2 atvejo nuotolinio valdymo pulto analizė
-19 tema.Duomenų kokybė. Duomenų kokybės valdymas
-20 tema. BI sprendimo diegimas
-21 tema. Stebėjimas / Metaduomenys
NoSQL / NewSQL
-22 tema. NoSQL saugykla. Platus stulpelis ir rakto vertė
-23 tema. NoSQL saugykla. Orientuotas į dokumentus
-Tema 24.ELK
-Tema 25.ClickHouse
-26 tema. 3 atvejo nuotolinio valdymo pulto analizė
MLOps
-27 tema.Kodo organizavimas ir pakavimas
-28 tema.Docker ir REST architektūra
-29 tema.MLFlow + DVC
-30 tema. Modelių diegimas
-31 tema. 4 atvejo nuotolinio valdymo pulto analizė
-32 tema. 5 atvejo nuotolinio valdymo pulto analizė
Baigimo projektas
-33 tema. Temos parinkimas ir projektinio darbo organizavimas
-34 tema.Konsultacija
-35 tema.Apsauga