Didžiųjų duomenų apdorojimas ir analizė – nemokamas Open Education kursas, mokymai 2 savaites, apie 36 valandas per savaitę, data 2023 m. lapkričio 29 d.
įvairenybės / / November 30, 2023
Ph.D. Pareigos: Valdymo sistemų ir robotikos fakulteto docentas, ITMO universiteto Skaitmeninės kultūros aukštosios mokyklos docentas
Fizinių ir matematikos mokslų kandidato pareigos: ITMO universiteto Skaitmeninės kultūros aukštosios mokyklos docentas
Ph.D. Pareigos: ITMO universiteto Skaitmeninės kultūros aukštosios mokyklos docentas
1 modulis 1.1 tema Įvadas į duomenų mokslą Aptaria duomenų tipus ir šaltinius, principus duomenų atskyrimas ir jungimas, svarstyklių tipai, duomenų valymo ir spragų užpildymo būdai, kontrolė diapazonus. 1.2 tema Duomenų apdorojimo įrankiai Aptariami pirminiai duomenų apdorojimo įrankiai, pvz., skaičiuoklės (Google skaičiuoklės ir Excel), apima duomenų rūšiavimo ir filtravimo klausimus, lentelių duomenų kaupimo ir analizės priemones (pivot lenteles) 1.3 tema Vizualizacija duomenys Duomenų vizualizavimo įvairiais įrankiais (Google skaičiuoklės ir Excel) užduotys ir metodai, kiekybinių ir kokybinius duomenis. Svarstoma pažintinių duomenų vizualizacija. 1.4 tema Duomenų analizė ir transformavimas Nagrinėjami duomenų išlyginimo ir normalizavimo metodai, duomenų transformavimo klausimai. Detaliai aprašomos aprašomosios statistikos rūšys ir jos skaičiavimo metodai. 1.5 tema Darbas su laiko eilutėmis Aptariami darbo su laiko eilutėmis principai ir jų analizės metodai. Ypatingas dėmesys skiriamas laiko eilučių išlyginimo, tendencijų ir sezoninių laiko eilučių komponentų nustatymo metodams.
2 modulio didelių duomenų saugojimo tema 2.1. Duomenų bazių valdymo sistemos Nagrinėjama informacinių sistemų architektūra ir pagrindinės duomenų bazių valdymo sistemų funkcijos. 2.2 tema. Struktūrinių duomenų projektavimas Nagrinėjamos pagrindinės reliacinio (lentelės) modelio sąvokos duomenys, duomenų projektavimas reliaciniame modelyje, lentelių kūrimo taisyklės ir vientisumo apribojimų apibrėžimas. 2.3 tema. SQL – duomenų ir duomenų bazės objektų užklausos Apsvarstyti duomenų užklausų SQL kalba sudarymo principai, įskaitant projekciją, rūšiavimą, pasirinkimo sąlygų nustatymą, kelių lentelių sujungimą, aibės teorines operacijas, įdėtą prašymus. Paskaitoje taip pat aptariami duomenų bazės objektai – rodiniai, procedūros/funkcijos, trigeriai. Pateikiama indeksų koncepcija, kuri gali pagerinti daugelio užklausų vykdymo efektyvumą. 2.4 tema. NoSQL saugykla Svarstomos pagrindinės NoSQL sistemų sąvokos ir charakteristikos, įvairūs NoSQL sistemų tipai ir įvertinimai: rakto reikšmė, dokumentas, stulpelis ir grafikas. Duomenų užklausų kūrimo NoSQL saugyklose principai. 2.5 tema. MongoDB – darbas su dokumentų saugykla Aptaria duomenų tvarkymą ir užklausų kūrimą MongoDB. Pateikiami MongoDB demonstracinės duomenų bazės užklausų kūrimo pavyzdžiai.