Duomenų analizė Python ir duomenų bazėse (SQL) – nemokamas kursas iš RANEPA, mokymai, Data: 2023 m. kovo 6 d.

įvairenybės / by admin / December 04, 2023

click fraud protection

Python duomenų analizės ir duomenų bazės (SQL) programa suteiks studentams supratimą apie ML (mašininio mokymosi) algoritmų programavimo naudojant Python kalbą pagrindus. Tai taip pat padės įgyti nemažai kompetencijų šiuolaikinių reliacinių duomenų bazių valdymo srityje ir įgyti praktinių įgūdžių naudojant DBVS kalbos priemones (duomenų bazių valdymo sistemas duomenis).

Versle ir vyriausybėje reikia nuolat analizuoti didžiulius duomenų kiekius gauti informaciją, leidžiančią kontroliuoti darbo kokybę, kelti naujas idėjas ir pagrįsti priimtas sprendimus. Didžiulį duomenų kiekį suprantantys ekspertai gali tikėtis greitos karjeros ir įspūdingų atlyginimų.

Darbo skelbimuose, susijusiuose su duomenų analize, kaip taisyklė, dažniausiai minimi SQL ir Python.

Į kursą gali pretenduoti tik studentai, kurie nesimoko šiose srityse:

Programos įsisavinimo metu studentai turės galimybę (savarankiškai arba komandoje) sugalvoti naujų skaitmeninių produktų. Geriausių sprendimų autoriai gaus Akademijos paramą ir galimybę bendradarbiauti su RANEPA Dirbtinio intelekto laboratorija ir Platformų kūrimo laboratorija.

instagram viewer

Python

Kaip visa tai veikia? Python funkcijos.
Kodėl visi naudoja Python? Palyginimas su kitomis programavimo kalbomis. Kaip rašyti programas? Python privalumai. Kaip naudoti Python atliekant užduotis: tekstų apdorojimas, darbas su vaizdais, atsarginių robotų rašymas, pokalbių robotų paleidimas. Įvestis ir išvestis Python. Vardai Python. Pagrindinės operacijos. Programos vykdymo eigos kontrolė (sąlyginės konstrukcijos). Paprastų programų pavyzdžiai.

Ciklai. Linijos. Styginių metodai.
Kilpa su išankstine sąlyga. Pertraukite ir tęskite teiginius. Už kilpą Linijos struktūra ir linijos ilgis. Linijos elementas ir kaip iškirpti linijas. Poeilutės gavimas iš eilutės. Linijos perėjimas. Skyriai.

Kortelės. Sąrašai. funkcijų žemėlapis. Atsitiktinių verčių sąrašo generatorius.
Kodėl reikia kortelių? Darbas su sąrašu. Sąrašo elementus. Spausdinkite sąrašą. Teisingas sąrašų kopijavimas. Žemėlapio funkcijos naudojimo ypatybės. Kas yra atsitiktinių verčių generatoriai? Krūva. Operacijos su rinkiniais. Frozenset. Žodynai. gauti metodą Žodyno perėjimas.

Funkcijos. Matematinių funkcijų taikymas. Taikymo sritis ir išskyrimas.
Kaip teisingai parašyti funkcijas. Paprasti algoritmai. Pirmųjų funkcijų rašymas. Kaip pridėti matematiką. Rekomendacijos, kaip rašyti savo funkcijas. Kaip veikia apimtys. Pasauliniai kintamieji. Kelių funkcijos reikšmių grąžinimas. Išimtys.

Darbas su failais. Matricos. Rūšiavimo rūšys
Ką galite padaryti su failais? Failų atidarymas ir uždarymas. Tekstinių failų skaitymas ir rašymas. Matricos. Matricų pildymas. Matricų įvedimas eilė po eilutės. Skaitymo ir rašymo matricos. Burbulų rūšiavimas. Algoritmo analizė. Kelios sprendimo versijos.

NumPy bibliotekos apžvalga. Darbas su NumPy funkcijomis. SciPY biblioteka.
Python bibliotekos ir jų diegimas. Pagrindiniai NumPy duomenų tipai. Skaitmeninės funkcijos. Darbas su masyvais. Operacijos su masyvais. Dvimačiai masyvai. Matricos. Pagrindinės SciPy bibliotekos funkcijos.

Pandos bibliotekos apžvalga. Pagrindinė analizė.
Bibliotekos įdiegimas. Serijos objekto kūrimas. „DataFrame“ indeksavimas. Lentelės. Failų skaitymas ir rašymas. Indeksavimas. Duomenų atranka. Operacijos su eilutėmis ir stulpeliais. Darbas su NaN. Rūšiavimas.

Duomenų vizualizacijos. Praktiniai pavyzdžiai
Naujų duomenų studijavimas, išankstinis apdorojimas, duomenų vizualizavimas, ryšių tarp funkcijų paieška, mokymo duomenų ruošimas ir kredito rizikos prognozavimo modelių kūrimas. Gauti modelį, kuris atsakytų į klausimą: išduoti ar neišduoti paskolą.

Įprastų užduočių automatizavimas. Praktiniai pavyzdžiai
Praktinių užduočių, susijusių su apibendrintos informacijos gavimu iš kelių šaltinių (Excel failų) arba interneto, automatizavimo pavyzdžių analizė.

Duomenų analizei naudojamų mašininio mokymosi metodų apžvalga. Praktiniai pavyzdžiai
Praktinis pagrindinių požymių identifikavimo ir jų aiškinimo vadovaujamo mokymosi problemos pavyzdys.

Tarpinis modulio įvertinimas
Laikinasis sertifikavimas vyksta testo (kompiuterinio testavimo) forma. Tipiško bandomojo pastato pavyzdys:

Kokią Python funkciją galite naudoti norėdami sužinoti kintamojo tipą?

hwoami
tipo
tipas
yra

Koks skaičių diapazonas bus sukurtas šiame kode: diapazonas (9, 3, -2)

9 8 7 6 5 4 4
9 7 5 3
9 7 5
11 9 8 7 6 5 4

Ką sąraše esantis kodo fragmentas leidžia vykdyti?

Kodo fragmentas: print(math.sqrt(2))
rodomas skaičius 2 iš matematikos bibliotekos
jungiantis matematikos biblioteką
matematinį skaičių kvadratu
rodydami kvadratinę šaknį iš dviejų

SQL

Duomenų saugojimas ir vientisumas.
Duomenų saugojimas: duomenų failai, žurnalai, RAID lygiai, Tempdb. Ryšiai duomenų bazėse, vienas su vienu, vienas su daugeliu, daug su daugeliu. Duomenų vientisumas: PIRMINIS RAKTAS, PATIKRINIMAS, UNIKALUS ir UŽSIENIS RAKTAS. Lentelių normalizavimas.

Duomenų bazės ir lentelių kūrimas.
DBVS architektūra: loginis (lentelės ir duomenų tipai, raktai, indeksai, rodiniai, rinkiniai, apribojimai, taisyklės, numatytosios reikšmės) ir fiziniai lygiai (failai ir failų grupės, puslapiai). Duomenų bazės kūrimas. Lentelės laukų duomenų tipai: tikslūs skaičiai, unikodo simbolių eilutės, apytiksliai skaičiai, dvejetainiai duomenys, data ir laikas, kiti duomenų tipai, simbolių eilutės. Lentelių kūrimas. Kur rašyti prašymus?

Indeksai. Diagramos.
Indeksai: sugrupuoti, nesugrupuoti, unikalus identifikavimas, filtruojamas, stulpelių saugykla, maišos, nesugrupuotas, optimizuotas atmintyje indeksas. ER diagramos: duomenų bazių diagramos, duomenų bazės mazgas. DML ir dažniausiai naudojami SQL operatoriai: SELECT, INSERT, UPDATE, DELETE. Unikalių veiksnių svarba.

Prašymai. Išorės jungtys.
Užklausos ant vienos lentelės. Mėginių ėmimas be pakartojimų. Užklausos keliose lentelėse. Išoriniai sujungimai: KAIRĖ, DEŠINĖ arba VISAS.

Suvestinės funkcijos. Papildomos užklausos.
Papildomos užklausos: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Prisijungimo duomenys: PASIRINKITE PRISIJUNGTI. Suvestinės funkcijos: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Suvestinių funkcijų sąlygos.

Naudingos savybės.
Šiek tiek daugiau apie operatorius. Pramoninis prašymas. Naudingos funkcijos: SQRT, RAND, CONCAT, skaičių ir eilučių funkcijos. Operacijos pirmumo ir tipo konvertavimas: CAST, CONVERT.

Sandoriai. Atstovavimas.
Vienas prašymas keturiais būdais. Sandoriai: sandorių samprata – atomiškumas, nuoseklumas, izoliacija, patvarumas, operacijų valdymas – COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Lygiagreti prieiga prie duomenų: nešvaraus, nepakartojamo skaitymo, fantomų problemos. Rodiniai: indeksuoti, skaidyti, sisteminiai.

Kintamieji ir kilpos.
Programavimo pradžia. Kintamieji: DECLARE, SET, SELECT. Kodo struktūra. Duomenų aprašymo operatoriai: CREATE, DROP, ALTER ir kt. Duomenų tvarkymo operatoriai: INSERT, DELETE, SELECT, UPDATE ir kt. Prieigos teisių duomenų bazėje nustatymo operatoriai: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Apsaugos, duomenų atkūrimo ir kiti operatoriai. Ciklai: WHILE.

Išsaugotos procedūros ir funkcijos.
Laikini stalai. Transact-SQL žymekliai, serveris, klientas. Žymeklių tipai: vienakryptis, statinis, Keyset, dinaminis. Išsaugomos procedūros ir funkcijos: CREATE PROCEDURE, CREATE PROC.

Trigeriai. Išimtys.
HF konvejeris. Trigeriai: PO, VIETOJ. Išimtys: IŠSKYRUS. Dinaminis SQL naudojant raktinį žodį ir naudojant išsaugotą procedūrą: VYKDYTI IMMEDIATE.

DBVS. NoSQL duomenų bazės.
Programavimo/DBVS/SQL operacijos. Kaip vykdomi prašymai. Kaip pagerinti užklausos našumą. NoSQL duomenų bazė ir jos pranašumai.

Tarpinis modulio įvertinimas
Laikinasis sertifikavimas vyksta testo (kompiuterinio testavimo) forma. Tipiško bandomojo pastato pavyzdys:

Kokio tipo lauko duomenys yra NUMBER tipo?