Surinkite grojaraštį, suraskite galvoje įstrigusį takelį, parašykite pjesę: ką dirbtinis intelektas gali padaryti su muzika
įvairenybės / / March 30, 2022
Atpažinti kompozicijas
Šaunus takelis girdisi bet kur: prekybos centre, kavinėje ir net pro šalia esančio automobilio langą, stovint kamštyje. Kad nepraleistumėte jums patinkančios nepažįstamos dainos, pakanka įjungti atpažinimo programą. Jose esančios kompozicijos pavadinimą ir atlikėjo vardą dirbtinis intelektas išduoda per kelias sekundes. Tiesa, už tokio greito rezultato slypi kruopštus pasiruošimas: norint greitai išmokti melodiją, programa pirmiausia turi ją atsiminti. Norėdami tai padaryti, neuroniniai tinklai įvedami į didžiulę takelių biblioteką, o tada algoritmai paverčia garsą spektrograma ir išskaido jį į laiką, dažnį ir intensyvumą.
Anatolijus Starostinas
„Yandex Media Services“ technologijų plėtros tarnybos vadovas.
Spektrograma yra grafikas. Laikas yra išilgai horizontalios ašies, garso dažnis yra išilgai vertikalios ašies, o jo intensyvumas fiksuotu momentu išreiškiamas spalva. Žemą signalą žymi raudona juosta apačioje, o aukštą - viršuje. Rezultatas yra paveikslėlis, sudarytas iš spalvotų horizontalių juostelių. Tokių grandinių analizė padeda atpažinti muziką. Dirbant su spektrogramomis, naudojami tie patys neuroninio tinklo metodai kaip ir vaizdų analizėje.
Tarkime, žmogus išgirsta dainą per radiją ir nori sužinoti vardą bei atlikėją. Atpažinimo programa sukuria skambančio fragmento spektrogramą ir siunčia ją į savo takelių biblioteką. Tada lygina norimos melodijos „paveikslėlį“ su kitų kūrinių spektrogramomis ir parenka tiksliausią atitikmenį. Tuo pačiu metu dirbtinis intelektas atpažįsta melodiją net ir per rimtus trukdžius, pavyzdžiui, kelio triukšmą ar remontą kaimyniniame bute.
Beje, neuroninis tinklas geba ne tik identifikuoti atlikėją ir galvoje įstrigusio takelio pavadinimą, bet ir apytiksliai nustatyti jo žanrą. Norėdami tai padaryti, dirbtinis intelektas mokomas rasti skirtingų muzikos stilių modelius. Tokios specifinės savybės žmogaus regėjimui ir klausai dažniausiai nepasiekiamos. Tačiau mašininio mokymosi dėka iš spektrogramų vaizdų tampa įmanoma apskaičiuoti muzikos žanrus.
Rekomenduoti dainas
Atrodo, kad milijarduose dainų savarankiškai rasti „tą patį“ savo nuotaiką atitinkantį takelį yra beveik taip pat mažai tikėtina, kaip įsimylėti iš pirmo žvilgsnio. Tačiau dėl rekomendacijų algoritmų tobulos atitikties pasitaiko ne taip dažnai. Pirmiausia dirbtinis intelektas ieško panašaus skonio žmonių, o tada sujungiamos statistinės formulės: tam tikros kompozicijos patinka, nepatinka, pažaidimų ir praleidimų skaičius.
Anatolijus Starostinas
Dainos rekomendacija veikia pagal paprastą schemą: jei Vasjai patiko takelis X, o tada Petya taip pat įvertino, tai kai Vasjai patinka Y, Petya taip pat turėtų rekomenduoti takelį Y. Kai algoritmui reikia rasti kitą dainą, formulė pritaikoma galimų dainų rinkiniui. Tinkamiausios plūduriuoja į viršų.
„Šaltas“ turinys, nematytas masinio klausytojo grojaraščiuose, plinta lėčiau. Tačiau dėl neuroninių tinklų nežinomi atlikėjai ir nišinė muzika vis dar turi mažą galimybę mirgėti rekomendacijų sraute. Jei supaprastintume visus techninius niuansus, tai galima teigti, kad tokiais atvejais dirbtinis intelektas išsiaiškina, kaip dažnai konkretus vartotojas klauso dainų su panašiomis spektrogramomis ir periodiškai kviečia jį susipažinti su naujomis takelius.
Marija Gu
Dainininkė.
Kartais įkvėpimo semiuosi rekomendacijose. Kūrinio pasirinkimą patikiu muzikos tarnybai, pasiklausau melodijų, surandu įdomių garsų ar tekstų. Taigi jūs tikrai galite spontaniškai įsimylėti nežinomo atlikėjo kūrinį. Ir dar viena netyčia išgirsta eilutė gali paskatinti mane sukurti savo eilėraščius.
Neuroniniai tinklai taip pat padeda sukurti muzikos pasirinkimą, skirtą kūno rengybai, vaikščiojimui ar miegui. Turinio redaktoriai parenka algoritmų atskaitos takelius, o pagal jų spektrogramas dirbtinis intelektas išplečia temines rekomendacijas.
generuoti muziką
Anksčiau melodijas galėjo kurti tik kompozitoriai. Dabar tai įmanoma ir be muzikantų dalyvavimo. 2020 m. Nyderlanduose įvyko pirmasis neuroninių tinklų Eurovizijos konkursas – DI dainų konkursas. Australas laimėjo bendradarbiavimą dirbtinis intelektas su koalomis, karališkaisiais žuvimis ir Tasmanijos velniais. Daina buvo skirta žemyne siaučiantiems miškų gaisrams. Gyvūnų garsai buvo įrašyti trumpais pavyzdžiais – 1-2 sekundžių trukmės fragmentais. Algoritmas juos sujungė su visų ankstesnių tikrosios „Eurovizijos“ nugalėtojų hitais, po kurių jie surinko pavyzdžius į savo melodiją.
Tai ne vienintelis sėkmingos kūrybinės programuotojų ir neuroninių tinklų sąjungos pavyzdys. 2019 metais Sočyje vykusio žiemos tarptautinio menų festivalio uždarymo metu Valstybinis orkestras atliko 8 min. Ją iš atskirų neuroninių tinklų generuojamų melodijų fragmentų parašė kompozitorius Kuzma Bodrovas. Šiandien muzikos kūrimas yra perspektyviausia dirbtinio intelekto plėtros sritis.
Anatolijus Starostinas
Dirbtinis intelektas gali sukurti muziką trimis būdais. Pirmasis susijęs su jau paruoštų garso „plytų“ konstravimu – pavyzdžiais. Tokiu atveju algoritmas tiesiog sudėlioja juos tinkama tvarka per kelis garso takelius, o elektroninis aranžuotojas sumaišo baigtą takelį. Antrasis būdas yra sukurti muzikos užrašus. Tai tarsi instrukcijų rašymas muzikantui, kad jis grotų baigtą kūrinį. Ir trečias būdas – įrašyti „neapdorotą“ garso signalą. Šiuo atveju pats neuroninis tinklas sukuria garso bangas, panašias, pavyzdžiui, į Mocartą ar The Beatles.
Beje, neuroniniai tinklai taip pat gali rašyti poeziją dainoms. Kol kas tokie kūriniai skamba gana keistai, todėl dainų kūrėjai neturėtų jaudintis dėl nedarbo. Be to, „kompiuterinis protas“ neturi jausmų. Jis negali prasiskverbti į emocinį kontekstą ir perteikti išgyvenimų, privertusių kūrinių autorius kurti.
Marija Gu
Poezija ir muzika pirmiausia yra apie žmonių sielą, vidinį pasaulį, išgyvenimus, jausmus ir emocijas. Pavyzdžiui, naujasis kūrinys „Don't Burn Out“ yra mano asmeninė istorija, bet taip pat apie kiekvieną, kuris eina paskui svajonę ir bando suprasti save. Nemanau, kad dirbtinis intelektas kada nors pakeis gyvą žmogų muzikos industrijoje. Bet čia galite gauti įdomų tandemą „žmogus – neuroninis tinklas“. Jau žinome dešimtis pavyzdžių, kai dirbtinis intelektas padėjo kompozitoriams sukurti unikalias melodijas. Tiesą sakant, tai nauja kryptis muzikos pasaulyje, kuri, esu tikras, ateityje turės savo klausytoją ir publiką.
Dirbtinis intelektas daro kūrybiškumą prieinamą kiekvienam, o muzika padeda jam vystytis. Norėdami suprasti, kaip šie du poliai susilieja ir veikia vienas kitą, galite "Pamokų numeriai“ iš „Yandex“ - „Skaitmeninis menas: muzika ir IT“. Kartu su komiksų herojais dalyviai sužinos, kaip neuroniniai tinklai atpažįsta ir generuoja takelius bei kokios technologijos padeda mums pažįstamų muzikos paslaugų darbe. Pamokoje mokiniai bandys patys pagal spektrogramą atspėti melodiją ir sudaryti grojaraštį su rekomendacijomis.
Noriu "Pamokos numeriai"
Viršelis: Willyam Bradberry / Shutterstock / Ericas Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker