Naredni sastanak Seminara biće održan onlajn u sredu, 5. juna 2024, sa početkom u 19 časova.
Predavač: Aleksandar Kartelj, Matematički fakultet, Univerzitet u Beogradu
Naslov predavanja: RILS-ROLS: NOVI PRISTUP ZA REŠAVANjE PROBLEMA SIMBOLIČKE REGRESIJE
Apstrakt:
Najčešći pristup rešavanju problema regresije se zasniva na fiksiranju funkcionalne forme modela (linearna, polinomijalna regresija, neuronska mreža, itd.), a problem treniranja se svodi na podešavanje koeficijenata, tj. parametara funkcionalne forme. Simbolička regresija je privukla veliku pažnju u toku poslednje decenije zbog svoje tendencije da samim svojim dizajnom sprečava pojavu preprilagođavanja (eng. overfitting), jer je kod nje funkcionalna forma skoro proizvoljna, tj. ograničena jedino skupom dopuštenih operatora i njihovim arnostima. Drugim rečima, za zadati skup operatora npr. {sin, cos, ln, +, -, *, /, exp, …}, može se fiksirati bilo koje drvo izraza nad tim skupom operatora, usaglašeno sa njihovim arnostima. Tako dobijeni skup mogućih matematičkih formula postaje izuzetno velik, a kada se tome dodaju i koeficijenti, koji u opštem slučaju mogu biti realni, problem postaje još zahtevniji.
U dosadašnjoj literaturi skoro svi pristupi rešavanju simboličke regresije su sve svodili na upotrebu populacionih metaheuristika, i to najčešće genetskog programiranja (kao derivata proisteklog iz ideje genetskog algoritma). Tokom izlaganja će biti predstavljeni naši skorašnji rezultati (Kartelj, Đukanović, 2023.) koji pokazuju da metaheuristike zasnovane na jednom rešenju (eng. single-point metaheuristics) mogu da budu uporedive, pa čak i bolje od populacionih metaheuristika.
Konkretno, biće predstavljena metoda iterirane lokalne pretrage (ILS), potpomognuta metodom najmanjih kvadrata, pod nazivom RILS-ROLS (akronim za Robust symbolic Regression via Iterated Local Search and Ordinary Least Squares).
Najznačajniji doprinosi našeg rada su:
1) inovativni dizajn funkcije prilagođenosti kandidat rešenja (eng. fitness function) koji uključuje nekoliko metrika: R2, RMSE i veličinu drveta formirane matematičke formule;
2) integracija OLS metode za efikasno podešavanje koeficijenata pridruženih linearnim faktorima formule;
3) lokalnu pretragu koja efikasno pretražuje perspektivne okoline trenutnog najboljeg rešenja (matematičke formule) pri čemu se ona koristi ne samo za diskretne elemente prostora pretrage (unutrašnje čvorove drveta — operatore), već i za podešavanje koeficijenata unutar nelinearnih faktora;
4) uporedni odnos sa najznačajnjim metodama iz literature (u okviru SRBENCH projekta, https://cavalab.org/srbench), koji pokazuje da RILS-ROLS nadmašuje konkurente po pitanju dostignutih ciljnih metrika (R2), kao i potencijala da se dostigne egzaktno rešenje.
Pored ovoga, biće predstavljene i nove ideje koje bi mogle da unaprede postojeći model u budućnosti, a tiču se povećanja efikasnosti predloženog algoritma, kao i uvođenja novih tehnika navođenja pretrage zasnovanih na očekivanim matematičkim svojstvima funkcije koja se modeluje: 1) monotonosti; 2) verovatnosne raspodele ciljne promenljive i 3) Lipšicove neprekidnosti.
Takođe će biti napravljen osvrt na novu implementaciju RILS-ROLS algoritma, koja je u međuvremenu prepisana u C++ programski jezik, a dostupna je za instalaciju u vidu Python modula (https://pypi.org/project/rils-rols).
Napomena: Registraciona forma za učešće na Seminaru je dostupna na linku:
https://miteam.mi.sanu.ac.rs/asset/CW5nJWDSEZDj7p32p
Ukoliko želite samo da pratite predavanje bez mogućnosti aktivnog učešća, prenos je dostupan na linku:
https://miteam.mi.sanu.ac.rs/asset/4LNW8WtML7rLKojoz
