Po to, kai buvo išleisti „ChatGPT“ ir kiti dideli kalbos modeliai, „People Online“ pradėjo kelti susirūpinimą dėl duomenų privatumo. Kai kurie netgi pasiūlė sustabdyti visus naujus duomenis, kad jie būtų naudojami šiems modeliams mokyti, tačiau tai rimtai apribotų tai, ką AI gali padaryti ateityje.
Laimei, yra geresnis būdas. PG vis dar galima mokyti nenaudojant asmens duomenų. Šis metodas vadinamas federaciniu mokymu, ir šiame straipsnyje mes ištirsime, kas tai yra ir kaip jis galėtų formuoti AI mokymo ateitį.
Maršruto modelio atnaujinimai per įgaliotinius serverius, kad būtų papildomas privatumas ir greitis
Federacinis mokymasis apima įrenginius, mokančius bendrą modelį pagal savo duomenis, ir tada siųsti modelio atnaujinimus (pvz., Išmoktus parametrus ar gradientus), kurie bus sujungti į globalų modelį. Vienas iš kylančių patobulinimų yra nukreipti šiuos modelio atnaujinimus per tarpinio serverio serverius ar tarpininkus, o ne tiesiogiai į centrinį agregatorių. Šis pridėtas indirektrė gali žymiai sustiprinti privatumą anonimant, kuris įrenginys prisidėjo prie kurio atnaujinimo, veiksmingai užtikrinant kliento anonimiškumą.
Naudojant tarpinį serverį, taip pat gali pagerinti federalinio mokymosi greitį ir efektyvumą. Pavyzdžiui, prieš persiunčiant juos, tarpinis serveris gali rinkti ir suspausti daugelio įrenginių atnaujinimus, sumažindami ryšių pridėtines išlaidas. „ProxyFL“ tyrimai-tarpinio serverio pagrindu sukurta federalinės mokymosi schema-nustatė, kad bendravimas per tarpinius serverius ne tik sustiprino privatumą (ypač kai jis derinamas su tokiais metodais kaip diferencinis privatumas), bet ir sumažino pralaidumo naudojimą ir latenciją mokant.
Išleidę kai kurias koordinavimo pareigas į tarpinio serverio mazgus (kurie gali būti arčiau klientų įrenginių ar tvarkyti dalines agregacijas), federaliniai tinklai gali greičiau treniruotis ir išplėsti daugiau dalyvių. Pagrindinė idėja yra ta, kad atnaujinimų siuntimas per patikimus įgaliojimus prideda papildomą vartotojo duomenų apsaugą ir daro mokymąsi efektyvesnį – visa tai be neapdorotų duomenų niekada nepalieka vartotojų įrenginių.
Federacinis mokymasis ir centralizuotas mokymasis: kaip jis veikia
Taikant tradiciniu metodu, visi mokymo duomenys siunčiami į vieną centrinį serverį ar debesį, kur modelis yra mokomas. Tai reiškia, kad vartotojai ar organizacijos turi perkelti savo pirminius duomenis į vieną vietą, o tai akivaizdžiai gali sukelti privatumo ir kitų problemų.
Federacinis mokymasis apima tą paradigmą. Užuot pateikę duomenis į modelį, FL pateikia modelį prie duomenų. Pradinis modelis (dažnai tik atskaitos taškas su atsitiktiniais ar iš anksto apmokytais svoriais) iš serverio išsiunčiamas į daugelį įrenginių (telefonai, IoT prietaisai ar organizaciniai serveriai). Tada serveris surinko šiuos atnaujinimus (pvz., Vidutiniškai juos), kad patobulintų pasaulinį modelį, kurį galima išsiųsti atgal į įrenginius iteraciniuose raunduose. Svarbiausia, kad jūsų asmeniniai duomenys išlieka jūsų įrenginyje – serveris mato tik išmoktus modelius, kurie paprastai yra daug mažiau jautrūs nei neapdoroti duomenys.
Šį decentralizuotą mokymo metodą pirmą kartą pristatė „Google“ tyrėjai 2016 m., Iš pradžių mokyti išmaniųjų telefonų modelius, tokius kaip „Android“ klaviatūros prognozė. Tiesą sakant, „Google“ ir „Apple“ garsiai naudojo federalinį mokymąsi, norėdami treniruotis klavišų prognozavimo modeliais milijonams išmaniųjų telefonų, niekada nerinkdami vartotojų faktinių spausdinimo duomenų. Mokydami įrenginius, „Google“ „Gboard“ ir „Apple“ „QuickType“ klaviatūros gali pagerinti pasiūlymus, naudodamiesi tuo, ką žmonės tipo, o jautrūs tekstiniai pranešimai niekada nepalieka telefonų.
„Apple“ taip pat išplėtė idėją kitoms sritims – pavyzdžiui, „Apple“ sveikatos programa naudoja federalinį mokymąsi, kad analizuotų sveikatos duomenų tipų naudojimo modelius įvairiuose vartotojų įrenginiuose, išlaikydama kiekvieno vartotojo privatumą. Tai reiškia, kad „Health“ programa gali sužinoti, kuri sveikatos metrika ar pratimai yra populiariausi ar veiksmingiausi, kartu, nematant jokio asmens asmeninių sveikatos žurnalų.
Be vartotojų programų, federalinis mokymasis keičia tai, kaip organizacijos bendradarbiauja su AI. Ryškus atvejo tyrimas pateikiamas iš sveikatos priežiūros sektoriaus: „Intel“ ir Pensilvanijos universitetas vadovavo federaliniam mokymosi pilotui, kuriame dalyvavo 29 medicinos institutai visame pasaulyje, kartu moko AI modelį smegenų auglių aptikimui. Nei viena iš ligoninių dalijosi savo paciento duomenimis vieni su kitais ar su „Intel“; Vietoj to, kiekviena ligoninė mokė modelį dėl savo MRT nuskaitymo ir tada pasidalino modelio atnaujinimais.
Kombinuotas modelis, išmoktas iš daug didesnio, įvairaus duomenų rinkinio, nei galėtų pateikti bet kuri viena ligoninė. Kitaip tariant, naudodamiesi FL, tyrėjai beveik atitiko tradicinių mokymų atlikimą, laikydamiesi pacientų privatumo apribojimų. Taigi, federacinis mokymasis suteikė būdą, kaip pasiekti žymiai daugiau duomenų (paskirstytų ligoninėse), tuo pačiu apsaugant šių duomenų saugumą-naudą tiek modelio veikimui, tiek privatumui.
