uredi› krajšaj› T:1132 M:1581 Z:11 [×]

Ko Roomba zasebne fotografije objavi na – Facebooku

Ko je Greg decembra 2019 odprl nov robotski sesalnik roomba, je bil prepričan, da ve, v kaj se spušča.

Eileen Guo, MIT Technology Review

Testni različici iRobotovega sesalnika roomba serije J, ki je še niso začeli serijsko proizvajati, je nameraval dovoliti, da se bo vozila po njegovi hiši in zbirala najrazličnejše podatke za nadgradnjo svojega umetno inteligentnega sistema, on pa bo iRobotu poročal o svoji uporabniški izkušnji.

Postopek je že poznal, saj poleg svoje redne službe kot inženir v programskem podjetju že desetletje testira beta različice. V tem času je preizkusil več kot 50 izdelkov – od športnih copatov do pametnih kamer za dom.

»Uživam v tem,« je pripovedoval. »Naučiš se nekaj novega in z malo sreče sodeluješ pri razvoju izdelka. Včasih pomagaš le izboljšati kakovost, drugič pa dejansko vplivaš na funkcionalnost in lastnosti.«

Greg kljub izkušnjam ni vedel – in meni, da v to tudi ni privolil –, da bo iRobot podatke testnih uporabnikov delil v nastajajoči globalni verigi podatkov, v kateri je mogoče videti vse (in vsakogar), kar posnamejo kamere na napravi in kar včasih s komentarji opremijo slabo plačani zunanji sodelavci iz tujih držav, ki za nameček lahko delajo zaslonske posnetke in jih po mili volji delijo z drugimi.

Greg, ki je prosil, da se ga v članku omeni le z imenom, saj je s proizvajalcem roombe podpisal dogovor o nerazkritju podatkov, ni edini testni uporabnik, ki je doživel neprijetno presenečenje in se počuti prevaranega.

Ko je revija MIT Technology Review objavila preiskovalni članek o tem, da se fotografije, posnete znotraj štirih zidov doma, uporabljajo za učenje umetne inteligence, se je oglasilo okoli deset ljudi, ki so iRobotu pomagali zbirati podatke med letoma 2019 in 2022. Izrazili so podobne pomisleke o tem, kaj proizvajalec počne z njihovimi podatki, in se spraševali, ali je to v skladu z njegovimi zavezami o varovanju podatkov. Navsezadnje sporazum velja za obe strani, in tudi če iRobot strogo pravno gledano ni prekršil svojih zavez, se uporabniki počutijo zavedeni.

»Pomisleki, ali podjetje ljudi zavaja pri novačenju za takšno izjemno invazivno nadzorovanje, ko ti ne razumejo popolnoma, v kaj se spuščajo, so utemeljeni,« je prepričan Albert Fox Cahn, direktor projekta za preverjanje nadzorne tehnologije.

Ker podjetje iRobot ni primerno zavarovalo podatkov uporabnikov, verjetno lahko govorimo o kršitvi dogovora, razmišlja Greg. Poleg tega je izdalo tudi zaupanje sodelujočih.

Zdaj se sprašuje, kako je z odgovornostjo.

Zabrisana meja med preizkuševalci in kupci

V reviji MIT Technology Review smo razkrili, da iRobot zbira doma posnete fotografije in videe tako testnih uporabnikov kot zaposlenih in jih posreduje podjetjem za opremljanje slikovnega materiala s komentarji, vključno s Scale AI iz San Francisca, ki za dodajanje podatkov, s katerimi potem učijo umetno inteligenco, najema zunanje sodelavce iz drugih držav.

Ugotovili smo, da so med enim od projektov leta 2020 pogodbeniki v Venezueli morali označiti predmete na vrsti posnetkov v notranjosti domov – in na nekaterih so bili tudi stanovalci s prepoznavnimi obrazi. Ti najeti delavci so potem na družbenih omrežjih v skupinah, v katerih so razpravljali o svojem delu, delili najmanj 15 fotografij, vključno s posnetki otrok in ženske na toaletni školjki. Za te fotografije vemo, ker so nam uporabniki posredovali zaslonske posnetke, a po intervjujih z označevalci in raziskovalci, ki preučujejo označevanje fotografij, lahko sklepamo, da na internetu ni pristalo le omenjenih 15 fotografij; nič neobičajnega ni, če označevalci delijo občutljive fotografije in slikovne ter zvočne posnetke.

Kmalu po tistem, ko je MIT Technology Review lani jeseni podjetje iRobot prosil za komentar fotografij, je prekinilo pogodbo s Scale AI.

No, direktor iRobota Colin Angle v objavi na Linkedinu, ki je odziv na zgodbo v naši reviji, ni priznal, da je skrb vzbujajoče, da so te fotografije in obraze testnih uporabnikov videli pogodbeni delavci, temveč je zatrdil celo, da je to nujno za učenje algoritmov za prepoznavo predmetov, ob pomoči katerih deluje robotski sesalnik. »Kako to, da so naši roboti tako pametni? Začne se že med razvojem, katerega del je zbiranje podatkov za izboljševanje algoritmov za strojno učenje.« Poudaril je še, da teh fotografij tako in tako niso posredovali kupci, temveč plačani zbiralci podatkov in zaposleni, ki so s pogodbo privolili v to.

V objavi na Linkedinu in izjavah za MIT Technology Review sta Angle in iRobot večkrat poudarila, da nihče ni delil podatkov o strankah in da so udeležence obvestili, kako se zbirajo podatki, kar so s podpisom dogovora tudi potrdili.

Poskus nedvoumne delitve na kupce in beta preizkuševalce – in enake delitve pri obravnavi podatkov – je številne preizkuševalce osupnil, saj se po njihovih lastnih besedah štejejo za širšo iRobotovo skupnost in se jim komentarji podjetja zdijo omalovažujoči. Greg in drugi preizkuševalci, ki so se obrnili na novinarje, odločno zavračajo tudi vse namige, da so se kot prostovoljci za testiranje izdelka odpovedali zasebnosti.

Poleg tega meja med preizkuševalcem in kupcem ni tako jasna. Vsaj eden od preizkuševalcev, s katerimi smo se pogovarjali, je bil s testno roombo tako zelo zadovoljen, da jo je pozneje kupil.

To ni nekaj izrednega, temveč Centercode, podjetje, ki v imenu iRobota novači udeležence, dejavno spodbuja preizkuševalce, da bi postali tudi kupci. »Težko je najti boljše tržnike izdelka kot med preizkuševalci beta različic, saj so odličen bazen brezplačnih, pristnih promotorjev, ki lahko v svet in med svoje prijatelje, verjetno prav tako navdušence nad tehnologijo, ponesejo dober glas o izdelku,« je zapisalo v objavi na svojem trženjskem blogu.

Po Gregovem mnenju je iRobot v nebo vpijoče odpovedal, kar se tiče odnosa do preizkuševalcev, sploh zaradi molka v zvezi s kršenjem zasebnosti. V iRobotu so povedali, da so obvestili posameznike, katerih fotografije so se znašle v zbirki objavljenih 15, vendar se ni odzval na vprašanje, ali bo obvestil tudi druge, ki so sodelovali pri zbiranju podatkov. Udeleženci, ki so se obrnili na novinarje, pravijo, da od podjetja niso prejeli nobenega obvestila.

»Če v neki trgovini zlorabijo podatke z vaše kreditne kartice, trgovina ne obvesti le oškodovanca,« je dodal. »Trgovina izda opozorilo, da je prišlo do zlorabe, in pojasni, kako ravna, da se to ne bi ponovilo.«

V svetu beta testiranja

Pot podatkovnih točk, ki poganjajo iRobotovo umetno inteligenco, se začne na testnih platformah, kot je Betabound, ki jo upravlja Centercode, tehnološko podjetje s sedežem v Laguna Hillsu v Kaliforniji. Podjetje poišče prostovoljce, ki za naročnike – to so predvsem podjetja za tehnološke izdelke, namenjene široki porabi – preizkusijo izdelke in storitve. (Tiskovni predstavnik iRobota James Baussmann je potrdil, da so zbiralce podatkov našli prek Betabounda, vendar je dodal, da ne vseh. Centercode se na večkratne prošnje po komentarju ni odzval.)

Beta preizkuševalci so kot prvi uporabniki pogosto bolje tehnološko podkovani od povprečnega uporabnika, so navdušenci nad napravami in nekateri, tako kot Greg, zaposleni v tehnološkem sektorju, zato so pogosto dobro seznanjenji s standardi v zvezi z varovanjem podatkov.

Pregled vseh 6.200 možnosti za testiranje, ki so bile konec decembra objavljene na Betaboundovi spletni strani, je pokazal, da iRobot na tej platformi testira že vsaj od leta 2017. Najnovejši projekt, v katerem so iskali izključno nemške preizkuševalce, je zagnal decembra lani.

Sesalniki iRobota še zdaleč niso edine naprave v tej kategoriji. Naštetih je več kot 300 testov za druge pametne naprave na temelju umetne inteligence, vključno z mikrovalovno pečico, ki deluje z Alexino podporo, ter več drugimi robotskimi sesalniki.

Potencialni preizkuševalci morajo najprej odpreti svoj profil na Betaboundovi spletni strani, nato se lahko prijavijo za sodelovanje pri objavljenih projektih. Če jih podjetje, ki opravlja testiranje, izbere, morajo podpisati vrsto sporazumov, preden dobijo napravo.

Betaboundovi preizkuševalci ne prejmejo plačila, kot med pogosto postavljenimi vprašanji odgovarja platforma: »Podjetja ne morejo pričakovati iskrenih in zanesljivih povratnih informacij, če vas za to plačajo.« Preizkuševalci včasih dobijo darilno kartico, možnost, da napravo obdržijo brez plačila, ali pa po tem, ko izdelek pride na trg, brezplačno dobijo to različico.

No, iRobot preizkuševalcem ni dovolil, da bi napravo obdržali, prav tako niso prejeli izdelka iz redne proizvodnje. Kot so povedali novinarjem, so za to, da so robotski sesalnik več tednov zagnali po nekajkrat na teden, prejeli darilne kartice v vrednosti od 30 do 120 dolarjev. (Baussmann pravi, da je bil znesek na darilni kartici odvisen od vloženega truda.)

Nekateri sodelujoči so bili razočarani nad nagrado. »Glede na to, da bi se moja gola rit lahko znašla na internetu,« je neki preizkuševalec napisal v elektronskem sporočilu. Vodstvo iRobota je ozmerjal za stiskaške barabe zaradi 30 dolarjev, kolikor je dobil za posredovane podatke, ki jih je tri mesece zbiral vsak dan.

V kaj dejansko privolijo uporabniki

Ko se je MIT Technology Review obrnil na iRobot s prošnjo po komentarju glede 15 fotografij, je podjetje poudarilo, da imajo za vsako ustrezno privolitev. Obrazca zanje ni želelo posredovati, in sicer iz »pravnih razlogov«. Podjetje je komentiralo le, da preizkuševalec s podpisom sporazuma potrdi, da se strinja s snemanjem fotografij ter videov med čiščenjem in da so sodelujoči opozorjeni, naj iz prostorov, ki jih čisti robot, odstranijo vse, kar se jim zdi kočljivo, tudi otroke.

Preizkuševalci so potem novinarjem poslali kopije svojih pogodb z iRobotom. Zajemajo več obrazcev, tudi splošni sporazum z Betaboundom in »globalni sporazum o testiranju robotov v razvoju« kot tudi dogovor o nerazkritju podatkov, sodelovanju pri preizkušanju in izposoji izdelka. Dodani so tudi dogovori o posebnih preizkusih.

Obrazci res vsebujejo, kar je omenil iRobot, poudarjena je tudi zaveza podjetja o varovanju podatkov o preizkuševalcih. Ni pa čisto jasno, kaj točno to pomeni, zlasti ne, kako bo podjetje uporabljalo zbrane podatke in s kom jih bo delilo.

Tako imenovani globalni sporazum o testiranju robotov v razvoju, katerega različice je prostovoljno posredovalo šest posameznikov, ki so ga podpisali med letoma 2019 in 2022, večinoma govori o varovanju zasebnosti in privolitvi.

V kratkem dokumentu s približno 1.300 besedami (to sta približno dve strani Wordovega dokumenta) je iRobot poudaril, da on nadzoruje podatke, kar je v skladu s splošno uredbo EU o varstvu podatkov povezano s pravno odgovornostjo. Uredba zagotavlja, da se podatki zbirajo za zakonite namene in so varno shranjeni ter obdelovani. Poleg tega v dokumentu piše še, da iRobot privoli, da bodo prodajalci in ponudniki storitev, izbrani za obdelavo osebnih podatkov, temeljito preverjeni glede varovanja zasebnosti in podatkov, vezala jih bo stroga pogodba o nerazkritju informacij, in da bo ravnal v skladu s sporazumom o obdelovanju podatkov, ter tudi, da so uporabniki morda upravičeni do dodatnih pravic v skladu z ustreznim zakonom o varovanju zasebnosti, kot veljajo v njihovi državi.

Po Gregovem prepričanju naj bi iRobot prekršil ravno ta del sporazuma. »Kje piše kaj o odgovornosti, ki naj bi jo iRobot imel do preizkuševalcev?« se sprašuje. »Grozno se mi zdi, kako malomarno se odzivajo na to.«

Poleg tega so se vsi udeleženci preizkušanja morali strinjati, da se njihovi podatki smejo uporabiti za strojno učenje in učenje prepoznavanja predmetov. Sploh za odsek o uporabi podatkov iz raziskave je bila potrebna posebna privolitev, da sme iRobot besedila, posnetke, fotografije in zvočne posnetke uporabiti za analizo statistike in podatkov o uporabnikih, prepoznavanje tehnoloških težav, izboljšanje delovanja izdelka, za inovacije tako celotnega izdelka kot njegovih posameznih funkcij, tržne raziskave, predstavitve in interno usposabljanje, vključno s strojnim učenjem in prepoznavanjem predmetov.

Ni pa bilo izrecno zapisano, da v podjetju iRobot pri strojnem učenju pomagajo ljudje, ki označujejo material, s katerim učijo algoritme, in to klik za klikom, da algoritmi prepoznavajo posamezne elemente v surovih podatkih. Povedano drugače, v pogodbah, ki so jih v roke dobili novinarji, nikjer izrecno ne piše, da bodo osebne posnetke videli in analizirali drugi ljudje.

Baussmann, iRobotov tiskovni predstavnik, je pojasnil, da tisto, na kar smo opozorili, pokriva vrsto oblik testiranja in ne velja le za podobe, posredovane za označevanje. »Včasih preizkuševalce prosimo, naj fotografirajo ali snemajo robota, ko se zgodi kaj neobičajnega, recimo, ko se zatakne zaradi nekega predmeta ali se ne vrne na postajo, in nam posredujejo posnetke,« je zapisal in dodal, da za preizkuse, katerih fotografije in posnetke uporabijo za označevanje, veljajo posebna določila, vključena v sporazum.

Napisal je tudi, da podjetje ne more vedeti, ali so bili naši sogovorniki del razvoja izdelka, o katerem pišemo v članku, ni pa zanikal določil globalnega sporazuma o testiranju, po katerem se sme zbirati in za strojno učenje uporabiti vse podatke preizkuševalcev.

Koliko dejansko razumejo sodelujoči

Ko smo pravnike, specializirane za varovanje zasebnosti, in strokovnjake za to področje prosili, naj pregledajo sporazume, hkrati pa smo jih seznanili tudi s pomisleki preizkuševalcev, so dokumente in kršitve zasebnosti opisali kot značilne za pomanjkljivo ureditev v zvezi s privolitvijo – in to škodi vsem, tako preizkuševalcem beta različic kot običajnim kupcem.

Kot poudarjajo strokovnjaki, se podjetja dobro zavedajo, da ljudje le redko skrbno preberejo določila o politiki zasebnosti, če sploh. A iRobotov sporazum o testiranju dokazuje, pravi Ben Winters, pravnik v središču za obveščanje o elektronski zasebnosti, ki se osredotoča na umetno inteligenco in človekove pravice, da zadeve niso jasne niti, če natančno prebereš določila. Očitno je načrtno uporabljen takšen jezik, da se podjetje reši zakonskih obvez in ni razvidno, kako izdelek v resnici funkcionira, je dodal Cahn. Izpostavil je premičnost robotskega sesalnika in to, da ni mogoče ves čas nadzirati, kje so potencialno kočljive osebe (predvsem otroci) in predmeti.

Tako na koncu največjo odgovornost prevzema končni uporabnik, je strnila Jessica Vitak, informatičarka na kolidžu za informacijske znanosti pri univerzi Maryland, ki preučuje najboljšo prakso politike raziskav in strinjanja. Uporabniki se v resnici ne morejo zavedati, kje vse se lahko zalomi, kar pa bi bil zelo dragocen podatek, ko se še odločajo za sodelovanje.

Poleg tega, da celotno breme pade na uporabnika, ta v sodelovanje privoli tudi v imenu vseh drugih družinskih članov, je izpostavil Cahn, čeprav to pomeni morebitno tveganje za vse, ki živijo v uporabnikovem gospodinjstvu in uporabljajo testno napravo.

Ob vsem tem je podjetje dejansko odgovorno le kot zbiralec podatkov, se strinja tudi Deirdre Mulligan, predavateljica na fakulteti za informatiko pri univerzi Berkeley. »Proizvajalec, ki je tudi skrbnik podatkov, odgovornosti za posledice na področju varovanja zasebnosti zaradi uporabe naprave v svojem domu ne bi smel preprosto prevaliti na enega od zaposlenih oziroma druge prostovoljne zbiralce podatkov.«

Nekateri preizkuševalci so priznali, da niso temeljito prebrali sporazuma. »Pogoje uporabe sem preletel, vendar nisem opazil določil o posredovanju posnetkov in fotografij tretjim strankam. Če bi jih, bi postal pozoren,« je v elektronskem sporočilu pojasnil preizkuševalec, ki je sesalnik lani uporabljal tri mesece.

Preden je priključil svojo roombo, je preučil pogodbo in ocenil, da gre za standardni povzetek v smislu: »S tem, kar zberemo, bomo počeli, kar nas je volja, in če ti kaj ni pogodu, pač ne sodeluj oziroma ne uporabljaj našega izdelka.« Priznal je, da se je za sodelovanje vseeno odločil, ker je želel brezplačen sesalnik in ker je kljub vsemu pričakoval vsaj delno varovanje podatkov – ne pa, da bo iRobot, potem ko uporabnik privoli in podpiše, da ne bo razkrival informacij o testiranju, najintimnejše uporabnikove trenutke delil z najugodnejšim ponudnikom za nadaljnjo obdelavo podatkov.

Izpostaviti je treba, da številni testni uporabniki, ki so se obrnili na novinarje – celo tisti, ki so prebrali celoten sporazum in še kup drugih pogodb, vključno s splošnimi, veljavnimi za uporabnike in kupce na splošno –, niso natančno razumeli, kaj dejansko pomeni zbiranje njihovih podatkov, kako bodo ti obdelovani in uporabljeni.

Zavedanje, v kaj se spuščajo, je bilo pogosto odvisno predvsem od tega, kako dobro poznajo postopek učenja umetne inteligence na sploh, ne od tega, kar so v zvezi s tem izvedeli od iRobota.

Igor, eden od preizkuševalcev, dela v informacijskem oddelku banke in zase meni, da je nadpovprečno izobražen na področju kibernetične varnosti. Doma je vzpostavil lastno internetno infrastrukturo, na kateri lahko kot sam svoj gostitelj deli občutljive podatke na svojih strežnikih in nadzira omrežni promet. Vedel je, da bodo posnetke iz njegovega doma uporabili za označevanje. »Zdelo se mi je, da je podjetje odgovorno obvestilo o zbiranju podatkov,« je zapisal v elektronskem sporočilu in omenil tako obrazec o strinjanju s tem ter dobro vidne nalepke na sesalniku, na katerih je pisalo, da naprava snema. Vnovič je poudaril, da ni povprečni uporabnik interneta.

Številne preizkuševalce je v naši zgodbi najbolj pretreslo to, kaj se je dogajalo z zbranimi podatki, vključno s tem, koliko ljudi sodeluje pri tem. »Predvideval sem, da je video posnetek namenjen le internemu preverjanju ob težavah, kot je to običajno (tako sem pač mislil).« Drugi je v elektronskem sporočilu napisal, da ga je resda prešinilo, ali bodo te fotografije v podjetju pregledovali in označevali, vznemirilo pa ga je, da so to gradivo delili po spletu.

»Ni me presenetilo, da posnetke pregledujejo ljudje,« je dodal Greg, »me je pa presenetilo, da so to počeli v tako veliki meri. Načelno naj bi bila umetna inteligenca zmožna za 80 odstotkov izboljšati sistem, preostalo petino pa le pod pogojem, da se vključijo ljudje.«

Celo udeležence, ki niso imeli nič proti, da nekdo pregleduje in označuje njihove posnetke, kot na primer Igor, je zmotilo, kako je iRobot dejansko obdeloval podatke. Kot je napisal Igor, privolitev ni tudi dovoljenje za neprimerno ravnanje s podatki in njihovo shranjevanje ter upravljanje, ki med drugim vključuje tudi pošiljanje v tujino.

Več uporabnikov v Združenih državah Amerike je skrbelo, ker so njihove podatke posredovali v tujino. Kot so izpostavili, so v sporazumu, ki ga sicer podjetje uporablja po vsem svetu, opazili tudi določilo za udeležence zunaj ZDA, po katerem iRobot sme obdelovati raziskovalne podatke na strežnikih zunaj udeleženčeve domovine, vključno v državah, katerih zakonodaja morda ne zagotavlja enake ravni varovanja podatkov kot udeleženčeva. V sporazumu pa ni bilo ustreznega pojasnila o tem, kako se bo obdelovalo podatke ameriških sodelujočih.

»Sanjalo se mi ni, da bodo podatki šli v tujino,« je neki udeleženec napisal v pismu MIT Technology Review. Enako so zapisali še številni drugi.

Ko so podatki posredovani, naj gre za preizkuševalce ali kupce, ti izvedo le malo ali celo nič, kaj se dogaja z njimi – tako kot ameriški sodelujoči niso vedeli za posredovanje podatkov v tujino.

Pravzaprav tudi na domačih tleh ni primerno poskrbljeno za varstvo zasebnosti ameriških uporabnikov, je opozoril Cahn, zato je EU sprejel zakone, s katerimi preprečuje prenos podatkov zunaj svojih meja, tudi oziroma še posebej pa v ZDA. »Države članice so morale sprejeti zahtevne ukrepe za zaščito podatkov, ki jih hranijo znotraj svojih meja. V ZDA pa na tem področju vlada divji zahod,« je povedal. »Američani niso varni pred tem, da njihovih podatkov ne bi shranjevali v drugih državah.«

Številni preizkuševalci se zavedajo širše problematike, povezane z varovanjem podatkov v ZDA, zato so se tudi odločili spregovoriti.

»V panogah, kot sta bančništvo in zdravstvo, že veljajo strogi predpisi. Verjetno je največ, kar lahko storimo, da uvedemo kazensko odgovornost za malomarnost pri varovanju podatkov, saj se bodo podjetja temu vprašanju posvetila le, če jih bomo udarili po žepu,« je napisal Igor. »Žal se zdi, da politično vzdušje v ZDA onemogoča sprejetje koristnih zakonov, in tako nam preostane le javno sramotenje takšnih podjetij. A to je pogosto zgolj odziv na že narejene napake in s tem osvetlimo samo majhen delež dogajanja.«

Dokler pa ni sprememb in odgovornosti – naj bo to v samem podjetju iRoomba ali na ravni države –, Greg morebitnim kupcem roombe sporoča: »Preprosto je ne bi nikoli kupil, ker iRobot nima primernega modela varovanja podatkov.«

Poleg tega, je opozoril, se otepajo odgovornosti kot prodajalci tako glede obveščanja kot varovanja kupcev oziroma v našem primeru preizkuševalcev izdelkov.

Copyright Technology Review, distribucija Tribune Content Agency.