English version of the post

Poslední na tomto blogu většinou komentuji odborné články o strojovém překladu, které nebývají delší než deset stran. Tentokrát udělám výjimku a napíšu o knize, která je dlouhá několik set stran. Věnuje se některým důležitým společenským problémům, nad kterými by se lidé, kteří se věnují umělé inteligenci, měli čas od času zamyslet.

Kniha se jmenuje The Cost of Connection: How Data Is Colonizing Human Life and Appropriating It for Capitalism a stojí na myšlence, že ekonomický model, kdy firmy sbírají data o lidech (uživatelích, pracovnících, zákaznících, …) a využívají tato data ke generování zisku, je novou formou kolonializmu (jakkoliv to může znít šíleně) a představuje riziko pro budoucnost demokracie a stabilitu ve společnosti. Autoři knihy jsou profesoři sociologie Nick Couldry z London School Economics a Ulises Mejias ze State University of New York, knihu vydalo nakladatelství Stanford University Press v roce 2019.

Protože se žívím tím, že vymýšlím nové metody, jak využívat jazyková data a učím studenty, jak zacházet s metodami, které už existují, otázka, k čemu vedou nebo mohou vést tyto metody v globálním měřítku, je něco, nad čím bych se měl zamýšlet. Kniha, o které zde píšu, se na problémy sběru dat dívá z levicového pohledu. I když ne úplně se vším souhlasím, myslím, že představuje zásadní myšlenky.

Říká se, že data jsou ropou 21. století. Tato metafora říká, že data se v ekonomice stávají stále důležitějším zdrojem, možná na úrovni přírodních zdrojů. Kolonializmu jde vždy o přivlastňování si nových zdrojů pro získání většího zisku a moci. V minulosti to byla půda, nerostné bohatství a lidská práce. V datovém kolonializmu je tím zdrojem sám lidský život převedený do dat.

Datový kolonializmus definují následovně:

Formující se nový řád pro přivlastňování si cizích lidských životů tak, aby z nich bylo možné nepřetržitě získávat data za účelem zisku.

Problémy, které souvisí se sbíráním a zpracováním dat autoři knihy nevnímají jako jednotlivosti, který by bylo možné vyřešit nějakými jednoduchými opatřeními nebo změnou chování jednotlivců. Vnímají je jako projev zásadně odlišného společenského řádu, který není ve své podstatě ani dobrý ani špatný (přestože ho po většinu knihy kritizují), a který bychom měli pochopit dříve, než bude pozdě, abychom mohli dělat náležitá politická rozhodnutí.

Liberální pohled a liberální protiargumenty

Než vysvětlím, jak na problém nahlíží autoři knihy, zkusím popsat, co si myslím, že je mainstreamový pohled na věc, který by asi autoři knihy považovali za hodně naivní.

Všechny produkty a služby, jejichž poskytovatelé shromažďují data, využíváme zcela dobrovolně. Zákony vyžadují, aby způsob a účel, za jakým se data sbírají, byly vysvětleny ve smluvních podmínkách. Ty říkají, jakou službu uživatel/zákazník dostane a jaká data a za jakým účelem si poskytovatel služby vezme (zlepšování služby, zobrazování reklamy, marketing). Uživatelé/zákazníci si mohou obchodní podmínky přečíst a (racionálně, ha, ha) se rozhodnout, jestli jsou podmínky pro ně výhodné nebo nevýhodné.

První námitkou je to, že volba v tomto případě není tak docela svobodná. Je samozřejmě možné nevyužívat některé běžné technologie a některé běžné produkty, ale současně se nelze plnohodnotně účastnit společenského, hospodářského a politického života. Asi se dá celkem dobře existovat bez účtů na sociálních sítích, ale je prakticky nemožné nemít bankovní účet (a každá banka dělá data mining s daty od svých klientů), nemít mobilní telefon nebo nemít emailovou schránku, která by nebyla fyzicky v cloudu na nějakém cizím počítači.

Další problém je, že není možné jednoduše odhadnout, jakou hodnotu mají moje data pro druhou stranu. Bez toho ale není možné vědět, jestli jsou pro mě podmínky, na které přistupuji, výhodné nebo ne. Uživatel sociální sítě, klient banky nebo zákazník mobilního operátora nemá šanci odhadnout, jaké má druhá strana náklady a jaké zisky z využití dat. Vlastně vůbec nevíme, jakou smlouvu v takovém případě uzavíráme.

Další problémem je, že je jen velmi těžké předpovídat, jakým směrem se vydá vývoj technologií. Lidé, kteří se dnes zdráhají nahrát svoje fotky na Facebook, by je tam možná s klidem před deseti lety nahráli. V té době bylo ostatně jediným způsobem, jak na fotkách vydělat, bylo zobrazování reklamy při jejich prohlížení. V roce 2020 je možné pomocí hlubokého učení fotky automaticky analyzovat a zjistit tak cenné informace o životě jednotlivců, které se dají využít při cílení reklamy a které by nikdo nejspíš dobrovolně nesdělil.

Na první pohled se může zdát, že řešením je důslednější zákonodárství a lpění na obchodní etice, což zařídí, že koncoví uživatelé budou lépe informováni. Tím vznikne větší tlak na firmy, aby k problematice využívání uživatelských dat přistupovali férově. Když se tak nestane, vznikne prostor pro konkurenty, kteří nabídnou férovější podmínky.

Kniha, o které se už dvě normostrany chystám psát, tvrdí, že nic takového není možné. Tyto problémy totiž nejsou jednotlivosti ve vztahu jednotlivých uživatelů a firem, ale bytostný problém současného kapitalizmu, který je jistým způsobem funkčně dost podobný historickému kolonializmu. Firmy a státy si přivlastňují data (a ospravedlňují to tím, že jsou vlastně volně k dispozici, jen vědět, jak je posbírat) velmi podobným způsobem, jako si kolonizátoři přivlastňovali přírodní a lidské zdroje (zámořské země byly také volně k dispozici, stačilo si pro ně doplout). Kolonizátor a kolonizovaný nikdy nebudou v takové vzájemné pozici, aby uzavřeli férovou dohodu.

Datový kolonializmus

Ústřední myšlenkou knihy je funkční analogie mezi současnou společenskou a ekonomickou situací a historickým kolonializmem: Levné a rychlé využívají lidských životů za účelem generování zisku, aniž by využívaní lidé k tomu měli co říct. Svojí formou je samozřejmě datový kolonializmus naprosto nesrovnatelný s historickým kolonializmem, který svých cílů dosahoval pomocí brutálního násilí. Nic takového se samozřejmě neděje, jejich podobnost je čistě funkční.

Firmy, které vydělávají na využívání uživatelských dat se chovají podobně jako kolonizátoři, kteří prohlašovali nově objevená území za „terra nullius“, území nikoho, které je možné si jen tak přivlastnit. Podobně jako dnes to dělo v nějakém právním rámci. Například Španělští kolonizátoři museli podle zákona nahlas přednést obyvatelstvu nově získaných kolonií dokument, který se jmenoval Requiremento. Pokud nic nenamítali (což nedělali, protože nemluvili španělsky), stali se poddanými španělského krále. Nekonečný text EULA (End-user licence agreement) u služeb, které sbírají naše data, je jeho současnou obdobou. V mnoha případech případech uživatelé textu rozumí velmi podobně tomu, jak jihoameričtí vesničané rozuměli španělskému Requirementu.

Monopoly a monopsony

Raný kapitalizmus 19. století vedl ke značně nerovnoměrné distribuci zisků z práce a uvrhl tak průmyslové dělníky do extrémní chudoby s nižší kvalitou života, než bylo běžné v předindustriální době. Jedním z důvodů byly monopsony (opak monopolů) na trhu práce.

Zatímco v případě monopolu je na trhu jediný prodávající, který tím pádem může zvyšovat libovolně cenu svých produktů, v případě monopsonu je na trhu jediný kupující, který může stlačit cenu dolů, jak jen to jde. Je zřejmé, že jak monopoly, tak monopsony brání trhu fungovat tak, jak bychom si rádi představovali, že bude fungovat. V raném kapitalizmu se průmyslové podniky staly monopsony nabízejícími práci (nebo efektivně tvořily kartely) a lidé, kteří neměli rozumnou možnost se stěhovat nebo si zvyšovat kvalifikaci, museli tyto podmínky přijmout a žít v chudobě.

V podnikání založeném na uživatelských datech je pět největších globálních hráčů, kteří nejsou daleko od toho být kombinací monopolu a monoposonu: jediným kupujícím/sbírajícím dat a jediným prodávajícím produktů založených na datech. Antimonopolní legislativa národních států se snaží nějakým způsobem bránit, ale bez větších úspěchů. Kdokoli by teď chtěl založit nový Google, potřeboval by k tomu spoustu uživatelských dat, aby mohl poskytovat služby podobné kvality, ale samozřejmě k takovým datům se nelze dostat, když všichni používají Google. Kvůli datům (a ne kapitálu) neexistuje způsob, jak vstoupit na trh později a efektivně konkurovat.

Nespoutaný datový kapitalizmus by mohl mít podobně nepříjemné důsledky jako nespoutaný raný průmyslový kapitalizmus 19. století. Do velké míry to záleží na tom, jestli velké firmy budou nebo nebudou zneužívat svoji dominantní pozici. Nějakou dobu jsem pracoval v Googlu a to, že jsem na vlastní oči viděl tamní kulturu, mě celkem naplňuje optimismem, že se nic hrozného nestane. Nemyslím si, že Google nebo jiná z největších firem usilovala o co největší zisk i za cenu nějakých katastrofálních společenských důsledků. Problém ale je, že jim společnost musí věřit a nemůže je při tom nijak kontrolovat.

Samozřejmě je také důležité říct, že tohle platí jenom ve svobodném světě. Firmy, které ve stejných odvětvích působí v autoritářských zemích, jsou také kombinací monopolu a monopsonu, ale navíc jsou ještě ovládané tamní vládou. Politická situace se ale může dramaticky změnit i kdekoli jinde na světě. Zkusme si představit, jaké by to bylo, kdyby Google, Facebook a Amazon se vším svým globálním vlivem padly do služeb autoritářské vlády. Zní to jako dystopická noční můra.

Skutečný kolonializmus uvnitř datového kolonializmu

V datovém kolonializmu lze také najít ozvěny toho skutečného historického kolonializmu. Do jisté míry zde pokračuje bez vyhlídky na to, že by to mohlo být jinak. Většina globálních technologických společností má sídlo v USA, ale sbírá data a profituje z nich globálně. Lidé v rozvíjejících se ekonomikách rádi využijí online služby „zdarma“, ale zároveň to znamená, že místní podnikatelé musí za reklamu nebo zprostředkování služby platit zahraničním firmám, aby vůbec měli přístup k místním zákazníkům. Kolonizátoři v metropoli tak dál profitují z hospodářského života v kolonii.

Mýty, které ospravedlňují datový kolonializmus

Aby celá praxe sběru a využívání dat dávala smysl, je potřeba nějakým způsobem nastavit společnost, aby současný stav brala jako přirozenost.

Historický kolonializmus se legitimizoval mnoha mýty, které jako vedlejší efekt dodnes nebezpečně rezonují ve společnosti a jsou často důvodem nenávisti. Tím hlavním je rasizmus: bylo přirozené, že bílí kolonizátoři vládli těm, o nichž byli přesvědčení, že jsou příslušníci podřadné rasy. Brutální násilí, které používali k dosažení nadvlády, bylo jen malou cenou za šíření našich hodnot a vědeckého a technického pokroku do zaostalých společností, které byly často tak zaostalé, že ani nevěděli, že pokrok západního ražení nutně potřebují.

Datový kolonializmus také vytváří mýty, které posilují datové vztahy ve společnosti a jako vedlejší efekt vedou ke společenským změnám.

  1. Data jsou pro jednotlivce bezcenná. Služba výměnou za data je výhodná, protože jednotlivec o nic nepřichází.

  2. Sebe-prezentace je důležitá součást naší kultury. Čím více se lidé sebe-prezentují online, tím více ekonomicky využitelných dat o svém životě vytvářejí. Dopad na duševní zdraví ve společnosti je druhotný.

  3. Technologie založené na datech představují vědecký a technický pokrok. Tím, že někdo poskytuje data, pomáhá firmám vytvářet lepší služby a nakonec celý lepší svět, ve kterém nás umělá inteligence osvobodí od nudné rutiny.

Umělá inteligence jako pokorný sluha datového kolonializmu

V 19. století mnoho lidí věřilo, že železnice a technologie masového tisku novin umožní šíření myšlenek o rovnosti a lidských právech v kolonizovaných zemích a povede k velkým společenských změnám. Lepší propojení s metropolemi mělo vést také k lepšímu přístupu kolonií na rozvinuté trhy a celkovému hospodářskému rozkvětu a s ním souvisejícím snahám o větší nezávislost. Nic takového se nestalo. Železnice se paradoxně stala symbolem uplatňování koloniální moci a stala se nástrojem efektivnějšího využívání kolonií.

Podobné naděje dnes mnoho lidí vidí v umělé inteligenci (včetně mě, přečtěte si motto tohoto blogu). Technologie, kterým dnes říkáme umělá inteligence, mají potenciál zbavit lidi nudné a rutinní, ačkoli mentálně ne úplně triviální práce, a umožní jim tak věnovat se něčemu lidštějšímu (ať už je to cokoli).

Když se dnes podíváme do skladišť Amazonu, vidíme úplný opak. Dělníci dostávají detailní instrukce do sluchátek od počítačového programu, který současně optimalizuje postupy všech pracovníků, aby z nich vymáčkli poslední kapku produktivity. Jen těžko takovou práci můžeme považovat za lidštější.

Platformy takzvané sdílené ekonomiky (jako Uber nebo Lyft) také využívají přístup k datům jak od koncových zákazníků tak od poskytovatelů služeb, které zprostředkovávají (často s využitím strojového učení). Vlastnictví dat jim umožňuje přenést téměř všechna rizika na zákazníky a jednotlivé poskytovatele služeb. Ve své reklamě říkají, že nabízí pracovníkům svobodu a flexibilní pracovní dobu. To, co doopravdy dostanou, je zaměstnání na plný úvazek bez jakékoliv právní ochrany.

Co si z toho odnést

Kniha vyvozuje poměrně radikální závěry. Tvrdí, že datový kolonializmus útočí na samotnou podstatu lidské svobody, což se snaží vysvětlit v teoretickém rámci Hegelovy filozofie. Je pravděpodobné, že jsem úplně nepochopil, co se snaží říct, ale tyto argumenty mě moc nepřesvědčily.

Rozhodně ale souhlasím s tím, že současná situace je v mnohém nebezpečná. Ve veřejném prostoru chybí konceptualizace toho, co se vůbec děje a jaký druh moci na světě vzniká. Liberální konceptualizace na to zjevně nestačí, a proto není jednoduché se vůči této nové moci vymezit a popsat, co je špatně. Ke každé velké moci se vždy objeví nějaká protisíla. V moderních dějinách jsme viděli, že taková hnutí nejsou nutně mírumilovní hipíci šířící pravdu a lásku, ale často to právě naopak.

  • Moc a především chamtivost raného kapitalizmu 19. století vytvořila radikální levicová hnutí, ze kterých vzešly brutální totalitní režimy ve 20. století.

  • Zneužití moci vítěznými mocnostmi po první světové válce způsobilo nástup národního socialismu v Německu.

  • Postkoloniální pokračování ve využívání bývalých kolonií podnítilo nenávist, která se zhmotnila v islámských teroristických hnutích.

Pro výchozí situaci každé z těchto dějinných katastrof existuje jednoduché vysvětlení, proč je nespravedlivá výchozí situace spravedlivá. Stejně je na tom dnes datový kolonializmus. Datoví kolonizátoři představují nový druh moci, který může vyvolat nějakou novou proti-moc. Nemůžeme vědět, jak bude vypadat, ale historie nám říká, že by to nemuselo být nic příjemného.