Авив Овадия предсказа кризата с фалшивите новини от 2016. Сега се безпокои от информационен апокалипсис.
„Какво става, когато всеки може да направи дадено нещо да изглежда, сякаш се е случило, незвисимо дали то наистина се е случило или не?“ предупреждава компютърният специалист Авив Овадия.
В средата на 2016 Авив Овадия осъзнава, че има нещо фундаментално нередно с интернет – толкова нередно, че изоставя работата си и включва алармата. Няколко седмици преди изборите през 2016, той представя съображенията си пред технологични специалисти от района на залива Сан Франциско и предупреждава за надвиснала криза от дезинформация в презентация, която нарича „Инфокалипсис“.
Мрежата, както и информационната екосистема, развила се около нея, са крайно нездравословни, твърди Овадия. Мотивите, които управляват нейните най-големи платформи, са калибрирани да награждават информация, която често е подвеждаща или поляризираща, или и двете. Платформи като Фейсбук, Туитър и Гугъл дават приоритет на брой кликвания, споделяния, реклами и пари, вместо на качество на информацията и Овадия не може да се отърси от усещането, че всикчо това е изградено с лоша цел – своеобразен критичен праг на пристрастяваща и токсична дезинформация. Презентацията е широко игнорирана от служителите на платформи на Технологичните Гиганти – включително няколко представители на Фейсбук, които по-късно ще управляват работата на отдела за коректност на информацията на тази компания.
„Тогава имах усещането за кола, която стремително излиза от пътя, и всички не само повтаряха „ще се оправим“ – те просто не виждаха колата“ – казва Овадия.
Той вижда рано това, което мнозина – включително законодатели, журналисти и СЕО на Технологични Гиганти – няма да схванат през следващите месеци: нашият платформен и алгоритмично оптимизиран свят е уязвим – от пропаганда, от дезинформация, от негативно рекламно таргетиране от чужди правителства, до такава степен, че от подкопаване е заплашен крайъгълния камък на човешкия дискурс: достоверността на фактите.
Но това, което той вижда да се задава по-нататък, наистина ще ви стресне.
„Алармизмът може да бъде добър – трябва да бъдем алармисти за тези неща“ – казва Овадия в този януарски следобед, преди спокойно да очертае дълбоко смущаващата картина на следващите две десетилетия: фалшиви новини, дезинформиращи кампании, осъществени с помощта на изкуствен интелект, пропаганда. „Ние сме толкова прецакани, колкото малцина от нас могат да си представят. Бяхме напълно прецакани преди година и половина, а сега сме дори по-зле. И в зависимост от това колко далеч гледаме в бъдещето, става още по-зле.“
Това бъдеще според Овадия ще дойде с ловко приплъзващи се, лесни за употреба, и в крайна сметка незабележими технологични средства за манипулиране на възприятията и фалшифициране на реалността, за които вече дори са пуснати в употреба съответните думи – „апатия към реалността“, „автоматичен лазерен фишинг“* и „човешки кукли“.
По тази причина Овадия, възпитаник на Масачузетския Технологичен Институт, с инженерна практика в технологични компании като Quora, зарязва всичко в началото на 2016, за да се опита да предотврати задаващата се информационна криза, задействана от Технологичните Гиганти. „Един ден нещо просто щракна“ – казва той за своето пробуждане. Става му пределно ясно, че ако някой реши да се възползва от вниманието ни и да експлоатира платформите, които го приковават, за да изопачи истината, то няма никакви санкции и правила, които да го спрат. „Осъзнах, че ако тези системи тръгнат да излизат от контрол, нищо няма да може да ги спре и че ще стане много лошо, и то много бързо.“
Днес Овадия и група слабо обвързани изследователи и учени гледат напред с тревога – към едно бъдеще на крещяща антиутопия. Те разиграват кризисни планове, съответни на изникващите технологии, като резултатите обикновено са обезсърчаващи.
В момента Овадия е главен технологичен специалист в Центъра за Отговорни социални медии към Мичиганския университет и член на Центъра за дигитална журналистика на Колумбийския университет. За него хакерският скандал във Фейсбук и Туитър роботите бледнее пред по-голямата заплаха: технологии, които могат да бъдат използвани за засилване и изкривяване на реалността, се развиват по-бързо, отколкото сме в състояние да ги разберем, контролираме или предотвратим. Залогът е много по-голям и възможните последствия са по-опустошителни – подкопаване и унищожаване на ключови институции на цивилизацията, „Инфокалипсис“. За Овадия това е точно толкова вероятно, колкото и намесата в изборния процес, но по-лошо.
По-лошо, поради нашето постоянно нарастващо компютърно усъвършенстване. По-лошо, поради постоянното напредване на изкуствения интелект и самообучаващите се машини, което може да размие границите между факт и фикция. По-лошо, защото тези неща могат да се намесят в бъдеще, в което, както Овадия отбелязва, „всеки може да направи дадено нещо да изглежда, сякаш се е случило, незвисимо дали то наистина се е случило или не.“
И точно както финансирани от чужди правителства умишлени кампании за дезинформация не изглеждаха възможна заплаха в близко време, докато не осъзнахме, че вече са се случили, Овадия твърди, че бързо-развиващи се устройства, основани на изкуствения интелект, самообучаващите се машини и технологиите с подсилена реалност, могат да бъдат похитени и използвани от недобронамерени хакери, имитиращи хора, което да сложи началото на информационна война.
Ние сме по-близо, отколкото си мислим, до потенциален „Инфокалипсис“. Съществуват вече налични средства за аудио и видео манипулация и те започват да имитират потенциален фалшив проект Манхатън. В мрачните ъгли на интернет има хора, които използват машинни алгоритми и опенсорс софтуер за лесно създаване на порнографски видеа, в които реалистично се наслагват лицата на знаменитости – или всякакви други хора – върху телата на действителните актьори. В институции като Станфорд, техничарите са разработили програми, които комбинират и смесват съществуващи видеозаписи и лица, заснети в реално време, за да направят възможно манипулирането на видео. По подобен начин, компютърни специалисти от Университета във Вашингтон успешно създадоха програма, способна „да превърне аудиоклип в реалистично, синхронизирано с устните видео на човек, казващ тези думи“. Като доказателство за успеха на проектите си, и двата екипа манипулират излъчени видеозаписи, така че да изглежда, че световни лидери казват нещо, което никога не са казвали.
Признаването на тези средства за демократични и широкото им разпространяване според Овадия може да доведе до множество сценарии, най-лошият от които представлява крайна дестабилизация.
Съществува „дипломатическа манипулация“, при която по недобронамерен начин може да се използва напреднала технология, за да се „създаде убеждението за случило се събитие“, което да повлияе в геополитически план. Представете си например алгоритъм на самообучаваща се машина(с който тя анализира тонове данни, за да се научи да изпълнява определена функция), захранена със стотици часове записан материал с Доналд Тръмп и Северно-корейския диктатор Ким Чен Ун, която ще може да изплюе почти перфектен – и буквално невъзможен за отличаване от реалния – аудио или видео клип на един от двамата лидери, обявяващ ядрена или биологична война. „Не е нужно клипът да бъде перфектен, просто трябва да е достатъчно добър, за да накара врага да мисли, че се е случило нещо, което изисква предсказуем и безразсъден ответ.“
Друг сценарий, предложен от Овадия, е „политическа симулация“, което представлява антиутопична комбинация от политически мрежови роботи и тролове, чрез които политическите движения са манипулирани чрез фалшиви активистки кампании. Във визията на Овадия, все по-реалистични роботи с изкуствен интелект ще бъдат в състояние ефективно да конкурират хората за вниманието на законодатели и регулативни органи, защото ще бъде твърде трудно да се направи разлика между човек и машина. На соновата на предишни повторения, при които публичният дискурс е манипулиран, може скоро да се окаже възможно задръстването на телефонната централа на конгреса с дълбоки, правдоподобни, алгоритмично-генерирани призиви. По същия начин електронните пощи на сенаторите могат да се наводнят от съобщения, сглобени от обучени машини, работещи със съшито съдържание, източено от текстове, аудиозаписи или профили в социалните мрежи.
Съществува и автоматичният лазерен фишинг, стратегия, за която според Овадия специалистите по безопасността вече се безпокоят. В основата си, това представлява сканиране с помощта на изкуствен интелект на нещата, съставляващи нашето присъствие в социалните мрежи и създаване на фалшиви, но достоверно звучащи съобщения от хора, които познаваме. Подобно нещо би позволило на зложелател да нарочи когото си поиска и да създаде достоверна негова имитация, използвайки публично налични данни.
„Досега беше нужно да имаш човек, за да имитираш глас или да създадеш автентичнен фалшив разговор – в тази версия трябва само да натиснеш едно копче и да използваш опенсорс софтуер“, казва Овадия. „И ето я новината – всеки може да го направи, защото е тривиално. Това прави играта съвсем различна.“
Представете си, предлага Овадия, фишинг съобщение, което не е просто объркващ линк, който може да натиснете, а персонализирано съобщение с контекст. „Не просто имейл, а имейл от приятел, който с нетърпение сте очаквали от известно време. И понеже създаването на нещо фалшиво ще бъде съвсем безпроблемно, вие ще бъдете погълнати. Ако всяко спам съобщение, което получавате, изглежда досущ като имейл от реални хора, които познавате, всеки със своята мотивация опитващ се да ви убеди в нещо, накрая просто ще кажете „добре, ще игнорирам пощенската си кутия.“
Това може да доведе до нещо, което Овадия нарича „апатия към реалността“: атакувани от цели торенти невярна информация, хората просто се предават. Овадия бърза да ни напомни, че това е обичайно явление там, където информацията е оскъдна и поради това се предполага, че е невярна. Голямата разлика в случая е възприемането на апатията от информационно-развито общество като нашето. Резултатът няма да е добър, изразява страха си той. „Хората спират да се интересуват от новините и базисното ниво на информираност, необходимо за действаща демокрация, започва да става нестабилно.“
Овадия, както и други изследователи, приемат лазерния фишинг като неизбежност. „Това със сигурност е заплаха, но по-лошото е, че за момента няма решение“, казва той. „Трябва да бъде изградена инфраструктура с мащаба на интернет, за да се спре този процес, ако той започне.“
По-нататък, съществуват и други дългосрочни кошмарни сценарии, които Овадия описва като прекалено „отвлечени“, но те не са толкова отдалечени, колкото на него му се иска да бъдат. И са ужасяващи. „Човешки кукли“ например – нелегална версия на пазара на социалните медии, с хора, вместо роботи. „По същество това е бъдещ пазар без граници за манипулиране на хората“, казва той.
Прозренията на Овадия са особено потресаващи, имайки предвид лекотата, с която нашата демокрация вече беше манипулирана с най-примитивните, груби дезинформационни техники. Измамата, лъжата, заблудата, които се задават, не са нищо ново. Само са по-изтънчени, по-трудни за залавяне, тъй като работят в тандем с други технологични сили, които не само са непознати за момента, но и са непредвидими.
За онези, които следят от близо развитието на изкуствения интелект и самообучаващите се машини, всичко това не изглежда невъзможно. В момента евтиният производител Nvidia разработва софтуер, който може убедително да генерира хиперреалистични снимки на обекти, хора и дори пейзажи, чрез наслагването на десетки хиляди изображения. Adobe също напоследък стартира два проекта – Voco и Cloak – първият представлява фотошоп за аудио, а вторият може безследно да отстранява обекти (и хора!) от видео с помощта на няколко кликвания.
В някои случаи технологията е толкова добра, че впечатлява дори създателите си. Иън Гудфелоу, изледовател в мозъчния център на Гугъл, който създава първата „генеративна опозиционна мрежа“ (GAN), която предсатвлява система от две невронни мрежи, обучаващи се в съревнование помежду, си без човешки контрол, предупреждава, че изкуственият интелект може да върне начина на потребяване на новини 100 години назад. На конференция на MIT Technology Review през ноември миналата година, той съобщава на аудиторията, че GAN имат и „въображение и разсъдък“ и „могат да определят колко добре се справя генераторът без насоки от човек“. Той събщава също, че креативните възможности на машините са безгранични, но иновативността, приложена към начина по който консумираме информация, по-вероятно „ще затвори някои врати, които нашето поколение е свикнало да бъдат отворени“.
Изображения на фалшиви знаменитости, създадени от Generative Adversarial Networks (GAN).
В тази светлина, сценарии като „политическата симулация“ на Овадия изглеждат възможни. Това лято повече от един милион акаунта от фалшиви роботи наводниха системата за отворени коментари на Федералната Комисия по Комуникации на САЩ, за да засилят натиска по проекта за ограничаване на неутралността на интернет пространството. Изследователите заключиха, че автоматизираните коментари – някои от които използват естествена обработка на изказа, за да изглеждат истински – затъмняват реалните коментари, подкопавайки легитимността на цялата система за отворени коментари. Овадия посочва тази кампания като бледо подобие на това, което предстои в бъдеще.
Този начин на подкопаване на автентичността и достоверността на официалните изявления е най-зловещата и обезпокояваща от всички бъдещи заплахи. „Дали е изкуствен интелект, или ловък хакерски трик за манипулиране на Амазон, или фалшив политически активизъм, тези носещи колони на технологията водят до нарастваща ерозия на доверието“ казва изследователят по компютърна пропаганда Рене Ди Реста. „Това прави реална възможността за изопачаване на видео или друг материал от такъв порядък“. Ди Реста припомня скорошното отричане на Доналд Тръмп, че това е наистина неговият глас в прословутия запис Acces Hollywood, цитирайки експерти, които са му казали, че е възможно дигитално фалшифициране. „Не е неужно да създавате фалшиво видео, самото съществуване на тази техническа възможност вече оказва сериозно влияние. Просто посочвате факта, че технологията съществува и вече сте оспорили достоверността на нещо истинско.“
Ето защо изследователи и технолози като Ди Реста, която прекарва години от свободното си време като съветник в администрацията на Обама, и настоящи членове на Сенатската Комисия по Разузнаване срещу дезинформационни кампании от тролове, сега започват да говорят за застрашителни заплахи. Миналата седмица NYC Media Lab, която посредничи за сътрудничеството между градските компании и учените, оповести план да събере заедно технолози и изследователи през юни, за да „разиграят най-лошите възможни сценарии“ за бъдещето на новините и технологиите. Събитието, което са нарекли „ Хорър шоуто на фалшивите новини“ е обявено като „научно изложение на опасните технологични средства за пропаганда – някои реални, други въображаеми, но всички базирани на възможни технологии“.
„В следващите две, три, четири години, ще трябва да предвидим съществуването на любители на пропагандата, които могат да направят състояние, създавайки силно реалистични, фоторелистични симулации“, каза Джъстин Хендрикс, изпълнителен директор на NYC Media Lab пред нашето издание. „И ако тези опити проработят и хората започнат да подозират, че под медийните артефакти не лежи никаква реалност, ще бъдем наистина в трудна ситуация. Ще бъдат нужни само няколко големи измами, за да се убеди публиката, че нищо не е действително“.
Високопоставен федерален служител, отговарящ за разследванията на информационни войни, заяви пред нашия сайт, че дори той не е сигурен колко от правителствените агенции се подготвят за сценариите, описвани от Овадия и останалите. „Ние сме по-малко подгтовени, отколкото бяхме преди година“, казва той и отбелязва, че това е съвсем незадоволително.
Това е стряскаща мисъл, още повече че разпространяването на подобни изявления е опасно. Компютъризираната пропаганда е много повече качествена, отколкото количествена – един специалист по климатичните промени може да посочи очевидни данни, показващи покачване на температурите, докато създаването на надежден прогнозен модел за бъдещото въздействие на усъвършенстващите се в момента технологии е напълно невъзможно.
За технолозите, работещи в сферата на сигурността, единственият възможен път напред минава през изостряне на вниманието, оценка на моралните и етическите последствия от изгражданите технологии и по този начин избягване на франкенщайновия модел, при който творението се обръща и пита: „Помисли ли изобщо за последствията от делата си?“
„Аз съм част от свободната опенсорс култура – целта не е да спрем технологиите, а да гарантираме равновесие, което е в полза на хората. Така че аз не искам да създавам паника, че това ще се случи, а по-скоро призовавам да го обмислим сериозно, да изследваме последствията. Да бъдем сигурни, че то няма да се случи.“, казва Овадия в интервюто си за нас.
Това не е много обещаващо изявление, но в него се съдържа поне малко оптимъм. Към компютъризираната пропаганда в момента съществува по-голям интерес от когато и да било преди, и онези, които до скоро не приемаха заплахите сериозно, сега са по-възприемчиви към предупрежденията. „В началото беше много тъжно – малцина чуваха. Но през последните месеци ситуацията стана по-обещаваща. Някои регулации и санкции започнаха да застават на местата си“, казва Овадия. Има и решения, които още се търсят, като например криптографската верификация на изображения и звук, която може да помогне за различаването на реалното от манипулацията.
Овадия и осатаналите от тази област предупреждават, че следващите няколко години са ключови. Въпреки някои призиви за реформа, той осъзнава, че платформите все още са водени от погрешни мотиви и търсят най-вече сензацията, поради което броят кликвания и нискокачественото съдържание се радват на по-голямо внимание. „Това е по начало костелив орех, и когато го комбинираш с Фейсбук, който е акселератор на съдържание, става много опасно.“
Колко далеч се намираме от тези опасности, предстои да разберем. Попитан кои са предупредителните знаци, за които внимава, Овадия замълчава. „Наистина не знам. За съжаление, много от предупредителните знаци вече са се случили.“
Заглавието е на "Гласове"
Източник: buzzfeed.com
Превод: Екатерина Грънчарова