Світ почав стрімкий розвиток не тільки до нового світопорядку, але і до нових технологій, які будуть створювати цей світопорядок.

Серед цих технологічних проривів варто і розвиток штучного інтелекту. У 1993 р ернор Виндж першим заявив про ідею технологічної сингулярності як про створення поза людиною суперчеловеческого розуму. Він побачив це майбутнє через 30 років, вважаючи, що після цього час людей закінчиться. При цьому він вважав, що біологічна наука також може посилити людський інтелект, тим самим відсунувши це майбутнє.

Відомий футуролог Реймонд Курцвейл вже сьогодні передбачає, що штучний інтелект зрівняється з людським вже через 12 років. Все це веде до нових змін соціального порядку. Так, згідно з дослідженнями Кембриджського університету, 47% професій США будуть автоматизовані в наступні двадцять років, включаючи не тільки робочі, а й офісні професії. Однак одночасно відбувається падіння рівня IQ в світі. Проводяться конференції, покликані окреслити можливі види взаємодії людини зі штучним інтелектом. Головною проблемою при цьому стає етична. Колишній радник Обами з проблем сфери здоров'я Е. Емануель вважає, що втрата роботи для людини буде мати негативні наслідки, оскільки осмислена робота є важливим елементом нашої ідентичності.

Відомий філософ Деніел Деннет акцентує принципову можливість побудови штучного інтелекту: «Я говорив весь час, що в принципі людську свідомість може бути реалізовано в машині. Якщо розібратися, то ми самі такі. Ми роботи, зроблені з роботів, зроблених з роботів. Ми жахливо складні, трильйони рухомих частин. Але всі вони не є-чудодійно роботизованими частинами ».

Автор книг на тему використання штучного інтелекту, нанотехнологій у військовій справі Л. Справ Мон т каже: «Сьогодні немає законодавчих обмежень щодо того, як багато розуму може мати машина, як взаємопов'язане це може бути. Якщо так буде продовжуватися, подивіться на експоненціальне зростання. Ми досягнемо сингулярності в той час, який пророкує більшість експертів. З цього часу головними видами більше не будуть люди, це будуть машини ».

Справ Монт бачить небезпеку в розвитку штучного інтелекту в створенні автономного зброї в тому, що інші країни теж створять таку саму зброю у відповідь, тільки без мирного протоколу. Ядерна зброя була створена, і тільки одна сторона з тих пір його застосувала. Тепер все утримуються від його використання через острах взаємознищення. До речі, Росія також активно дивиться в бік воєн майбутнього.

Якщо ми подивимося на інтерв'ю провідних представників американської військової еліти, то вони якраз вивчають цей новий концепт - автономію, з яким пов'язують серйозне майбутнє. Наслідки його впровадження ставлять в один ряд з появою ядерної зброї. Попередній міністр оборони Ештон Картер, який до цього поста займався теоретичною фізикою, був професором Гарварду, говорить про роль автономії: «Думаю, що це змінить ведення війни фундаментальним чином. Не впевнений, що щось, вироблене автономно, зможе змагатися з руйнівною силою ядерної зброї. Я також вважаю автономію складним поняттям. Не слід забувати, що коли ми стикаємося з використанням сили для захисту цивілізації, одним з наших принципів повинно бути наявність людини для прийняття критично важливого рішення ».

В принципі, якщо задуматися, це парадоксально, оскільки створюється найдосконаліша зброя, здатне діяти поза людиною, але, як виявляється, йому все одно потрібна людина, оскільки без участі людини різко зростає небезпека непередбачуваних наслідків.

Глава наукових досліджень ВВС Г. Захаріас, перераховуючи автономію поряд з такими проривними підходам і, як нанотехнології, лазери або гіперзвук, каже: «Автономія не є конкретною системою озброєння, це надання нових можливостей. [...] Автономія в русі - це те, що ми знаємо як нормально робототехніки на землі або на море. Але в іншому автономія це допомогти в прийнятті рішень. Наприклад, зараз ми вручну переглядаємо відео в пошуках поганих хлопців, але це, звичайно, може робитися в автоматичних системах стеження, які розвиваються. Ідеєю є підключення машин до проблем big data ».

Як бачимо, мова йде про взаємодію людини і машини. При цьому заступник міністра оборони Роберт Уорк акцентує наступне: «Шлях, по якому ми підемо з розвитку взаємодії людина-машина, полягає в тому, щоб машина допомагала людям приймати кращі рішення швидше».

По суті це відображено в аналізі майбутньої війни 2050 р який був зроблений досить відомими фахівцями. До речі, тут є і такі окремі підрозділи, як «Дезінформація як зброя», «Мікротаргетінг», «Когнітивне моделювання опонента», що цілком цікаво і для мирних цілей.

Дезінформація, наприклад, обговорюється в наступному розрізі. Раніше солдат отримував інформацію з достовірних джерел. Сьогодні, отримуючи інформацію з різних джерел, солдату потрібно оцінювати якість цих інформаційних джерел. Мікротаргетінг у військовому розумінні - це знищення, приміром, не будівлі, а конкретного індивіда. Як приклад когнітивного моделювання військові відзначають сьогоднішній нейромаркетінг, який дозволяє чітко орієнтувати на конкретні потреби споживача.

Оскільки домінуючими весь цей час були технології, пов'язані з інформаційним століттям, то автори вважають, що слід думати в цьому ж напрямку, аналізуючи майбутню війну 2050 р

При цьому відразу слід зазначити, що з'явилася у відповідь активність про заборону розробок такої зброї, яке буде діяти поза людиною. І це цілком зрозуміло: те, що хочуть військові, часто не збігається з тим, що хоче громадськість. Громадська кампанія спрямована на те, щоб «зупинити вбивць-роботів».

Масла у вогонь тут можуть підливати не так секретні розробки військових, скільки цілком мирні статті типу «Обговорення автономії і відповідальності військових роботів», які, наприклад, друкуються в журналі під характерною назвою «Етика інформаційних технологій». Розвиток технологій не може бути передбачене з великою визначеністю, тому і виникають відповідні побоювання. При цьому констатується, що автономія не є добре розуміється концептом. Тому і виникає побоювання, що «ніхто з людей не буде нести відповідальності за поведінку (майбутніх) автономних роботів».

Тобто ми бачимо, що поняття автономії весь час обертається навколо проблеми прийняття рішень. А це в принципі (і без роботів) є на сьогодні проблемою номер один у всіх сферах: від бізнесу, коли рішення приймає покупець, і виборів, де рішення приймає виборець, до військової справи.

Автори статті про відповідальність роботів, підкреслюють, що технології «дозволяють людям робити те, що вони не могли до цього, в результаті чого вони змінюють ролі і відповідальності і створюють нові. Така ж ситуація і з роботами. Відстеження різних шляхів виконання завдань роботосістемамі є базовим для розуміння того, як завдання і відповідальності створюються і розподіляються по всій широкій социотехнической системі ».

Слід також згадати, що мережева війна, запропонована як концепт Дж. Аркіллой, по суті мала головною характеристикою неієрархічні характер бойових одиниць (повстанців), які могли самі приймати рішення, на відміну від армії як ієрархічної структури. Армія зможе їх перемагати, тільки якщо сама перейде на мережеву форму існування, в іншому випадку вона завжди буде запізнюватися з прийняттям своїх рішень проти мережевого противника, який робить це моментально.

Перші розробки вже по власне автономії в рамках міністерства оборони з'явилися в 2012 р .. Тоді було поставлено ряд завдань, серед яких були і такі:

- визначення нових можливостей для більш агресивних застосувань автономії,

- встановлення потенційної цінності автономії для випадків симетричного і асиметричного противника,

- передбачення нових небезпек від поширення автономії,

- ідентифікувати системні бар'єри для реалізації повного потенціалу автономних систем.

В цілому виникають проблеми у військовій справі, через які «на службу» була покликана автономія, такі:

- нові форми перевантаженості інформацією,

- розриви між відповідальністю та авторитетністю,

- складності в координації спільної діяльності, що вимагає більше людей або повноважень.

В результаті через кілька «ітерацій» дискусій прийшли до чіткого розуміння поняття автономії. Це вже погляд з 2016 р .: «Автономія є результатом передачі рішення уповноваженому на прийняття рішень об'єкту в рамках конкретних обмежень. Важлива відмінність полягає в тому, що системи, керовані розпорядчими правилами, які не дозволяють відхилень, будучи автоматичними, не є автономними. Щоб бути автономною, система повинна мати здатність сама незалежно виробляти і вибирати серед різних можливих типів дій для досягнення цілей, спираючись на знання і розуміння світу і ситуації »

Цим визначенням військові намагаються закритися від безлічі розумінь і інтерпретацій поняття автономії. Наприклад, виділяють сім міфів автономії:

- автономія - це одновимірний об'єкт, який всім зрозумілий,

- концепція рівнів автономії не може бути покладена в основу, оскільки вона просто редукує складність,

- реально немає повністю автономних систем,

- можна позбутися повністю від людського участі.

У продовженні цієї статті прозвучали слова, які можна трактувати як базову точку відліку: «Технологія, яку часто називають як« автоматизація », а в більш просунутою формою« автономією, зробила сучасний працю більш когнітивно складним. Теорія і дослідження в сфері складних систем демонструють широкий консенсус з приводу того, що істотна складність не може бути зменшена. Слід визнати складність (і збільшення складності) стійким і зростаючим фактом. І мати з ним справу. Буде небезпечною помилкою намагатися уникнути складності з допомогою редукционистских уявлень і намагатися породжувати прості рішення ».

З усього цього стає зрозумілим, що не тільки взаємодія з людиною є точкою відліку, але і все зростаюча складність технологій, якими людина реально за допомогою сьогоднішнього рівня знань не в змозі впоратися. Поки ми перебуваємо на початковій стадії цих процесів. І це видно по найближчих прогнозами, наприклад, такого: «Якщо сьогодні в США один пілот дистанційно управляє одним безпілотником, то незабаром одна людина буде керувати кількома».

Сьогодні вже кожен споживач інформації стикається з тим, що обсяги інформації привели до трансформації поняття правди, факту і под. Ми отримали світ пост-правди, в якому різного роду фейки зайняли неналежне їм місце.

Перед нами виникла та ж ситуацію, що й під час обговорення військових проблем. Тільки у військових все це пов'язано із застосуванням зброї, що безпосередньо відсутня в мирних ситуаціях, хоча побічно може вести і до такого роду наслідків.

З Автономії 2016 г. «витягується» така ідея: «Буде більше важливо постійно навчати і тренувати людей-користувачів, ніж розвивати програмне і апаратне забезпечення для автономних систем. «Поширення таких систем вже представлено в приватному секторі, де присутні не так багато розумних супротивників, бажаючих змінити дані або перемогти противника».

Оскільки на авансцену вийшло розуміння війни як справедливої, то вбивство дроном цивільної людини є проблемою, див. Також цілу книгу на цю тему, де представлені етичні, юридичні та політичні перспективи автономії. При цьому програмне забезпечення робота все одно буде написано людиною.

Як неодноразово підкреслюється, на людину все одно залишається вся відповідальність. Тому в таких текстах справжня автономність ховається десь далеко в майбутньому. Пор., Наприклад, таке висловлювання: «Автономні системи є незалежними настільки, наскільки дозволяють їх програми, і все одно визначення можливостей в даній ситуації лежить на людях-операторах. Тому поки органічні засновані на ДНК комп'ютери не зійдуть зі сторінок коміксів на поле бою, люди-оператори залишаться на контролі автономних додатків ».

Базовий текст 2016 р наголошує на необхідності довіри до системи. При чому підкреслюється, що в комерційних варіантах немає таких тяжких наслідків, які можливі на поле бою. Звідси випливає неможливість перенесення бізнес-практики у військову справу.

В американському аналізі майбутньої війни 2050 року чітко постулюється участь роботів в майбутній війні. Там говориться наступне: «Роботи буду зазвичай діяти командами або роєм в бойових діях 2050 роки точно так, як сьогодні діють солдати. Ці самоврядні і / або спільно діючі роботи будуть діяти з мінливою ступенем свободи (від активного управління до автономного функціонування) в рамках динамічно встановлюваних правил бою / пріоритетів. Рої і команди роботів, як і індивідуальні роботи, будуть виконувати різноманітні завдання ». Тобто перед нами виникає цілком буденна картинка трудяг-роботів з фантастичного фільму.

Є ще одна проблема, яку, можна позначити як необхідність інших конфігурацій політичних гравців, ніж при звичному протистоянні, яке існує до теперішнього часу. Ця складність виникла при розробці лазерної зброї. Один з учасників цього протистояння з радянської сторони згадує: «Напружена експертно-аналітична робота, в якій довелося брати участь і мені, йшла за лаштунками цієї драми. Нам вдалося вийти на більш глибокі її шари. Відразу після висунення Рейганом ідеї щита, заснованого на лазерно-космічному озброєнні, мій учитель академік Раушенбах звернув увагу на його непередбачене нову якість. Вперше у військовій історії з'являється зброя, для якого швидкість нападу зрівнялася зі швидкістю оповіщення. Для участі людини в контурі управління не залишається ніякого тимчасового зазору, гашетку доводиться передавати роботам. З тієї ж причини мирне співіснування двох і більше лазерних систем на орбіті принципово неможливо: будь непізнаний космічний об'єкт, який може виявитися носієм бойового лазера, повинен бути миттєво знищений. Як роз'яснювали ми в діалозі з колегами з Heritage Foundation, питання зі сфери військової технології переходить в сферу власності: у системи лазерно-космічної захисту може бути тільки один господар. Тоді мова йшла про міжнародної організації, за якої повинна бути закріплена монополія на розгортання космічного щита. Ця позиція встигла придбати впливових прихильників в самому верхньому ешелоні радянського керівництва і ледь не опинилася в центрі чергового саміту. Але з розпадом країни діалог з проблеми зупинився ».

Ця та ж проблема прийняття рішень, тільки в ситуації, коли через брак часу вже неможливо втручання людини, а наслідки ще більше, ніж в разі бойового робота. До речі, як відомо, були ситуації, причому кілька, коли черговий офіцер з радянської сторони не приймав рішення про удар у відповідь, хоча по радарах, здавалося, що США вже нанесли удар першими.

На закінчення про парадоксальну темі, яка також виникла в цьому контексті - це штучний інтелект і фашизм. К.Кроуфорд звернула увагу на небезпеку потрапляння штучного інтелекту не в ті руки. Сьогодні ми бачимо, як розвиток штучного інтелекту йде паралельно зі зростанням у світі ультра-націоналізму, правого авторитаризму і фашизму. Вона називає цю ситуацію темними часами і ставить питання, як захистити вразливі і маргіналізовані спільноти від потенційного використання цих систем для спостереження, переслідування і депортації. Йдеться, наприклад, про роботи, де шукається зв'язок між особою людини і його можливим кримінальними действіемі. Саме це вона і відносить до прояву фашизму. У неї є і окрема робота, що аналізує зв'язку спостереження з big data.

До речі, Кроуфорд, сама будучи фахівцем з big data, скептично ставиться до ідеї, що відома сьогодні фірма в зв'язку з президентськими виборами в США Cambridge Analytica зіграла вирішальну роль як у Brexit, так і в обранні Дональда Трампа. Правда, як вона вважає, в найближчі кілька років це стане дійсно можливим. Кроуфорд заявляє з цього приводу: «Це мрія фашиста. Влада без підзвітності ».

На наше щастя, все це ще только на горізонті. Може, людству ще вдастся «подорослішаті». А поки ситуация знаходиться в розвитку. Як зазначає Я. Семпл: «Шлях до штучного інтелекту рівня людини довгий і досить невизначений. Всі програми штучного інтелекту сьогоднішнього вміють робити тільки щось одне. Вони можуть розпізнавати обличчя, звучання вашого голосу, переводити з іноземних мов, торгувати запасами і грати в шахи ».

Сергій Переслєгін бачить більш широкий контекст цієї проблеми, коли говорить наступне: «Лем ще десь в 1975 році досить переконливо довів, що система штучного інтелекту здатна подолати будь-які рамкові обмеження, поставлені її програмою. Це не означає, що вони всі їхні долатимуть, але так ж і не всі люди долають свої рамкові обмеження. Тому якщо штучний інтелект складається із сукупності програм, то це ще не означає, що він буде їх дотримуватися. І в набагато меншому ступені значить, що ми будемо здатні розрізнити, коли він слід програмами, а коли ні. До речі, американці восени минулого року випустили на екрани невеликий серіал «Світ Дикого Заходу», де вони детально аналізують цю проблему ».

Світ без сумніву стане більш складним, оскільки з'являється складніший інструментарій, в тому числі і у військових. Так що роботи також займуть місця і солдатів, а не тільки офісних працівників. Однак автономія в разі військових створює ту проблему, що на відміну від офісних працівників ці роботи будуть озброєні смертельною зброєю. До речі, можна собі уявити і небезпека від них для своїх власних солдатів в разі будь-яких збоїв в програмі, що також цілком можливо.

Георгій Почепцов
хвиля
Зображення: Якуб Розальський (Польща)