Нейросеть сказала «террорист»

Несколько лет назад израильские спецслужбы похвастались, что создали ИИ для вычисления боевиков ХАМАС: он определяет, насколько человек похож на других членов этой группировки по поведению. Однако с началом войны в октябре 2023 года этот робот, по сути, стал командовать израильской авиацией и указывать, кого бомбить. О том, как работает содержащая ИИ система «Лаванда», будто бы пришедшая к нам из мрачной антиутопии, — в материале «Газеты.Ru».Нехватка рабочих рук7 октября 2023 года боевики палестинской группировки ХАМАС, контролирующие сектор Газа, напали на Израиль, убили больше 1000 человек и похитили около 200 заложников. В ответ Израиль начал масштабную бомбардировку контролируемой боевиками территории и наземную наступательную операцию.В секторе Газа, размеры которого не превышают 40x10 км, живет более 2 млн человек, и с первых дней войны у многих наблюдателей возник вопрос: как в таком муравейнике определить, кто террорист, а кто нет?ХАМАС не раскрывает личности своих членов, и даже если у руководства организации есть списки активных бойцов, добыть их с помощью разведки почти невозможно. Без этого разведчикам придется анализировать данные о каждом жителе сектора: где он живет, с кем общается, что о нем доносят агенты, где был замечен и так далее. Это крайне трудоемко, и анализ личного дела каждого жителя руками немногочисленных израильских аналитиков занял бы долгие годы, а за это время выросло бы новое поколение хамасовцев.Ответ на вопрос дало израильское издание +972, известное критикой действующей власти за негуманное отношение к арабскому населению Палестины. Журнал опубликовал расследование о том, как ЦАХАЛ удалось автоматизировать процесс поиска целей с помощью нейросетевого ИИ «Лаванда».ИИ-детективИнформация о работе «Лаванды» в основном получена из книги «Человеко-машинный коллектив: как создать синергию между человеком и искусственным интеллектом, которая изменит наш мир». Ее автор анонимен и представлен как «бригадный генерал Y.S.», а текст повествует будто бы об абстрактной идее без упоминания конкретных реализаций. Тем не менее, журналистам +972 удалось выяснить, что анонимный генерал — это командир израильского армейского центра искусственного интеллекта и описывал он именно «Лаванду».Если эта теория верна, то в основе «Лаванды» лежат алгоритмы машинного обучения. При ее создании разработчики загрузили в компьютер базу данных о жителях Газы, содержащую как можно больше сведений разного рода: в каких группах WhatsApp состоит человек, какой у него номер телефона, как часто он его меняет, кому звонит и когда, в каких районах города находится и в какое время, какие фотографии публикует в соцсетях, где его видели с дронов и так далее. Полный список признаков неизвестен, но можно предположить, что разработчики постарались включить туда все, что можно дистанционно узнать о человеке.После этого создатели начали тренировать машину. Напротив досье известных боевиков в системе стояла отметка «террорист», и постепенно алгоритм научился вычленять их особенности. Каждая из особенностей может ни о чем не говорить постороннему человеку, но методы анализа big data позволяют выявлять скрытые закономерности. Например, может оказаться, что для боевиков ХАМАС характерна частая смена номера в совокупности со звонками на другие свежезарегистрированные номера и частыми ночными визитами в определенное место в городе. Этот пример абстрактен, и служит лишь для грубой иллюстрации того, как работает система.В действительности алгоритмы способны замечать особенности, неуловимые для человеческого глаза при взгляде на ту же базу данных. В итоге после завершения обучения алгоритм превращается в подобие детектива, он умеет анализировать загруженные в него данные и вычислять вероятность того, что рассматриваемый человек — террорист, выставляя оценку от 0 до 100. Поскольку алгоритм работает сравнительно быстро, он позволяет проверить миллионы людей — то есть все население сектора.Цифровизация и автоматизацияБытовым языком работу «Лаванды» можно кратко описать так: она оценивает, насколько человек похож на террориста по косвенным признакам. Это сходство исключительно внешнее и не позволяет гарантировать, человек и правда состоит в ХАМАС, но этого и не нужно. Как пишет бригадный генерал Y.S., решение о том, кого атаковать, всегда остается за человеком. Алгоритм позволяет лишь сократить поиски и указать разведчикам на подозрительных лиц, после чего они вручную проверяют досье и сверяют с агентурными данными. Лишь после этого офицеры передают информацию о разоблаченном хамасовце другим специалистам, которые начинают следить за целью и в нужный момент сообщают летчику, куда сбрасывать бомбу (если идет война). Так все и работало — до октября 2023 года.Как рассказали источники +972, с началом войны конвейер поиска целей для бомбардировок заработал на полную скорость. Военные каждый день требовали от разведчиков: дайте нам больше мишеней для бомбардировок, старые уже закончились.В результате разведчики вручную проверяли лишь один факт: что цель мужчина. В рядах ХАМАС и «Палестинского исламского джихада» (организация запрещена в России) нет женщин, поэтому если алгоритм указал на кого-то с женским голосом или внешностью, то, скорее всего, он ошибся. Мужчин же начинали отслеживать с помощью других алгоритмов и в нужный момент высылали по их адресу самолет с бомбой.В «Лаванде» есть множество настроек. Например, можно понижать уровень «достаточного» сходства человека с террористом. Когда у летчиков вновь заканчивались мишени, эту планку просто снижали. Также у алгоритма есть ограничения по точности, и в лучшем случае она составляет 90% — значит, в 10% случаев целями становились посторонние. Наконец, многие характерные признаки террористов потеряли смысл в течение войны.Так, в условиях перебоев с электричеством многие палестинцы непрерывно пользовались смартфонами друзей, соседей и родственников, и были случаи, когда бомба по ошибке прилетала к человеку, который взял телефон у друга. Израильские разведчики в беседе с журналистами подчеркнули, что в результате работы этого конвейера мишенями становились исключительно низовые члены группировки. Тратить на них более 20 секунд рабочего времени бессмысленно, и жалко даже управляемого боеприпаса. Прицел F-16 (и других современных самолетов) позволяет попадать бомбой в дом с небольшой высоты исключительно за счет автоматического сброса в заданный момент, а стоит «чугунный» снаряд в разы дешевле такого же с наведением по лазеру или GPS.Другой источник +972 в разведке выразил мнение, что такой алгоритм работы намного гуманнее, поскольку после нападения ХАМАС немногие в израильской армии были в настроении тщательно выбирать мишени: «Я гораздо больше доверяю статистическому механизму, чем солдату, потерявшему друга два дня назад. Там (в штабе) все, включая меня, потеряли кого-то 7 октября. Машина же делает это хладнокровно. И это облегчило задачу».В таком режиме, по данным +972, израильская армия проработала, начиная с третьей недели войны в течение как минимум нескольких недель.Золотое дно для разведкиВажно отметить, что в идее «Лаванды» нет ничего уникального, похожие услуги предлагают продавцам рекламные площадки. Например, Google Ads обещает клиентам повысить конверсию рекламных объявлений в продажи за счет средств искусственного интеллекта. В рекламе есть старая проблема, — бессмысленно показывать объявления о новом корме для собак тем, у кого собаки нет.Примитивный подход предполагает показ такой рекламы только тем, кто что-то искал о собаках в интернете, но как отличить настоящего собачника от школьника, который делает доклад по зоологии? Алгоритмы машинного обучения же позволяют зафиксировать мельчайшие отличия сетевого поведения целевой аудитории от других людей, которым товар не интересен, — как минимум, так говорят сами рекламные площадки.Однако в статье +972 не рассматривается другой, не менее важный вопрос: откуда у Израиля такое количество личных данных жителей Газы, включая информацию из WhatsАpp? Директор компании «Интернет-розыск» Игорь Бедеров считает, что «Лаванда» — это частный случай сотрудничества рекламных компаний с разведслужбами, о котором недавно писало американское издание Wired.Журналисты рассказали, как никому ранее не известный технологический консультант Майк Игли смог превратить популярное приложение для знакомств в орудие слежки, используя уязвимость сервиса контекстной рекламы.Приложения для знакомств используют геолокацию, чтобы показывать пользователю ближайших партнеров, но одновременно продают эту информацию рекламодателям, которым могут быть интересны посетители определенных зон. Игли использовал биржи объявлений, чтобы отслеживать перемещение пользователей — пусть и в анонимном виде, по одному лишь рекламному идентификатору.Потом он заметил, что некоторые пользователи проводят рабочий день в правительственных зданиях, значит, скорее всего, это госслужащие. Их перемещение можно отслеживать и далее, после чего аналитическим путем выяснить, кто они и чем занимаются. Для этого не требуются ни доступы к гостайне, ни техника ЦРУ — всего лишь не очень высокий технический навык и смекалка. Рекламные идентификаторы можно отключить, а приложения могут пытаться предотвратить утечку персональных данных, — но разведслужбы поняли, какое золотое дно перед ними открылось, а сам Игли продолжил карьеру в компании-подрядчике ЦРУ. Создатели «Лаванды», вероятно, использовали схожие подходы.«Откуда израильской разведке известно, в каких чатах WhatsApp состоит человек и кто находится в его списке контактов? Мы и так знали о израильской системе Echo и американской Locomotive, которая организует слежку за людьми через рекламные идентификаторы. В том числе, они позволяли выяснить, с кем человек пересекается и ведет общение. Просто раньше это использовалось для настройки рекламы, а теперь — для разведки и нанесения бомбовых ударов», — рассказал Бедеров «Газете.Ru».Эта теория отчасти комплиментарна для WhatsАpp и его владельца, Meta (признана в России экстремистской и запрещена). Нельзя исключать и другой версии — что данные разведки передаются без всяких обходных путей в виде рекламы, напрямую, либо же что сервис WhatsApp крайне уязвим и был взломан израильскими хакерами.