А вы знаете учительницу алгоритма вашей машины?
Второй тезис об Х-пилотируемых Х-мобилях
Умных существ гораздо больше, чем мы привыкли думать
Одно из поразительных следствий наук и технологий в том, что количество умных существ, живущих вокруг нас, становится все больше и больше. А те, кого мы и так считали “неглупыми”, становятся все умнее и умнее. Этологи учат нас тому, что неразумность, жесткая инстинктивная запрограммированность, механистичность поведения животных, как правило, оказываются артефактами узколобых методологий самих исследователей. Благодаря Франсу де Ваалю и Ширли Страм мы знаем, что у жизнь шимпанзе и бабуинов насыщена переговорами и политическими интригами; Тельме Раувелл — что овцы не такие уж тупые и скучные; а Стефану Гликману — что крысы могут делать гораздо больше, чем им позволялось в скиннеровском бихевиоризме.
Этология стремительно наводит множество мостов над пропастью между человеком и животными, прорубленной и охраняемой разного сорта гуманистами. Около 30 лет назад это так озадачило некоторых социологов, что они начали думать над тем, как иначе проводить границы между разумами, поведениями и обществами животных и людей. С тех пор задачи в этом плане не стали проще. Недавно Парижский зоопарк представил блоба – миксомицета, у которого нет ни мозга, ни нервной системы. Но его способности к обучению и принятию решений иначе как интеллектуальными не назовешь.
Кажется, все существа в мире в той или иной степени обладают интеллектом.
То, что 100 лет назад было смелой метафизической гипотезой для Габриэля Тарда, сегодня является фактом более-менее очевидным для всех. Об этом пишут не в философских трактатах и не в узкоспециальных журналах, а в телеграм-каналах с тысячами подписчиков. Все это время фантасты нам врали! Чтобы обнаружить не-человеческую разумную жизнь, не нужно садиться в космические аппараты и лететь за пределы Солнечной системы. Достаточно просто внимательно посмотреть вокруг на матушке-Земле. Гуманисты, желающие подчеркнуть человеческую исключительность и настаивающие на особенностях человеческого интеллекта, указывают этим лишь на то, что человек является особым видом, отличным от других животных.
Но если бы дело было только в умных, пусть и простейших животных. С другого края с человеком стремительно сближаются неорганические существа с интеллектом.
Ни для кого не секрет, что мы живем в эпоху умных машин. Хотя кто-то и может удивиться тому, насколько их много и что они умеют. Мы называем их словом “smart”. К smart блобам и бактериям ученых добавляются smart алгоритмы, материалы и устройства инженеров. Среди них — умные транспортные средства. Их интеллектуальные способности, как правило, обозначают словами “автономный” или “беспилотный”, хотя это и некорректно.
Вместо того, чтобы фантазировать об “автономности” или “беспилотности”, я предлагаю детально описывать состав, отношения и компетенции гибридных коллективов, которые пилотируют и будут пилотировать нашими мобилями. Чтобы сделать это, нужно принять агностическую позицию в качестве стартовой. Отсюда для абстрактного разговора можно зарезервировать слово “Х-пилотируемые”, где Х указывает на наше незнание, которое можно постепенно устранять, заменяя в конкретных описаниях Х конкретным содержанием. С другой стороны, я предлагаю не принимать способность наших машин двигаться как само собой разумеющуюся. Не следует скрадывать разницу между необходимыми для движения мобилей источниками энергии в немаркированной нормальности префикса “авто”. Напротив, ее нужно всячески подчеркивать. Для абстрактного разговора же можно зарезервировать слово “Х-мобили”. Если выражение “Х-пилотируемые Х-мобили” вызывает у читателя раздражение своей неуклюжестью, то именно такую реакцию и должен вызывать у него всякий абстрактный разговор о современных технологиях (мобильности).
Умными машинами не рождаются
В чем суть интеллекта новых машин? В способности самостоятельно оценивать ситуацию, классифицировать объекты вокруг и принимать решения. Устройствам нового поколения не нужно намеренно давать команды, чтобы они начали что-то делать. Например, умная домашняя станция может сама вызвать полицию во время семейной ссоры. В случае мобилей, инженеры сегодня стремятся научить их уверенно решать пять задач:
- локализация — определять свое местоположение;
- распознавание — классифицировать объекты на дороге и около нее;
- предсказание — определение сценариев поведения участников движения;
- планирование — выстраивание оптимального маршрута поездки;
- контроль — способность непосредственно управлять транспортным средством.
Нетрудно назвать умной машину, которая умеет решать все пять задач.
Однако умные машины не рождаются умными, их обучают быть такими.
Хотя есть и исключения, в большинстве проектов мозгом робо-пилотируемых мобилей являются искусственные нейронные сети, проходящие глубокое обучение. Именно такое машинное обучение позволяет им научиться решать вышеописанные задачи. Мне неоднократно приходилось наблюдать, как утверждение голландского инженера-художника Тео Янсена, что он обучает своих пляжных зверей ходить, прежде чем они смогут это делать сами, вызывает скептически-иронические улыбку поскольку считывается как не более чем метафора. Но послушайте Илона Маска, говорящего, что пока Tesla делает лишь “детские шажки” в сторону полностью автономного транспортного средства. Более того, вы сами можете увидеть эти неуверенные движения тоддлера, опекаемого на испытаниях со всех сторон своими разработчиками — молодой и стремительной компании Ralient, делающей будущее, возможно, по соседству с вами. То, что в применении к “примитивным” и механическим существам Тео Янсена выглядит лишь смелым образом, в применении к мобилям, управляемым умными алгоритмами, оказывается фактически наблюдаемой реальностью.
Мы не должны отмахиваться от перипетий педагогики умных машин, компетенции и квалификации которых в немалой степени будут определять наши жизни и смерти. Параллельно тому, как искусственный интеллект стремятся внедрить в обучение людей, немаловажно заглянуть в учебные планы алгоритмов умных устройств. Почему? Потому что социальным ученым от Иллича до Бурдье известно множество недостатков системы образования для людей и нет никакой уверенности в том, что подобные недостатки не могут обнаружиться в обучении машин.
Если образовательные системы для людей могут воспроизводить и укреплять, а не разрушать классовые барьеры, то почему этого не могут делать системы обучения машин? И если человеческий пилот может “купить права”, то почему чего-то подобного не может произойти с нечеловеческим пилотом?
Умные машины учатся, а потому ошибаются
Поскольку машины не рождаются умными, а становятся таковыми, постольку они учатся, а значит и делают ошибки. Вот несколько примеров того, как могут выглядеть недостатки и ошибки в обучении умных мобилей.
В далеком для этой области 2015 году Google устроил демонстрационные испытания для журналистов, на которых модифицированный Lexus продемонстрировал по словам одного из репортеров избыточную “нервозность”. Увидев человека, совершающего пробежку по противоположной стороны дороги и (что было бы очевидно для любого человека) не представляющего никакой опасности, пилотирующий машиной алгоритм резко затормозил и создал тем самым потенциально аварийную ситуацию. По признанию инженера Google, если бы за ними кто-то ехал следом, вероятность столкновения была велика.
В мае 2016 года случилась первая смерть с участием умных машин, пилотируемых не-человеком. Tesla S, в которой находился владелец машины Джошуа Браун, в режиме автопилота врезалась в грузовик на скорости 74 мили в час. Причиной аварии и смерти Брауна стал комплекс факторов. Не только сам Браун превысил скорость в зоне с ограничением в 65 миль в час и отвлекся от дороги, но и Tesla Autopilot (система продвинутой помощи водителю, установленная на модели S) совершила ошибку, в принципе не распознав грузовик как препятствие. С одной стороны, это произошло из-за высокого и удлиненного просвета грузовика: под ним было хорошо видно продолжение дороги. Tesla проехала под грузовиком, но крыша была полностью снесена. С другой стороны, большой фургон грузовика белого цвета, в котором перевозилась голубика, был классифицирован Tesla Autopilot как небо.
18 марта 2018 года случился первый смертельный наезд алгоритмо-пилотируемого нефте-мобиля на пешехода. В штате Аризона Volvo XC90, управляемая программным обеспечением Uber, сбила Элейн Херцберг, переходившую дорогу в неположенном месте. Машина не превышала ограничение скорости в этой зоне. Но инженер-испытатель, Рафаэла Васкес, которая могла и обязана была следить за дорогой и вовремя вмешаться, к сожалению вплоть до последней секунды перед столкновением смотрела телевизионное шоу на своем смартфоне.
Но дело не только в этом. Алгоритм Uber сначала распознал Херцберг (переходившую дорогу, толкая перед собой велосипед с пакетами покупок) сначала как неопознанный объект, затем как велосипед и, наконец, как машину.
Почему интеллектуальная система пилотирования сразу не дала сигнал о снижении скорости, чтобы в принципе избежать столкновения с чем-либо?
Потому что она была обучена так, чтобы не давать большого количества ложноположительных распознаваний. В отличие от нервозного и слишком осторожного Lexus от Google, Volvo от Uber чрезмерно уверена в себе, в ее обучение был заложен — как теперь понятно — слишком высокий порог определения опасных объектов. Картину довершает то, что алгоритм за 1,3 секунды все-таки дал машине команду экстренного торможения, но эта функция была отключена в этот день инженерами Uber. Зачем? Чтобы избежать конфликтов управления в нечеловеческом коллективе, осуществляющем пилотирование.
Добавьте к этим случаям казус с алгоритмами Google Photos, которые по непонятным для их разработчиков причинам распознавали чернокожих людей как горилл. Этот казус важен, потому что распознавание объектов по изображениям, как мы видели выше, одна из ключевых задач в решении проблемы передачи пилотирования мобилей нечеловекам. Оба случая ясно дают понять, что даже однозначное решение этической дилеммы “давить ли животных или человека в безвыходной ситуации” в пользу последних не является окончательным. Почему? Потому что частью этой этической проблемы является с виду сугубо технический процесс распознавания и классификации объектов алгоритмами, который в свою очередь непосредственно связан с моделями обучения умных машин. Отсюда и изучение (социальных) классификаций, заботившее философов и социологов от Дюркгейма и Мосса до Болтански и Тевено, перестает быть только проблемой (социальной) эпистемологии, а обретает непосредственное практическое значение для нашей жизни в городах будущего.
Внутри “черного ящика” алгоритмов. Три вида темноты
Ну, допустим, я убедил вас хотя бы на время. Тогда нужно просто заглянуть в учебные планы умных машин и провести аудит образовательных программ так же, как мы это делаем в отношении обучения людей.
Но можем ли мы заглянуть в учебные планы университетов умных машин? На деле все оказывается не так-то просто как минимум по трем причинам.
Во-первых, сами алгоритмы и дата-сеты, на которых их обучают, как правило, являются интеллектуальной собственностью разработавших их компаний или государств. Поэтому они объявляются секретом, а доступ к ним резко ограничивается. В случае алгоритмо-пилотируемых мобилей мы получаем ситуацию, в которой эти умные устройства принимают решения, имеющие масштабные эффекты в публичной сфере, но доступ к принципам и логике этих решений охраняется частной собственностью. Разумеется, критики такой политики алгоритмов видят в ней лишь прикрытие для уклонения от подотчетности перед регуляторными органами и широкой публикой, для сокрытия паттернов дискриминации и манипуляции потребителями. Бороться с такой формой непрозрачности алгоритмов можно и нужно за счет развития движения за открытый код и за счет подотчетности кода различными формам алгоритмического аудита.
Во-вторых, даже если мы имеем доступ к коду, способность читать и писать его является высококвалифицированным навыком, доступным очень немногим. Более того, это еще и высокоспециализированное умение. Поэтому даже программистам-инсайдерам может быть трудно разобраться в сегментах кода, к написанию которых они не имеют непосредственного отношения. Ставший учёным программист Кевин Слэвин утверждает: “Мы пишем код, который мы больше не понимаем”. Если для создателей алгоритмов они не являются полностью прозрачными, то для людей вне этого процесса — подавно.
Наконец, третий тип непрозрачности, связанный с алгоритмами, обусловлен отличием их интеллекта и способа обучения от человеческого. Чтобы понять, о чем идет речь, рассмотрим устройство одного конкретного способа обучения нестрогих алгоритмов, а именно — контролируемое глубокое обучение нейросети, или обучение с учителем. В этом нам поможет Дженна Бёррелл, которая буквально на пальцах объясняет, как это работает. Обозначенный способ машинного обучения включает в себя два алгоритма: “классификатор” и “обучающийся”. Сначала “обучающийся” проходит обучение на тестовых данных, результатом которого является “матрица весов”, используемая в дальнейшем “классификатором”. Тренировочные данные для “обучающегося” предварительно отбираются и размечаются человеком. “Классификатор” берет входные данные (набор характеристик) и производит выходные данные (категории), например, в виде диагноза болезни или квалификации сообщения как (не)спама. При этом входные и выходные данные образуют два отдельных слоя, связанных между собой промежуточным, скрытым слоем.
Как эта общая схема работает в хрестоматийном случае распознавания изображений, а именно рукописных цифр от 0 до 9? Чтобы упросить задачу для алгоритма, данные специально подготавливаются: каждая цифра записывается в четко очерченный квадрат, который затем разбивается на пиксели (8 х 8). Каждая цифра таким образом представляется в виде комбинации пикселей (набора черт), каждому из которых соответствует тон на градиенте оттенков серого (матрица весов). Пиксели составляют входные данные для “классификатора”, который производит выходные данные в виде распознанных цифр. Ниже мы можем видеть, как выглядят исходные данные, на которых происходит машинное обучение, а также что поступает на входной уровень.
Понятно, что на выходе мы имеем цифры от 0 до 9. Но вот, что “видит” промежуточный, скрытый слой нейросети? В каждом квадратике тот же набор пикселей, характеризующий цифры, что мы видели выше, но только для машины. Хотя человек не угадывает здесь паттерна, характеризующего цифры, нейросеть успешно распознает изображения цифр на основе содержащихся здесь подсказок.
Поразительная визуальная трансформация здесь происходит после того, как “обучающийся” выучил оптимальные значения для матрицы весов, под которыми понимаются точные классификации входных данных (отдельные пикселей разного тона) в выходные (цифры от 0 до 9).
Что это все значит? А то, что, решая понятную человеку задачу, алгоритмы машинного обучения делают это не путем разбиения этой задачи на столь же понятные человеку подзадачи (например, распознавание вертикальной палочки, закругления или окружности, как частей цифр). Они решают эту задачу своим собственным способом, не имеющим прямого эквивалента в человеческом мышлении. Бёррелл заключает свой опыт показательным высказыванием:
“Первичной целью этого примера было дать быстрое визуальное понимание того, как “думает” машина. Последнее изображение должно казаться неинтуитивным, произвольным и дезорганизованным. Однако, именно распознавание письма не является “сознательной” рассудительной задачей и у человека. Люди распознают визуальные элементы непосредственно и подсознательно (поэтому и в человеческом процессе распознавания символов также определенно есть своего рода непрозрачность)”.
Все это говорит нам как минимум о двух вещах. С одной стороны, формы непрозрачности алгоритмов показывают нам, что в современном режиме капитализма, где знание и данные относительно быстро конвертируются в конкурентное преимущество или недостаток, Просвещение и “научно-технический прогресс” смыкаются с обскурантизмом. Пример технологии алгоритмо-пилотируемых мобилей показывает это в не меньшей степени, чем споры вокруг изменения климата. Лидерами нового обскурантизма парадоксально становятся передовые ИТ-компании, ограничивающие доступ к своим данным и алгоритмам.
Но с другой стороны, нечеткие алгоритмы в форме искусственных нейронных сетей, проходящих глубокое обучение, наглядно подтверждают то, что исследователи науки и техники пытались эмпирически доказать на примере других, менее замысловатых технологий. Начиная с середины 1980-х, они стремились всех убедить, что машины, хотя и являются полностью сделанными человеком, все равно содержат в себе непрозрачность, неопределенность и могут удивлять своих создателей, преподносить сюрпризы. А сегодня то, что еще каких-то 10 лет назад было смелым и неочевидным теоретическим тезисом, проговаривается официальными лицами Netflix, которые удивляются поведению своих алгоритмов генерирования микро-жанров кино. Самообучающиеся нейросети, служащие мозгом многих современных умных устройств, делают образ “призрака в машине” обыденным.
Умные машины сближаются с умнеющими день ото дня (вследствие новых описаний ученых) животными. Теперь мы уже не надеемся вычитать путем экстраполяции поведение машин из их чертежей, архитектур и кодов. К этологии животных нужно добавить этологию машин. Последняя сосредоточится на дрессировке, тренировке, и обучении этих новых и столь близких нам форм жизни. Отсюда можно сформулировать второй тезис об Х-пилотируемых Х-мобилях.
Вступая в эпоху умных машин, мы вступаем в новую эру педагогики, педагогики в равной степени центральной и важной как для нас, так и для них.
Пока наших детей и внуков будут обучать коллективы из естественных и искусственных интеллектов, нам самим пора познакомиться с учителями, воспитавшими умные машины вокруг нас. Пора начать интересоваться, какие школы, университеты, образовательные программы они закончили, какими компетенциями и квалификациями они обладают, а какими — нет. Пора учиться возлагать на эти институции часть ответственности за ошибки интеллектуальных машин. Пора ставить вопросы о том, как сделать подготовку алгоритма, везущего вас и ваших детей в школу, справедливой, ответственной и адекватной задачам современной жизни. Этот процесс не будет простым, потому что в нем будут переплетены педагогика, этика, технологии и вычисления. Но внимание к педагогике машин будет только способствовать социальному научению институтов и публик.
