Беспилотные автомобили и забота о них
В недавнем тексте, посвященном беспилотным автомобилям, Андрей Кузнецов показывает, что умных машин (и других умных существ) становится все больше. По итогу своего текста он выводит второй тезис о том, на что необходимо обращать внимание:
Вступая в эпоху умных машин, мы вступаем в новую эру педагогики, педагогики в равной степени центральной и важной как для нас, так и для них.
Общая идея сводится к тому, чтобы исследовать алгоритмы, которые обучают умные машины, и делать такие алгоритмы более справедливыми, ответственными и адекватными. Тезис автора весьма своевременный и основан на многочисленных исследованиях об обучении машин, как в технических, так и социальных науках.
В этом посте мне хотелось бы, однако, не критикуя данный взгляд, предложить другую версию того, как можно описывать разработку и тестирование (и даже последующую эксплуатацию) беспилотных автомобилей. Эта альтернатива кажется если не неизбежной, то желанной, поскольку в последнее время дискурс образования в этой сфере становится почти доминирующим. Популяризация понятий «машинного обучения», «умных машин» и особенно «искусственного интеллекта» заставляет и технических, и социальных ученых думать об инновациях в терминах образования, обучения и интеллекта. То, что высвечивает такой дискурс, — это акцент на знаниях, квалификациях и компетенциях. То, что упускает, — это огромное множество практик поддержания жизни, ремонта, починки, заботы, мелких, несущественных приспособлений, без которых не может существовать ни одно техническое устройство. В этом тексте хочется показать то, какими беспилотные автомобили могут выглядеть с позиции такого альтернативного взгляда.
Беспилотные автомобили и роль больного
Что, если мы, неожиданно, представим отношение беспилотных автомобилей и их разработчиков как отношения больных людей и врачей (и шире — медицинское системы)? Обратимся к известному в социологии понятию Т. Парсона «роль больного». Роль больного по Парсонсу предполагает несколько свойств:
а) отклонение от норм: заболевший человек может не исполнять те роли, которые в обычных обстоятельствах выполнять должен;
б) просьба о зависимости или заботе от другой стороны в силу неспособности справляться самому: больной не способен помочь себе сам и обыкновенно обращается за помощью к специальным людям (врачам и докторам);
в) болезнь используется как легитимация отклонения: мы все в обществе привыкли и знаем, что болезнью — это не просто причина отклонения от норм, эта легитимная причина, мы не вправе высказывать людям упреки, если они не сделали что-то, будучи больными;
г) больного нужно не наказывать, а нужно помочь ему: если в других случаях невыполнение своих ролей влечет наказание, то в случае с больным — это забота и помощь;
д) однако роль больного постоянно предполагает ее исчерпание: нельзя быть больным все время;
Разве эта картина не похожа на ту, что мы видим в случае с разработкой, тестированием и далее — поддержанием в норме беспилотных автомобилей?
Представим себе беспилотный автомобиль (БА) на дороге. Исследователи и сами разработчики говорят, что они во многом сегодня не способны вести себя на дороге так же, как и люди. Они не способны реагировать на неформальные знаки (к примеру, они не понимают, что какой-то водитель хочет их пропустить); они плохо распознают объекты, которые могут появиться на дороге, но которые они еще не знают; наконец, при появлении особенно сложных ситуаций (например, отключение сенсоров) автомобиль аккуратно останавливается и ждет помощи (в Яндексе это называют «режимами паники»). Таким образом, сегодня БА — и в будущем вероятно также — будут отклоняться от нормы дорожного движения, во многом потому, что это очень сложно — быть способным это делать.
БА сегодня и в будущем опирается на разработчиков, операторов и особенно — страховочных водителей; они зависимы от них, поскольку именно специалисты со стороны способны поддерживать технику в нужном состоянии. Даже когда беспилотные автомобили выйдут на дороги общего пользования совсем без водителя в салоне, они все равно будут зависеть от целой армии людей, которые будут их заправлять, ремонтировать, держать в надлежащем состоянии и обновлять им данные.
Сломанный автомобиль или неправильно функционирующий — это легитимно неработающий автомобиль. У нас нет никаких санкций, если механизм внезапно перестал работать. Эти санкции предъявляются людям, но не машинам. Отчасти с этим связана проблема: непонятно, как вменить правовую ответственность беспилотнику. Человека можно наказать, но вот наказывать машину за то, что она сломалась ,— это странно. Как максимум, сломанный механизм можно выбросить. Но в большинстве случаев такие механизмы ремонтируют и — как в случае с заболевшими людьми — как можно быстрее возвращают их в строй.
Больной или необразованный
Засилье образовательного дискурса в сфере беспилотников особенно удивительно тем, что сегодня нет серьезных проектов, которые реализуют беспилотные автомобили исключительно по логике «возьмем большую сеть (или, скорее, сеть сетей) и обучим ее всему». Об этом мечтают многие компании в России и за рубежом, но сейчас такая логика практически нигде не применяется.
Есть другая логика: мы разбиваем всю деятельность машины на ряд задач, а затем помогаем машине начать выполнять эти задачи точнее и эффективнее. Этот процесс не связан исключительно с тем, что машине передаются какие-то знания или навыки, но он связан с тем, что сотни инженеров копаются в проводах, чтобы связать сенсоры и компьютер и заставить сигнал между ними идти очень быстро. Сотни страховочных водителей ежедневно катаются вместе с автомобилем и перехватывают управление на себя, если что-то идет не так. Сотни программистов вычищают HD-карты, отделяя статичные объекты от динамичных. Это долгая и упорная работа по отладке огромной технической системы. А затем еще более упорная работа по координации разных ее частей. Наконец, это проверка и мониторинг, насколько все идет хорошо, и вмешательство, если нет.
Это больше похоже на работу врача, который стремится наладить функционирование тела больного или который пытается взять лежащее перед ним тело или его части со всеми его ограничениями, данными природой, и заботливо сделать из них единый работающий организм.
Забота и поддержка
Один из современных подходов, связанных с технологиями, — это подход, призывающий посмотреть на то, как технологии ремонтируются и поддерживаются в надлежащем состоянии. Стивен Джексон, автор одного из самых убедительных текстов в этом направлении, отмечает, что социальные исследователи так сильно увлеклись темами разработки, производства и использования технологических артефактов, что то, что происходит после этого, вся бесконечная работа по поддержанию их в форме, остается невидимой. Это особенно удивительно на фоне того, что конец XX века характеризуется нарастанием рисков, неопределенностей, аварий и опасностей от все более сложных и все менее управляемых технологических систем.
Как же удается держать эти системы в порядке? Как удается избежать или преодолеть кризисы, которые они вызывают?
Ответ находится у нас перед носом, но скрыт, говорит Джексон, нашими эпистемическими привычками. Существующему относительному порядку в использовании технологий мы обязаны невидимым процессам ремонта и поддержки. Миллионы инженеров, программистов и техников поддерживают наши систему в надлежащем состоянии.
И это характерно не только для тех артефактов, которые уже можно купить на рынке. Разработка и тестирование беспилотных автомобилей — технологий, еще не достигших рыночных успехов, — сегодня полны процессов ремонта, настройки, отладки, фикса. По сути, сегодня это главное, что сопровождает появление новой технологии.
Тестирование беспилотных автомобилей на дорогах публичного пользования состоит почти полностью из процессов мониторинга, заботы, вмешивания, если все идет не так. Почти основную роль здесь играет страховочный водитель. К примеру, в недавней книге, посвященной университетскому проекту разработки беспилотного автомобиля в Германии, Гёде Бот цитирует слова одного из таких водителей:
<Как страховочный водитель> я должен постоянно смотреть на то, что делают другие и что твой автомобиль может сделать <…> Это похоже на инструктора. Хотя водитель-человек более предсказуем, он не станет внезапно разворачиваться или что-то в этом роде. <…> А вот автомобиль, в целом, может. Я должен быть очень осторожен.
Парадокс страховочного водителя состоит в том, что он должен немного доверять автомобилю, но при этом быть очень внимательным и мониторить то, что происходит вокруг. Постепенно между водителем и автомобилем возникает особого типа “доверие”, которое наделяет водителя знанием о том, в каких ситуациях как автомобиль будет действовать.
Страховочный водитель пытается примирить — хотя бы временно — противоречивые цели: с одной стороны, обеспечивать безопасность, а с другой — дать автомобилю проявлять себя в трудных ситуациях.
Схожие мотивы можно обнаружить в разработке беспилотного автомобиля в Яндексе. В отличие от немецкой команды, о которой пишет Бот, разработки Яндекса продвинулись далеко вперед. Но не настолько, чтобы автомобиль самостоятельно и уверенно двигался по дорогам. Дороги очень удивляют разработчиков, потому что на них можно встретить неожиданные вещи типа деревьев или перебегающих зайцев. И конечно, нарушающих правила людей.
Разработчики говорят о том, что у них есть даже специальные режимы — «режим паники». Он включается в ряде случаев, когда машина не может сама дальше действовать. К примеру, у машины можно отказать центральный лидар. Тогда она может плавно притормозить у обочины и послать нотификацию страховочному водителю, чтобы он взял управление на себя.
Яндекс не раскрывает, как часто случаются подобные панические атаки у их автомобиля, но судя по тому, что говорят разработчики, страховочные водители у них выполняю те же функции, что у немецкого проекта. Вероятно, эти функции такие же, как и у всех других страховочных водителей в других проектах. Это функции постоянной заботы, мониторинга и приведения в чувство автомобилей, которые внезапно запаниковали.
И когда страховочные водители привозят автомобили в гараж после дневных или ночных катаний, то десятки программистов проверяют отснятые данные и убирают с них все лишнее, переписывают коды, делая систему более устойчивой и здоровой. В то же время инженеры проверяют провода, сенсоры и смотрят на то, исправно ли работает отказоустойчивая система в машине.
Глядя на все это, язык не поворачивается называть это словом «обучение» автомобиля. Все эти люди не просто учат автомобили, они изо дня в день заботятся о них, приводя в порядок, поддерживают их работу и зачастую разрешают противоречия между автомобилями и сложным миром, в котором они тестируются.
Терапия для беспилотного автомобиля
Дискурс о том, чтобы рассматривать беспилотники в контексте заботы и поддержки, только появляется. Обилие понятий, связанных с обучением, явно на руку и социальным исследователям, и разработчикам, и бизнесменам. Куда приятнее говорить об автомобилях как об умных и интеллектуальных, чем о больных, требующих заботы, поддержки. Особенно, если это касается технологии, которую хотят видеть и называют автономной. Но взгляд через метафору заботы или даже медицины открывают совершенно иное пространство для осмысления феномена беспилотников: в этом пространстве, следуя заповедям Латура, мы видим не один технологических артефакт, а действия многочисленных, в том числе невидимых акторов (и людей, и технологий), которые делают возможным стабильность и работоспособность этого артефакта. Многие из них, выполнив свою роль, совсем исчезнут из жизни беспилотных автомобилей, и мы о них никогда ничего не узнаем. Хотя, конечно, появятся и другие: операторы, диспетчеры, ремонтники и даже сценаристы дорожных сцен. Они будут выполнять невидимую работу, делая беспилотники автономными и эффективными. Так же, как доктора и тренеры выполняют невидимую работу для тех, кто потом в социальных сетях хвастается прекрасным здоровьем и мускулистым телом.
