Uber-сюрприз: “человеческий фактор” и аварии “беспилотных автомобилей”
Технология как социальный эксперимент
Что такое технология? На этот животрепещущий вопрос, конечно, нельзя дать однозначного ответа на все случаи жизни и исследования. Ответы на такой вопрос всегда будут частичны, т.е. пригодны для одних целей, но бесполезны для других. Меня здесь интересует один конкретный ответ, который позволяет хорошо понять, что сегодня происходит вокруг беспилотных автомобилей.
Технология — это социальный эксперимент. Сегодня мы то и дело слышим, что очередная компания выпустила на дороги какого-то города свои так называемые “беспилотные автомобили”. Может возникнуть вопрос: если эти достаточно умные машины выпускают на общественные дороги, то почему их нельзя купить? Дело в том, что это еще не готовая технология. А раз это так, то почему эти недостаточно умные машины выпускают на дороги? Дело в том, что такие заезды по городским дорогам общего пользования — это эксперименты. В медиа используют слово “испытания”.
Если это испытания, то что испытывается? Разработчики “беспилотников” ожидаемо описывают эти заезды как технические эксперименты в общественном пространстве. По их словам тестируются те или иные способности машин к автоматическому вождению в более непредсказуемой среде, чем закрытый полигон или симулятор. Но, разумеется, испытывается не только “техника”, но и цифровые и материальные инфраструктуры, взаимодействия с другими участниками дорожного движения, законы, нормативы, регуляторные режимы, общественное мнение и нравы. В конце концов, локально испытывается все общество. Поэтому следует говорить именно о социальных экспериментах, а не о технических испытаниях в социальном контексте.
Ну, хорошо, если технология — это (социальный) эксперимент, то что такое эксперимент? В свое время Ханс-Йорг Райнбергер предложил понимать эксперименты как системы организованного производства сюрпризов. В случае технологий такими сюрпризами могут быть как непредвиденные способы использования, так и аварии или нештатные ситуации. Здесь мы подходим к неожиданному, если не парадоксальному следствию нашего определения технологии.
Если технология — это социальный эксперимент, а эксперимент — это социально организованный способ производства сюрпризов в виде аварий, то технология — это социально организованная система производства аварий.
Разумеется, аварии — это лишь небольшая часть сюрпризов, производимых технологиями. Но далее я сосредоточусь на них как самом ярком и неоднозначном типе техно-сюрпризов.
Авария как проблема и ресурс
Определение технологии как социально организованной системы производства аварий, конечно, очень ограниченно и осмысленно только под определенным углом. Оно, однако, схватывает очень тривиальное и вместе с тем, редко осознаваемое положение дел. Всякий раз, когда мы говорим о технологиях, мы неявно подразумеваем аварии, поломки, ошибки, сбои. То, что нет непогрешимых технических систем сколь неоспоримо, столь и тривиально.
Но формула “говорим технологии — подразумеваем аварии” указывает также на нормативную сторону техно-сюрпризов. Аварии есть только потому, что технологии — это нечто построенное, форма порядка, набор правил, предписывающих, дозволяющих, запрещающих. Только потому, что есть набор ожиданий того, что должно произойти, есть сюрпризы. Только потому, что есть набор правил, можно определить некоторые события или действия как ошибки. Только потому, что есть представление о штатной работе, можно определить, что является аварией. Тогда наше определение технологии может стать менее вызывающим:
Технологии — это способы упорядочивания мира, которые по-особому проводят границу между правильным и неправильным, и для этого они порождают ситуации, в которых эта граница неожиданным образом испытывается на прочность.
Получается, ни у разработчиков, ни у пользователей нет опции, при которой у них могут быть технологии, но не будет аварий. Но у них есть другие выборы. Какие техно-сюрпризы для них желательны? И какие выводы следует делать из них?
Отношение создателей технологий к авариям амбивалентно. С одной стороны, сама идея испытания разработки подразумевает, что она подвергается риску. Зачем это делать? Затем, чтобы в малом и контролируемом масштабе сгенерировать ошибки, которые можно затем исправить и сделать технологию более устойчивой и надежной. В этом отношении аварии — ресурс разработки. Технологии учатся на авариях.
С другой стороны, когда техно-сюрпризы оказываются достоянием общественности, они нередко становятся проблемой. Громкие аварии могут не только нанести ущерб репутации и навлечь санкции со стороны регуляторов, но и вообще поставить крест на разработке. Но почему? Не странно ли это, учитывая тривиальность формулы “говорим технологии — подразумеваем аварии”? Тут на первый план выступает то, что необходимая связь между технологиями и авариями редко осознается в публичном пространстве.
Брайн Уинн позволил нам понять, почему техно-сюрпризы так шокируют непрофессионалов. Он обратил внимание на резкую разницу между профессиональной практикой разработки и эксплуатации технологий и манерой говорить о них в публичном пространстве. Между собой специалисты, разумеется, знают, что аварии и поломки — это неизбежная и нормальная часть функционирования технологий. Но стандарты общественного восприятия технологий таковы, что на публике они вынуждены лицемерно говорить о полной безопасности сложных систем и о полном контроле над ними. Резонансные аварии не только опровергают эти заведомо невероятные утверждения, но и влекут за собой расследования, которые обнаруживают, что действительная практика разработки и эксплуатации сложных технических систем сильно расходится с их публичным образом. Это шокирует публику. Наивный техно-оптимизм и хайп вокруг инноваций сменяется разочарованием и негодованием.
Для исследователей аварии также являются и ресурсом, и проблемой. Аварии — важный ресурс социальных исследований технологий по двум причинам. Во-первых, аварии и поломки, ставшие достоянием широкой публики выводят социальные эксперименты технологий из приватной сферы инженеров и технологов на арену публичных дебатов. Во-вторых, аварии дают много ценной информации. Они показывают какие правила и допущения формируют “черные ящики” технологий. Они также выявляют неопределенности, которые можно упустить из виду или просто проигнорировать, когда все работает хорошо. Поэтому Они и следующие за ними официальные расследования и публичные разногласия — незаменимый источник информации и методологическая точка входа для исследователей.
С другой стороны, для исследователей, нацеленных на формирование рамок управления (нарождающимися) технологиями, общественное восприятие аварий является проблемой. Глубокий разрыв между практикой технологий и публичным дискурсом ведет к публичной ажитации и негодованию, а не рефлексии по поводу сложных причин поломок и катастроф. Это препятствует формированию социальной политики технологий, в основе которой лежит “социальное обучение” как способ институтов продуктивно осмыслять техно-сюрпризы. Разрыв между приватным и публичным заставляет “технологов” скрывать от публики практические любые неполадки, вместо того, чтобы вовлекать ее в обсуждение ошибок. Это не только усугубляет переход от “wow” к “yoke”, но и сокращает возможности для социального обучения. Аварии как часть процесса обучения технологий остаются только приватным ресурсом отдельных компаний, а не условием для социального обучения и переопределения рамок управления технологиями.
Здесь мы подходим к вопросу о том, какие выводы можно делать из аварий. Для исследований и социальной политики технологий ценность аварий в том, что они позволяют проследить, как разные акторы реагируют на них, готовы ли они учиться на этих ошибках или нет.
“Человеческий фактор” как ресурс и как проблема
Что следует за громкой аварией? Обычно расследование, которое стремится объяснить событие и распределить ответственность за него между участниками. В технологических авариях уходящее глубоко в историю западной культуры подобие научного объяснения и судебной тяжбы становится очевидным. Они всегда порождают двойной вопрос: в чем причина и кто виноват?
Клише “человеческий фактор” — одно из самых частых объяснений в публичном пространстве того, почему произошла авария. У этого клише много вариаций: “человеческая ошибка”, “ошибка пользователя”, “непредвиденные последствия”. “Оператор нарушил правила безопасности”, “пилот нажал не на ту кнопку, потому что забыл об особенностях этой модели самолета”, “инженер-испытатель смотрела в свой телефон, а не на дорогу”. В этих с виду простых заключениях человек определяется как “слабое звено” социо-технической системы, как “зона моральной деформации”, ведущая к сбою системы. За апелляциями к “человеческому фактору” скрывается либо наивный посыл — “как было бы хорошо, если бы технологии полностью состояли из машин и исключали людей”, — либо подспудное избавление от ответственности создателей технологии — “наши технологии не гарантированы от аварий, поскольку ненадежные люди неизбежно являются их частью”.
Что не так с объяснением через “человеческий фактор”? Оно неявно делает сущностное утверждение о природе человека и машины. Человек по определению склонен ошибаться, а машина — по определению нет. Допустим, и что в этом такого? Дело в том, что такое объяснение техно-сюрпризов блокирует анализ технологии как сложной и внутренне противоречивой социо-технической системы. Это препятствует пониманию того, что сюрпризы, преподнесенные технологиями, индуцированы системно, институционально, а не индивидуально. Поэтому нужно менять сами системы, институты, а не сваливать все на нерадивых “пользователей”. Такое изменение предполагает социальное обучение и изменение рамок политики инноваций.
Конечно, можно критиковать объяснение через “человеческий фактор” в лоб, указывая на то, что технологии насквозь антропоморфны и вообще сделаны людьми. Поэтому нет смысла отделять “человеческий” фактор от “машинного”. Но я сопоставлю критику “человеческого фактора” с критикой “человеческой природы” в социологической теории первой половины XX в.
В конце 1930-х гг. Толкотт Парсонс, а за ним и Роберт Мёртон обрушились с критикой на то, что они называли “утилитаристскими” социальными теориями. Меня здесь интересует теория девиации Мёртона. Он пытался объяснить, почему существуют поломки социальных кодексов? Почему люди нарушают социально установленные правила? Почему они не могут просто следовать тому, что им предписывает общество? Весь спектр такого преподносящего социальные сюрпризы поведения, он называл девиантным. Мёртона интересовали нарушения как неформальных и нравственных норм, так и формальных правовых законов. Чтобы упростить, ограничимся нарушением законов. Тогда интересующий нас здесь вопрос сужается: почему люди нарушают законы?
По Мёртону, “утилитаристы” дают неудовлетворительный ответ на этот вопрос. Их ответ апеллирует к “человеческой природе”: у людей есть врожденные биологические влечения, которые прорывают ограничения, установленные социальным порядком. Задача общества тогда — установить законы, которые будут либо эффективно сдерживать импульсы “человеческой природы”, либо управлять ими. Почему люди соблюдают законы? Ответ утилитаристов: потому что это либо выгодно им, и тогда соблюдение законов — это результат рационального расчета, — либо у них просто нет другого выбора, кроме как соблюдать правила, их поведение обусловлено социальным порядком, хотят они этого или нет.
Нетрудно увидеть, что на уровне социальной политики эта теория влечет за собой проблематичные следствия. Всякий раз, когда мы сталкиваемся с преступлением как социальной поломкой, аварией, мы возлагаем ответственность за нее исключительно на индивида, нарушившего закон. Проблема всегда в отдельных людях и их “человеческой природе” и никогда в самом социальном порядке. Общество — всегда источник конформного поведения; “человеческая природа” — всегда источник девиации. Социальная политика, основывающаяся на “утилитаристской” теории девиации, будет тяготеть к изоляции отдельных индивидов, а не к модификации социальной структуры.
Другими словами, такая социальная политика будет блокировать обучение социального порядка точно так же, как это делает объяснение аварий через “человеческий фактор” в отношении технического порядка. В области законотворчества или правоприменения идеи, что для достижения большей конформности поведения членов общества следует просто изолировать преступников, или просто ужесточить наказание, давно дискредитированы. Сегодня они являются уделом лишь дилетантов. Но в публичном дискурсе о технологиях апелляция к “человеческому фактору”, кажется, обладает большим хождением и авторитетом.
Популярный нарратив, обосновывающий необходимость разработки “беспилотных автомобилей”, опирается на характерное объяснение эпидемии аварий в современной система автомобильности. Главы лидеров гонки беспилотных автомобилей Waymo и Tesla утверждают, что в более чем 90% случаев причиной аварий являются “человеческие ошибки”.
Такие апелляции к “человеческому фактору” как главному источнику проблем намекают, что все, что нужно сделать, так это удалить из новых умных машин кожаную прокладку между рулем и сиденьем. Изолируем нарушителей ПДД, поразим их в правах, и проблемы наших транспортных систем будут решены.
Но объяснения этого типа используются создателями “беспилотников” и для оправдания своих аварий. Например, Яндекс склонен квалифицировать происшествия со своими умными машинами как случаи, когда ими управляли инженеры-испытатели.
“Человеческий фактор” –– стратегический научно-судебный ресурс для компаний. Он уводит из-под критики саму технологию и возлагает весь груз ответственности на людей. Люди ошибаются всегда, машины — никогда.
Ну, хорошо, если не “человеческий фактор”, то что? Как иначе можно понимать техно-сюрпризы? Какие иные выводы можно делать из них? Вернемся к Мёртону, посмотрим, что он предлагает. Его основной тезис таков: общество является источником и конформного, и девиантного поведения. С конформным поведением понятно: общество устанавливает правила, люди их выполняют и оно позитивно оценивает такой тип поведения. Но как общество может быть причиной того, что люди нарушают ими же установленные правила? Все относительно просто. “Утилитаристы” считали, что цели человеческого поведения либо произвольны, либо являются следствием сугубо рационального расчета. Общество определяет лишь нормы достижения этих произвольных целей. В противовес этому Мёртон утверждает, что общество определяет не только нормы, но и цели, к которым должны стремиться люди. Он описывает положение дел в американском обществе в период между Первой и Второй мировыми войнами.
Одна из доминирующих целей в этом обществе — так называемая американская мечта — достижение экономического успеха, которое тесно связано с занятием высокого социального статуса. Эта цель не произвольная, а определяется культурно. Она не уникальна для американского общества. Но особенность состоит в том, что на идеологическом уровне эта цель считается приемлемой для представителей всех социальных классов и даже тотально навязывается всему населению. Идеология “американской мечты” требует от американца стремиться к экономическому успеху. У него нет опции снизить свои требования и довольствоваться малым. В этом контексте “бедность — это порок”. Как может быть иначе? Идеология кастового или феодального общества может не предъявлять такие требования к представителям “низших” слоев населения. У них либо нет права быть богатыми, либо для них “бедность — не порок”. Одним словом, разница между обществом с идеологией открытых классов (как в США) и сословным обществом в том, распространяется ли идеология экономического успеха тотально на все классы или применима к ним по-разному.
Помимо целей, общество определяет допустимые и недопустимые средства достижения этих целей — институциональные нормы. Это значит, что социального одобрения будут удостоено лишь то поведение, которое не только достигает успеха, но и делает это по определенным правилам. Экономический успех, добытый преступным путем, повлечет за собой социальные санкции, равно как и отказ быть успешным.
Итак, ясно, что каждый член американского общества должен стремиться к экономическому успеху независимо от того, в какой позиции социальной структуры он находится. Но не менее ясно, что люди, находящиеся в разных социальных классах и в разных жизненных обстоятельствах, обладают неодинаковым доступом к средствам достижения этой культурно определенной цели. Из-за этого люди, занимающие определенное положение в социальной структуре, сталкиваются с двумя наборами правил, противоречащими друг другу. С одной стороны, от них требуется быть успешными. С другой — у них нет доступа к социально одобряемым способам достижения этих целей. Более того, они могут находиться в ситуации, где все вокруг нарушают закон, чтобы достичь социально одобряемых целей.
Одним словом, общество не является внутренне согласованной и непротиворечивой структурой. Люди, которые сталкиваются с сильно противоречивыми требованиями, предъявляемыми к ним в силу их положения в социальной структуре, с большей вероятностью (хотя и не обязательно) будут нарушать закон. Именно противоречия внутри структуры общества ведут к преступлениям, а не прорывающие социальные ограничения импульсы “человеческой природы”.
К подобной теории в 1980–1990-х пришли социально-конструктивистские исследования технологий. Поломки и аварии стали объяснять не “человеческим фактором”, а рассматривать как вызванные самой технологической системой. Для этого надо было начать понимать технологии как сложные и противоречивые системы правил. Все тот же Брайан Уинн называет технические системы неправилосообразными (unruly), потому что они не просто следуют социально предустановленным правилам, но являются “множеством практик, которые генерируют новые правила”.
Как технические системы становятся внутренне противоречивыми? Уинн приводит пример одной аварии. В мае 1984 недалеко от Ланкастера в подземном помещении гидротехнических затворов для перекачки воды произошел взрыв метана. Погибло 16 посетителей. В ходе расследования было установлено, что в туннеле образовалась большая пустота, куда просочился и скопился метан из подземных угольных отложений. Затем при включении насосов, газ заполнил помещении гидротехнических затворов под давлением воды и по неустановленной причины воспламенился. Почему это произошло? Отчасти потому, что операторы станции применяли неформальную практику, при которой промывные клапаны все время оставались открытыми. Эта практика противоречит официально установленной процедуре, которая требует держать клапан все время закрытым, но раз в несколько недель проводить полную промывку, чтобы удалить скопившийся ил.
Почему операторы проявили такую “самодеятельность”? В действительности это было реакцией на протесты рыболовов, жаловавшихся на то, что после полной промывки их обычно чистая река мутилась в течении нескольких дней. Поэтому в качестве альтернативы официальной инструкции операторы начали медленно, но непрерывно смывать ил, оставляя клапан открытым.
Почему никто не предупредил их о возможных последствиях такой эксплуатации системы? А потому что они создали для себя новое и неофициальное правило использования системы, о котором не знал никто, кроме них. Но даже если бы эксперты и знали об этом, то они явно не знали о метане и вряд ли могли бы предвидеть опасность образования пустоты в тоннеле.
Что произошло? Уинн называет это локальной “контекстуализацией” технической системы.
В процессе эксплуатации даже изначально непротиворечивая система правил подвергается модификации и фрагментации из-за необходимости реагировать на новые ситуации, обстоятельства, локальные требования. Инженеры, операторы, пользователи не только следуют предустановленным правилам, но и генерируют новые. Как следствие техническая система становится внутренне противоречивой, что может приводить (хотя и не необязательно) к авариям.
Теперь взглянем еще раз на Uber-сюрприз — резонансную аварию, о которой я писал в одном из предыдущих постов. 18 марта 2018 года Volvo XC90, управляемая программным обеспечением Uber, сбила Элейн Херцберг, переходившую дорогу в неположенном месте. Машина не превышала ограничение скорости в этой зоне. Но инженер-испытатель, Рафаэла Васкес, которая могла и обязана была следить за дорогой и вовремя вмешаться, к сожалению вплоть до последней секунды перед столкновением смотрела телевизионное шоу на своем смартфоне. Все это делает Васкес удобной мишенью для научно-судебного объяснения аварии через “человеческий фактор”. Что в итоге и произошло.
Но есть и другие приметы, которые намекают на то, что из истории можно сделать другие выводы.
Во-первых, алгоритм Uber сначала распознал Херцберг (переходившую дорогу, толкая перед собой велосипед с пакетами покупок) сначала как неопознанный объект, затем как велосипед и, наконец, как машину. Почему интеллектуальная система пилотирования сразу не дала сигнал о снижении скорости, чтобы в принципе избежать столкновения с чем-либо? Потому что она была обучена так, чтобы не давать большого количества ложноположительных распознаваний. В отличие от нервозного и слишком осторожного Lexus от Google, Volvo от Uber чрезмерно уверена в себе, в ее обучение был заложен — как теперь понятно — слишком высокий порог определения опасных объектов.
Во-вторых, алгоритм за 1,3 секунды все-таки дал машине команду экстренного торможения, но эта функция была отключена в этот день инженерами Uber. Зачем? Чтобы избежать конфликтов управления в нечеловеческом коллективе, осуществляющем пилотирование.
Думается, что дело не только в смертельной халатности инженера-испытателя Uber, но и в локальных практических противоречиях, раздирающих “беспилотную” транспортную систему компании. Именно на этих актуальных и потенциальных противоречиях нужно сосредоточиться не только исследователям, но и полисимейкерам и самим инноваторам, наивно фантазирующим о безопасном будущем как о простой замене ненадежных людей надежными машинами.
Кажется, что поскольку Мёртон предложил свою теорию общества в конце 1930-х, а Уинн и его коллеги пришли к подобной теории технологии в 1980-х,
наше мышление технологий отстает от мышления социальной структуры примерно на 50 лет. Но вместо “догоняющего развития” нам нужно лишь соединить два этих типа мышления вместе.
Текст подготовлен при поддержке гранта РНФ №20–78–10106 “Беспилотные автомобили и общество: взаимодействие технологий, социоэкономических сценариев и регулирования в радикальной инновации”
