Закон Мура и искусственный интеллект

Перевод статьи известного журналиста, изобретателя и предпринимателя — Азима Азхара.

Статья переведена компанией Mind Design для Roowix.

Чтобы получить искусственный интеллект, работающий в реальном времени, мы должны изменить современную iPhone индустрию 5 раз

В октябре 2016 года Tesla объявила о значительном изменении своего пакета Advanced Driver Assistance System. Это сочетание датчиков и мощностей компьютера, которые позволят Tesla выполнить обещание Элона Маска к концу 2017 года: «Мы сможем проехать от парковки в Калифорнии до автостоянки в Нью-Йорке без каких-либо средств контроля в течение всей поездки».

Среди многих изменений в пакете датчиков был заменён коммутатор в ядре систем. Вместо процессора от Mobileye (недавно приобретенного Intel) в пакете теперь установлен Nvidia Drive PX 2. Почему?

Оказывается, что для обеспечения безопасности самоуправляемые автомобили нуждаются в экстраординарном количестве данных от сенсорных систем. И чтобы выяснить, что говорят все эти датчики, автомобиль требует беспрецедентного количества обработки. Как только он узнает, что происходит в окружающей среде, требуется больше обработки, чтобы помочь машине понять, что делать дальше.

Технология, разработанная Теслой, дает представление о масштабах обработки.

  • Процессор Mobileye EyeQ3 был слишком большим. Площадь его составлял 42 мм² (около четверти от размера современного процессора Intel i7). Расстояние между транзисторами составляет 40 нм.
  • Сменный чип от Nvidia имеет размер 610 мм² и использует более совершенную технологию производства, упаковывая транзисторы на узле длиной 16 нм. Этот меньший узел означает, что транзисторы упакованы в 2,5 раза плотнее, чем у процессора EyeQ3. Короче говоря, замена чипа Nvidia была улучшена в 90 раз по сравнению с Mobileye.

Даже по правилам Закона Мура, который предполагает увеличение производительности на 60% каждый год, это был значительный скачок. По сути, данный прорыв эквивалентен десятилетнему развитию процессоров по Закону Мура.

AI больше, чем закон Мура

В двух словах, этот прорыв «Теслы» собирает вместе все виды приложений, в которых сегодня используется машинное обучение и которые будут задействованы в обработке данных. Это не просто автономные транспортные средства. Это совокупность наших девайсов с их уникальными программными настройками, возможностями голосового взаимодействия и дополненной реальностью.

Кроме того, меняется и подход к программированию. В мире без машинного обучения большинство разработчиков пишут громоздкие программы. Но теперь разработчики должны упрощать свои решения, смотря на мир как на программный код, который при запуске должен быть строго детерминирован до уровня простейших команд.

В новом мире машинного обучения разработчикам программного обеспечения нужно меньше беспокоиться о переводе абстракций в код. Вместо этого они должны строить вероятностные модели, которые будут способны пережевывать огромные наборы данных, чтобы выдать лучший результат. Разработчики не сталкиваются с этой проблемой при математических абстрактных вычислениях, потому что заставляют компьютер делать множество расчётов за них.

По мере того, как машинное обучение захватывает предприятия, спрос на обработку будет значительно возрастать. Какое влияние это окажет на ИТ-отрасль, на ее поставщиков аппаратного и программного обеспечения? Как изменится практика? Какие возможности это создаст?

Вот три ключевых изменения:

  1. Массово увеличатся объемы вычислений.
  2. Облачные технологии будут процветать.
  3. Появятся новые виды чипов.

Увеличение объема вычислений

Начнем с самоуправляемых автомобилей. На недавнем мероприятии, организованном лондонской венчурной фирмой Open Ocean, ведущий продукт Five.AI, суть которого в автономном запуске транспортного средства, обобщил вычислительные требования, необходимые для полностью автономного вождения.

В рамках разработки продукта были выявлены 2 проблемы.

Во-первых, автомобиль должен ориентироваться в пространстве. Он должен понимать среду вокруг себя (включая все объекты, транспортные средства, людей и т. д.) и своё текущее состояние (направление, скорость, ускорение и т. д.).

Во-вторых, автомобиль должен выяснить, как вести себя надлежащим образом. Каково его следующее оптимальное действие, когда пассажир хочет выйти, учитывая ситуацию вокруг автомобиля прямо сейчас?

Для этого каждый автомобиль требует кучу данных от Лидара, камер и других датчиков. Лидар, использующий явление поглощения и рассеивания света, представляет собой радиолокационный датчик, который является обычным явлением на многих самоуправляемых автомобильных установках (хотя Tesla использует разные технологии).
Одна подсистема должна обрабатывать воспринятые сенсором сливающиеся изменения, прежде чем дополнительные подсистемы запланируют следующее действие. Вся эта обработка происходит на устройстве (автомобиле); даже с сетями 5G риск задержки отправки сигналов в облако для прогнозирования слишком велик.

В целом, чтобы привести автомобиль в полноценный безопасный режим самостоятельного вождения, вся эта обработка и прием данных займет около 200 терафлоп, все из которых по существу должны выполняться в течение одного или нескольких секунд.
200 терафлоп — это сколько? Это много даже по сегодняшним меркам: Закона Мура здесь уже не действует. Чтобы завершить 200 триллионов операций за одну секунду, придётся улучшить текущую модель в 10 раз. Это значительно выше мощности Nvidia в современных моделях Tesla. P. S. Справедливости ради следует отметить, что г-н Маск все же может достичь своей цели с помощью современных графических процессоров Nvidia, если алгоритмические оптимизации обеспечат ступенчатое изменение вычислительной эффективности.

Годовой объем производства автомобилей и микроавтобусов составляет около 100 миллионов автомобилей во всем мире. Это означает, что «обучение» всей продукции транспортных средств в соответствии с этими предположениями эквивалентно одному миллиарду дополнительных Айфонов в год.

В 2016 году общий объем выпуска iPhone в мире достиг около 200 миллионов единиц. Таким образом, слияние глобальных автопарков в реальном смысле эквивалентно увеличению текущего размера полупроводников, поддерживающих индустрию iPhone, по крайней мере в пять раз.

Второе соображение — стоимость и мощность загрузки. Самоуправляемые автомобили должны быть доступными. И поскольку они, вероятно, будут работать на электричестве, «мозг» должен быть энергоэффективным. Тесла сжигает около 200 ватт-часов за километр. Высокопроизводительная, но мощная выходная платформа GPU может добавить дополнительное энергопотребление на 1,2% (Nvidia PX2 потребляет 250 Вт). Увеличение мощности приведёт к увеличению энергопотребления.

Битовой сдвиг является столь же дорогостоящим, как и атомное смещение

Самостоятельные автомобили — это всего лишь более сексуальный конец наших возросших вычислительных требований. Современные подходы к глубокому обучению также имеют значительные вычислительные требования. Современная нейронная сеть может иметь десятки взаимосвязанных слоев и миллиардов параметров, требующих увеличения вычислительной мощности пошаговой функции, по сравнению с сегодняшнем днём.

AI-аналитик Либби Кинси отметил в недавнем эссе, что большинство прорывных подходов в глубоком обучении используют огромные вычислительные средства. В любой нейросети модели эффективного прогнозирования являются самым дорогостоящим вычислительным шагом. Второй шаг, применяемый для получения полезного действия (также известный как inferencing), намного дешевле, но далеко не бесплатный.

Именно по этой причине распознавание объектов начало переходить из облака на мобильные телефоны. Локальные вычисления позволят машинному обучению работать на устройствах быстрее и надежнее при неоднородной сети передачи данных . Хорошим примером может служить технология биометрического распознавания лиц, используемая современными телефонами Samsung.

TensorFlow, самая популярная структура для разработки моделей глубокого обучения, недавно появилась на устройствах Android. Тем не менее, эта структура в настоящее время позволяет только более дёшево получать конечный результат. Не ранее, чем в конце 2017 года, TensorFlow позволит строить более компактные модели глубокого обучения на устройствах. Конечно, сериал «Силиконовая долина» уже использовал эту возможность для благородного использования этой технологии с помощью приложения «Не хот-дог» (что, по-видимому, сейчас реально).

Усиление цикла

Алгоритмы и обработка — это всего лишь две части цикла. Третья часть — данные. По мере увеличения мощности обработки мы можем использовать более требовательные алгоритмы, которые могут использовать больше данных (так что спрос на данные датчиков для обучения или вывода будет увеличиваться). Это, в свою очередь, увеличит спрос на эффективную обработку, что позволит нам увеличить алгоритмическую сложность.

Этот цикл напоминает отношения между Microsoft и Intel во время создания дуополии Wintel. Благодаря разработке процессоров Intel, Microsoft могла писать раздутый код и создавать функции, которые поглощали бы все возможности. Однако, с новыми функциями Microsoft, было предложено улучшить Intel. Инкрементный запас, созданный новыми чипами, позволил Microsoft (и ее экосистеме независимых поставщиков программного обеспечения) использовать этот запас для новых вещей.

Этот цикл показывает, что сочетание увеличения мощности обработки и более требовательных алгоритмов должно стимулировать больший спрос на данные.

И мы это видим. Одним из очевидных примеров является машинное зрение, которое теперь становится достаточно хорошим для использования в качестве основного источника данных для программного обеспечения (а не только для данных журнала, записей в базе данных или ввода пользователем). Самоуправляемые автомобили — отличный пример этого, но также есть биометрические системы идентификации или магазин Amazon Go, который в значительной степени зависит от машинного зрения в качестве основного входа.

Если вы хотите увидеть всё это в действии, взгляните на индустрию датчиков камеры. Ожидается, что в период с 2009 по 2019 год количество произведённых CMOS-датчиков возрастет в три раза.

Датчики, сделанные в 2008/9 году, занимались первичной съемкой фотографий, доступной для обычного человеческого глаза. Но все чаще датчики будут захватывать изображения, которые будут обрабатываться алгоритмами машинного зрения. И люди не смогут замечать пиксели, которые станут доступны только программному обеспечению.

Предполагая пятилетний срок службы типичного CMOS-датчика, к 2019 году мы ожидаем, что в общей сложности будет около 45 млрд камер. Цифровые датчики камеры будут работать лучше, мощность разрешения этих датчиков также увеличится. Закон Хенди свободно описывает законные отношения Мура с плотностью пикселей, что составляет 59% ежегодного улучшения в годовом исчислении. Это означает, что типичный датчик, поставляемый в 2019 году, воспринимает примерно в 100 раз больше пискелей, по сравнению с 2009 годом. И с более высокими объемами производства датчиков, мы увидим 100-процентное увеличение отгрузки оборудования с 2009 по 2019 год.

Все эти датчики способны генерировать огромные объемы данных. Некоторые, как и третья камера на моем iPhone 7+, не будут использоваться очень часто. Другие, такие как датчики CCTV или IoT, будут работать в режиме 24/7, воспринимая потоковое изображение, которые нуждаются в обработке. Команды по созданию самоуправляемых автомобилей считают, что типичный самоуправляемый автомобиль должен иметь 120–150 мегапикселей датчиков в одной камере, которые будут постоянно транслировать, чтобы оценить окружающую среду. (Для сравнения, камера для iPhone 7 имеет разрешение 12 мегапикселей. Профессиональная цифровая камера Canon EOS5DS оснащена 50-мегапиксельным датчиком. Мегапиксель — это единица графического разрешения, эквивалентная 1 048 576 пикселей).

Лидар значительно улучшается. Как отмечает генеральный директор Intel Брайан Кржанич в недавней статье:

В автономном автомобиле мы должны учитывать камеры, радар, гидролокатор, GPS и LIDAR — компоненты, необходимые для этого нового способа езды как поршни, кольца и блоки двигателя. Камеры будут генерировать 20–60 МБ / с, радар вверх 10 КБ / с, сонар 10–100 кБ / с, GPS будет работать со скоростью 50 кБ / с, а LIDAR будет находиться в диапазоне от 10 до 70 МБ / с. Запускайте эти номера, и каждый автономный автомобиль будет генерировать около 4000 ГБ — или 4 терабайта — данных в день.
Для сравнения, наиболее «голодные» мобильные интернет-пользователи в мире, финны, в среднем потребляли 2,9 Гбайта данных в месяц в 2015 году. (Иными словами, ежедневные потребности самоуправляемых автомобилей эквивалентны примерно 40 000 финнам, занимающимся серфингом в Интернете.)

Ожидается, что к 2020 году от 20 до 30 млрд. устройств ввода-вывода будут подключаться к сети Интернет и трафик будет состоять из потоковых данных, которые помогают строить более интеллектуальные объекты, дома, сообщать о поведении потребителей, обеспечивать мониторинг безопасности и потребление энергии.

Это всего лишь несколько новых приложений, доступных в Интернете. Есть, по крайней мере, еще четыре вещи, которые задают тяжелые требования и которые мы не может рассмотреть в этой статье:

  • Дополненная и виртуальная реальность. AR & VR, которые в значительной степени зависят от машинного зрения и 3D-моделирования создадут невероятные требования к обработке. (для пример Softbank инвестировал огромные деньги в пионера виртуального мира, приобрел ARM, полупроводниковый дизайн и купил разумную долю в Nvidia.)
  • Биоинформатика полагается на тяжелые вычисления для миллиардов данных, которые требуют обработки, анализа и хранения. Согласно документу, опубликованном четырьмя немецкими программистами в 2009 году, размер баз данных последовательности ДНК удваивается два раза в год, масштабируясь с такой скоростью, что вычислительная производительность вряд ли может справиться.
  • Вычислительная биология, где компьютерное моделирование используется для изучения биологических систем, также увеличит спрос на циклы. (Для простого введения в вычислительную биологию прочтите это.)
  • У крипторесурсов есть свои собственные вычислительные требования.

Этот маховик вычислений, создающий новые приложения, создающие новые алгоритмические решения, порождающие больший спрос на данные, увеличивающие спрос на вычисления, не просто продолжится. Этот процесс ускорится и затмит предыдущие достижения в области вычисления больших данных.

Одни только самоуправляемые автомобили требуют создания 5 новых iPhone-индустрий ежегодно. Многие другие новые приложения в области машинного обучения еще больше повысят спрос на вычисления и вслед за ним отрасль полупроводников будет также расти.


Это конец первой части. Во второй части мы обсудим роль программирования и ограничения облачных вычислений. Мы также обсудим сдвиги в архитектуре процессоров и новые способы вычисления. В третьей части мы обсудим последствия для отрасли и возможности для инвесторов.

Исследовательскую помощь мне оказала Мария Гаврилова. Спасибо Кенну Кьюкье, Сэнди Маккиннону, Либби Кинси, Джеральду Хаффу и Питу Уордену за комментарии к эскизам этого эссе.

Я курирую еженедельный информационный блог о влиянии экспоненциальных технологий на бизнес, общество и государство. Присоединяйтесь к более чем 18 тыс. счастливых читателей.