Обучение бездействием
Новый прорывной метод машинного обучения чуть приближает ИИ к человеческому
Революционная идея данного метода , изобретенного профессором David Wolpert и 2мя его постдокторантами, вдохновлена исследованиями по выявлению «бессмысленной информации» и гипотезой, что ключевой целью и функцией памяти является способность забывать информацию.
Трое исследователей задались вопросом
— что получится, если нейронные сети будут обучены забывать бесполезную информацию (и как их научить это делать)?
На самом деле, задачей «забывания ненужной информации» при машинном обучении занимаются уже без малого 20 лет.
Ученые сегодня не совсем понимают, каким образом алгоритмы машинного обучения преуспевают в «интеллектуальных» задачах, типа распознавания изображений и речи. Зато они точно знают, что для эффективной генерализации (классификации данных при поиске обобщающих шаблонов) алгоритм должен помнить важную информацию, забывая о бесполезной. Эта задача, которую часто называют «Информационное бутылочное горло» (“Information Bottleneck”), породила в последние годы волну исследований, будучи впервые сформулированной еще в 2000 году.
И только совсем недавно эта задача была переформулирована применительно быстро развивающейся области глубокого обучения (т.е. машинного обучения, работающего на многослойных нейронных сетях).
Ведь весьма возможно, что сети глубокого обучения столь эффективны при решении многих интеллектуальных задач, не только потому, что они учатся предсказывать, но и потому, что они учатся игнорировать ненужную информацию.
В своей последней публикации «Нелинейное информационное бутылочное горло» , ученые представляют метод обучения алгоритма машинного обучения для идентификации объектов с использованием минимальной информации. Метод решает проблему того, как оценить объем информации, хранящейся в алгоритме, используя новую оценку, опубликованную авторами в июле прошлого года в журнале Энтропия.
Цель этой работы — научиться делать предсказания с использованием данных из ограниченной полосы пропускания.
Допустим, вы — спутник в космосе или удаленная метеостанция в Антарктиде. Вы не можете отправить все данные, которые вы собираете, — их слишком много. Но как тогда определить, какие именно части данных следует послать?
В принципе же, перспективы нового метода куда шире. Он может позволить нейронным сетям находить более абстрактные (более обобщенные) шаблоны, что потенциально может дать столь необходимый рывок в повышении производительности — от распознания пешеходов вблизи самоуправляемых автомобилей до получения пятидневного прогноза погоды с Марса.
И тем самым чуть приблизит ИИ к интеллекту человека.
_________________________
Хотите читать подобные публикации? Подписывайтесь на мой канал в Телеграме, Medium, Яндекс-Дзене
Считаете, что это стоит прочесть и другим? Дайте им об этом знать, кликнув на иконку “понравилось”.
