Автономный робот. Начало
Мы в HFLabs создаем робота, который приспосабливается к произвольной среде и каждый день может вести себя по-разному.
С таким роботом можно играть. Можно целенаправленно создавать для него игры, обучающие конкретным навыкам. А можно просто оставить робота наедине, чтобы учился сам.
Гипотеза в том, что такая игрушка никогда не надоест, поскольку все время эволюционирует. Мы ориентируем ее на тех, кто не боится завести умную штуковину, у которой свои цели, неизвестные и разные.
Целевая функция роботов и людей
В классической робототехнике роботов стараются делать полезными для людей. Это значит, что есть целевая функция, которая оценивает полезность. «Быстрее», «точнее», «устойчивее», «надежнее» – это все целевые функции.
И разработчики, и сам робот, если он с элементами самообучения, максимизируют целевую функцию действиями или бездействием.
У классического подхода уже очень много достижений: беспилотные автомобили, распознавание образов и речи, игра в шахматы и го, подбор рекомендаций по истории покупок.
А какая целевая функция у человека? На этот вопрос огромное количество ответов, от религиозных до гедонистических. Более того, у каждого на разных этапах жизни функция разная. Иногда – просто добежать до туалета, иногда – забабахать что-то надличностное, что переживет автора.
Мы пришли к выводу, что любой агент, живой или искусственный, стремится к состояниям, из которых, по его мнению, доступно как можно больше других состояний.
Человек старается избежать смерти, серьезных увечий и болезней, поскольку они резко сокращают доступные состояния. В случае смерти – до нуля.
Но если веришь в бессмертную душу, появляются случаи, когда правильная смерть лучше неправильной жизни.
Деньги расширяют пространство состояний, поэтому людям нравится, когда у них больше денег.
Целевая функция человека и автономного робота – достичь состояния, из которого доступно как можно больше других состояний.
Различимые и неразличимые состояния
Состояние – это все ощущения, которые человек получает в каждый момент времени. Всё, что он видит, ощущает и думает.
Казалось бы, люди все время получают что-то новенькое. О каком расширении или сужении пространства состояний можно говорить?
Даже если сидеть неподвижно и смотреть на стену, скоро начнешь замечать ранее невидимые детали. Это и есть новые состояния.
Если закрыть глаза, почувствуешь, как тело с тобой разговаривает. Начнешь чувствовать движение воздуха внутри носа. Все это очень даже новые состояния.
Поэтому правильнее говорить о состояниях, которые различимы. Различимые состояния – те, которые ведут к разным результатам в контексте важных для конкретного человека целей.
Сидеть на месте для того, кто ориентирован на зарабатывание денег, – бессмысленно и скучно. В это время одно состояние неотличимо от другого.
Сидеть на месте для человека, практикующего медитацию, – увлекательнейшее путешествие в самого себя.
Получается прекрасная система, определенная в терминах самой себя. То, что человек считает одинаковым или разным, зависит от его целей. А цели – это состояния, из которых доступно максимум других различимых состояний.
Из такой системы следует, что каждый в среднем получает примерно то, во что верит. Однако поверить во что попало человек не может, потому что даже восприятие объектов и явлений одинаковыми или разными зависит от того, во что человек верил раньше и в каких состояниях оказывался.
Человек различает только те состояния, которые ведут к разным результатам в контексте его целей.
Стремление к новизне
Если испытываемые состояния слишком одинаковы, обычно это означает, что человек никуда не движется. Он чувствует скуку, дискомфорт. Дискомфорт важен, потому что с застывшими формами безжалостно расправляется красавица-энтропия.
Но если испытываемые состояния отличаются очень сильно от спрогнозированных и друг от друга, возникает паника потери контроля. В слишком меняющейся среде почти невозможно ничего прогнозировать, мозг становится попросту не нужен.
Паника потери контроля – это когда водитель из Мурома получил права три дня назад и пытается проехать по Таганской площади в Москве.
Человек стремится к новизне, но умеренной.
Суть проекта автономного робота
Всю эту философию мы хотим воплотить в физическом роботе. У него будет две задачи:
- расширять пространство состояний согласно своим целям: предположениям о тех состояниях, из которых доступно больше других состояний;
- удерживать долю получаемой новизны в определенном небольшом диапазоне.
Цели робота будут по мере развития меняться, а мотивация на новизну – нет. В активной среде, он будет уделять больше внимания многократным повторениям, чтобы делать среду более предсказуемой. В пассивной будет чаще менять поведение, чтобы взаимодействовать со средой новыми и новыми способами.
Глобальная цель – технология создания автономных штук, способных жить в любой среде. Им нельзя будет приказывать, только договариваться. Договариваться теми методами, которые им доступны и укладываются в их цели.
А прямо сейчас у нас есть простой робот, сделанный из пылесоса. С камерой и колесиками.
Пока мы работаем над тем, чтобы робот произвольно двигался, наблюдал за своими движениями и изображением на камере и периодически возвращался на зарядную станцию. Это единственное для него ограничение, а в остальном – свободная игра и полет.
Если все это вам интересно, присоединяйтесь. Подписывайтесь на блог, приходите в команду. Мы открыли две вакансии:
- редактор блога (40 000 рублей на руки, частичная занятость);
- программист на python (150 000–200 000 рублей).
Пока у нас только пылесос с камерой. Есть шанс войти в проект на старте.
О чем мы расскажем дальше
- Почему люди решили, что боль – это плохо;
- почему на самом деле речь не про состояния как таковые, а про субъективно различимые состояния;
- граница между порядком и хаосом – почему в армии дисциплина, а в дизайнерских компаниях бардак.
Подписывайтесь на обновления:
