Этой весной мы решили активнее делиться опытом и знаниями, которые, как нам кажется, могут быть полезны для других команд, которые столкнулись с задачей работать с картой.

Лекция для дизайнеров

По приглашению команды Rambler Design дизайнеры студии Лена Пронина и Кристина Чахоян рассказали о том, как проектировать и создавать интерфейсы с картами: что необходимо учитывать, отличается ли подход в проектировании интерфейсов с картой от любого другого интерфейса:

JS Meetup: GEO

Вторым событием стал тематический митап сообщества MoscowJS, где ребята-разработчики рассказали про технологии и инструменты разработки, которые мы используем в проектах.

Артём Боюр рассказал про Deck.gl и как его нужно готовить:

Степан Кузьмин, CTO Urbica, рассказал про декларативные карты с React и Mapbox GL JS:

К слову сказать, наша библиотека для использования Mapbox GL JS для React становится популярной, появляются новые пользователи, новые пул-реквесты. Если вы разрабатываете React-приложения с картой, обязательно попробуйте нашу библиотеку react-map-gl

Urbica — московская компания, которая занимается дизайном и консалтингом в области визуализации данных. Наша область экспертизы — пользовательский опыт человека в городе

beta.recyclemap.ru

Каждый год в России образуется 70 миллионов тонн твёрдых бытовых отходов, некоторые из которых разлагаются сотни лет. Лучший способ избавиться от мусора — не производить его и не пользоваться одноразовыми вещами. А накопившееся вторсырьё лучше сортировать по фракциям: пластик, стекло, бумага, металл и другие — и отправлять на переработку. Про раздельный сбор читайте подробнее в блоге Greenpeace. Recyclemap показывает, где горожанам сдавать уже отсортированный и готовый к переработке мусор.

Как устроен раздельный сбор в России

Во время разработки карты мы внимательно посмотрели на данные и нашли интересные факты. Всего в России 13 558 пунктов раздельного сбора мусора, из них 4 626 в Москве и 1 728 в Петербурге.

Какие фракции мусора (пластик, стекло, бумага и другие) наиболее «популярны» в разных городах? Выяснилось, что в Мурманске сдают в основном стекло, а в портовых городах: Архангельске, Владивостоке, Сочи — чаще всего перерабатывают металл.

Чтобы узнать, насколько доступны пункты приёма разных типов мусора, мы посчитали их пешеходную доступность. Оказалось, что в Петербурге проще сдать батарейки и одежду, чем в Москве.

Пунктов приема пластика в Москве в пять раз больше, чем в Петербурге, при этом в обоих городах его сложнее сдать в центре города, чем на окраине.

Recyclemap часто становится точкой входа в тему защиты окружающей среды: это самый популярный онлайн-проект Greenpeace в России. Мы создавали инструмент, который станет проводником в новый вопрос, и проектировали новый recyclemap.ru с добротой и заботой. Делая продукт понятнее и проще, мы снижаем порог входа и расширяем сообщество осознанных потребителей.

Разобраться быстро и легко

Главная цель карты — помочь быстро сориентироваться и найти нужные объекты. На старой recyclemap.ru пользователь не получал готовый ответ на вопрос «Куда мне отнести мусор?». Чтобы решить задачу:

• Выделили главное. Подложка — контекст для данных, а акцент сделан на пунктах, чтобы они лучше читались. Вместо перегруженных Google Maps создали карту на Mapbox: нейтральную, но узнаваемую;
• Упростили символы. До редизайна было много визуального шума: значки пунктов, цифры, цветовое кодирование без расшифровки. Чтобы пользоваться, нужно было разбираться в правилах;
• Продумали фильтры. Показали сразу все точки и настроили сортировку в интерфейсе. Фильтрацию вынесли на главный экран, причём если выбрать две фракции, будут видны пункты, в которых принимают обе;
• Карта как интерфейс. На старой recyclemap.ru было много лишнего: например, список ближайших объектов без указания, какая область покрыта. Теперь карта занимает большую часть экрана, а другие элементы устроены вокруг неё.

Сориентироваться в пути

Мы начали с понимания пользовательских сценариев для беты. Первый — найти пункт сбора мусора, второй — добраться до него. Работали по принципу mobile first со статистикой старой карты под рукой. Чтобы карта помогала по дороге к пункту:

• Пешая навигация. Подложка лёгкая, но здесь много информации о территории: например, выделены дороги и подняты наверх ориентиры вроде станций метро. От локации пользователя до пункта строится маршрут;
• Полнота данных. После фильтрации неактивные пункты остаются на карте на случай, если человек захочет посмотреть на неподходящий, но близкий пункт;
• Доступность информации. Раньше карточка пункта открывалась поверх другого интерфейса, важное пряталось под кнопками, а попап на карте спорил с карточкой. Мы оставили только карточку и главную информацию подняли наверх. По карточке сразу ясно, открыт ли пункт и сколько до него идти.

Сдать мусор просто

Одна из целей — избавиться от представления, что сортировать и перерабатывать мусор сложно. Карта даёт ощущение доступности:

• Масштабы карты. Мы начали с крупных зумов, но поняли, что нужен детальный дизайн уровня города для обзора всех пунктов и уровня России, на котором видно, что сбором вторичного сырья занимаются по всей стране;
• Плотность данных. Распределение точек показывает: пунктов раздельного сбора мусора много в разных частях города;
• Обратная связь. Данные собирают волонтёры в 69 городах России; есть форма отзывов: каждый может сообщить актуальную информацию и стать частью сообщества.

Мы любим карты, которые не только показывают данные, но помогают менять мир.

Greenpeace Russia — ❤️ и 🔥

Пробуйте пользоваться beta.recyclemap.ru и сортировать вторсырьё. Будем рады комментариям, замечаниям и пожеланиям: hello@urbica.co.

Urbica — московская компания, которая занимается дизайном и консалтингом в области визуализации данных. Наша область экспертизы — пользовательский опыт человека в городе.

Этот год для Урбики не был простым, однако, он был очень насыщенным. В последний день декабря, я решил собрать дайджест основных проектов и событий. К счастью, это не всё, и кое-что из нашей работы вы увидите в новом году.

Итак, основные проекты:

Придумали инструмент транспортного планирования

Мы поехали в Иннополис на хакатон, и разработали прототип инструмента планирования маршрутов общественного транспорта. При прокладке маршрутов, он учитывает потенциальный спрос и старается подобрать оптимальную траекторию движения. Написали об этом подробно в блоге.

Запустили карту истории ГУЛАГа

К этому запуску мы шли очень долго, но планомерно — в несколько этапов, переосмыслений продукта сначала мы запустили онлайн-версию карты, а потом, уже в декабре, с перезапуском экспозиции музея карта обрела физическое воплощение, слайдер таймлайна обзавёлся джойстиком и мы переработали интерфейс. Это большая и важная работа, которую получилось выполнить совместно с невероятно классной командой музея.

Разработали карту Дворулиц

«Дворулица» проект, созданный при поддержке архитектурного бюро Меганом. Концепция формирования дворулиц предполагает создание нового типа городского пространства, сочетающего в себе признаки живой городской улицы и обжитого двора. Мы помогли исследователям проекта наглядно показать данные на карте, помимо этого, карта получилась необычной и запоминающейся. Руководитель проекта Алёна Шляховая рассказывает о создании карты в блоге.

Рассказали про наш проект с Велобайком на конференции в Сан-Франциско

Этим летом, компания Mapbox впервые проводила Locate — конференцию о продуктах компании для сообщества разработчиков. Будучи активными разработчиками инструментов разработки, ребята из Mapbox попросили нас поделиться опытом проекта с Велобайком. Это, пожалуй, был один из наиболее интересных вызвов этого года— взять и поехать в Калифорнию, на международную аудиторию рассказать про локальный проект.

Запустили приложение с картой в AR

Мы выпустили AReal — приложение с дополненной реальностью, в которой можно взаимодействовать с трёхмерной картой Санкт-Петербурга и изучать модели достопримечательностей. Это, определённо, был большой багаж опыта работы с технологиями, с которыми мы ранее не сталкивались: 3D, Unity. Обо всём, что с нами случилось в ходе подготовки мы написали в блоге и в колонке на VC.

По традиции, мы делаем всё сами, рисуем, верстаем, программируем, снимаем видео. В ходе съёмок клипа ни один корги не пострадал:

Выпустили собственный сервер векторных тайлов

Технологически мы очень выросли за год: в работе появились проекты, которые стали требовать инструментов и технологий, которых не существовало ранее. Например, так ранее появились: Galton — сервис мнгновенного построения зон доступности и React-Map-GL — компонента для работы с картой Mapbox GL JS. В этом году мы много работали с данными и поняли, что нам нужно упростить создание инфраструктуры хранения данных для визуализации. Так появился Martin — сервер векторных тайлов, связывающий базу данных и клиентские приложения. Как и ранее, проект в open-source и мы приглашаем всех разработчиков использовать наши технологии, делиться идеями об их применении в других проектах.

Запустили образовательный проект

Мы придумали образовательную программу и запустили «Масштаб» — двухдневный интенсив по визуализации данных и работе с картами. На площадке нашей студии мы собрали и обучили две группы, многому научились сами. В течение двух дней студенты получали практический опыт: как собирать, анализировать и визуализировать данные на карте.

А ещё, наши ребята в рамках конференции «In the City» провели воркшоп по геоинформатике для подростков. В следующем году, мы будем больше внимания уделять образовательным проектам и ориентироваться на молодую аудиторию: студентов и школьников. Это, как выяснилось, тяжело, но интересно!

Проектов и событий было существенно больше — всё останется с нами, успешных или не очень, что-то увидит свет уже в новом году, и впереди ещё столько всего интересного! Не переключайтесь!

А чтобы лучше запомнить нас и наши проекты, вот вам маленькая игра — на память. На память о 2018м. Ведь совсем скоро, мы ещё немного ускоримся и сделаем ещё больше интересного 🚀🚀🚀

Следите за нашим эфиром в этом блоге, в Твиттере, Инстаграме и Фейсбуке

В качестве завершения, хочу поздравить всю команду и людей, с которыми посчастливилось сотрудничать в этом и прошлые годы в Урбике. Это было очень классно, ребята! Спасибо!

С Новым Годом! 🎅🎄☃️

Андрей Кармацкий

Внезапно я осознал, что стоит рассказать не про какой-то конкретный проект, а про саму компанию и на примере проектов показать что же мы такое делаем.

« Urbica» появилась из латинского «urbicum delichon», что переводится как «городская ласточка». Мне нравится этот образ. Ласточка, вестник чего-то нового, первого, появление ласточек в городе — большое и светлое событие.

Зачем мы?

Создавая Урбику я очень хотел создать маленькую R&D лабораторию, где эксперименты с визуализацией данных, картами, интерфейсами и технологиями переплетаются с городом. Оказалось, что это интересно не только мне, но и группе ребят, которым это тоже нравится. Пожалуй, и сейчас эта идея — главная.

Вторая задача, как мне кажется, постоянно расширять границы возможностей, постоянно учиться, экспериментировать, искать новые горизонты, и, при этом, заниматься любимым делом. Не секрет, но некоторые проекты приносили нам боль и страдания, но после короткой передышки становилось понятнее, что как раз эти проекты делали нашу команду сильнее и выносливее.

Даже сейчас в 2018 году, казалось бы, будущее наступило, но нас по-прежнему окружают неудобные интерфейсы. А когда речь заходит про картографические, навигационные или аналитические интерфейсы то хороших решений можно пересчитать по пальцам одной руки. Все сложности предметной области (картографии/гео-информатики) встречают людей, которым просто нужно решать свои задачи в работе или в быту. Я вижу в этом большой вызов.

Неважно, на самом деле, большие данные используются или маленькие. Важнее сделать эти данными полезными, помочь пользователям этих данных решать свои задачи — отвечать на вопросы, рассказывать, вдохновлять, подсказывать как пройти, помогать принимать решения. В этом большую роль играет визуализация.

Что мы делаем?

Все наши проекты можно очень условно разделить на три тесно связанных друг с другом части:

Картографический дизайн

Урбика, пожалуй, одна из десяти компаний в мире, которая знает и умеет делать удобный дизайн карт для конечного пользователя. Началось всё с редизайна карты для MAPS.ME, приложения, которым сейчас пользуются миллионы пользователей. После этого мы создавали карты для горнолыжных курортов и путеводителям по ним, дизайн карт для автомобильной навигации, анимированные визуализации поездок на такси, визуализации для проекций в интерьере, да и просто классные карты, которые раздвигают границы возможного в картографическом дизайне. Например, карта для проекта Дворулица.

Интерактивные проекты с картами

Очень часто бывает, что только визуализации недостаточно и требуется отображать не только карту, предполагается некоторая история или карта встраивается в какой либо проект. Такие проекты начались с интерактивной визуализации статистики поездок «Велобайк», в последствии, эта визуализация трансформировалась в систему, улучшающую работу городского сервиса.

Интерактивный проект-исследование «Эпоха агломераций», рассказал большому количеству людей о том, что такое городские агломерации и как они устроены.

Другой пример: интерактивная карта истории ГУЛАГа над которой мы работали вместе с Государственным музеем истории ГУЛАГа почти два года, и вот-вот, эта карта появится в экспозиции музея (она сейчас доступна в онлайне и на интерактивном экране в документ-центре).

От Соловков до Магадана: история ГУЛАГа на карте

Как правило, такие проекты, в простом и понятном для широкого круга пользователей формате, помогают донести сложную информацию.

Аналитические инструменты

Данные-данные-данные. Пожалуй, аналитические инструменты наиболее чувствительны к данным и правильному отображению этих данных, ведь удобные интерфейсы со сложными данными помогают понять запутанные процессы и принимать различные решения. Так, например, мы создавали инструменты аналитики, на основе которых в центре Москвы запустилась новая маршрутная сеть «Магистраль»:

Дизайн города, основанный на данных

Помимо транспорта, аналитические инструменты созданные нами, помогали нашим партнёрам принимать важнейшие решения — предлагать новые места для строительства и развития инфраструктурных проектов, расширять зону обслуживания каршешринга, определять какие отделения банка стоит адаптировать для маломобильных клиентов.

Разработка таких инструментов была бы невозможной без аналитических навыков. Мы активно применяем методы машинного обучения, геопространственного анализа и предоставляем результаты анализа в удобном и понятном пользователю виде.

Мы внутри постоянно экспериментируем с собственными проектами и идеями. Так, например, мы исследовали качество городской среды и запустили Walkstreets — приложение, которое строит удобные пешие маршруты по городу.

Приложение для лучших пеших прогулок

Для сбора и моделирования нужных данных мы провели летнюю стажировку, в ходе которой исследовали городской шум. Мы смоделировали данные, разработали прототип сенсора, замеряющего уровень шумового загрязнения и визуализировали полученные данные на карте.

В этом году тема с дополненной реальностью стала актуальной, мы решили попробовать и встроить карту в AR. В итоге получилось приложение AReal — карта и достопримечательности Санкт-Петербурга в дополненной реальности. Это был очень смелый эксперимент с интерфейсами и технологиями, но, кажется, мы продолжим визуализацию данных в AR — кажется, ещё можно придумать полезные применения.

Urbica — технологическая компания

Определённо. Ни один наш смелый эксперимент с картами и данными не обходится без технологического развития. Эти проекты были бы немыслимыми, если бы не наша команда разработчиков. Многие задачи требуют общих технологических модулей, поэтому, мы публикуем и развиваем собственные технологические продукты.

Так, например, появилось несколько классных технологий, которыми мы делимся с другими разработчиками:

• Galton: сервис расчёта зон пешей доступности Galton;
• Martin: сервер векторных тайлов, который помогает отображать большие массивы информации напрямую из базы данных, с помощью Мартина мы разрабатываем наиболее сложные проекты с большими объёмами данных;
• react-gl-map: React-компонент для Web GL карт Mapbox;
• а также и код AReal открыт и доступен для всех

и другие технологии.

Подход в работе

Наша команда сейчас состоит из картографов, дизайнеров, разработчиков, аналитиков данных и менеджеров. И как бы банально и заезженно это не звучало, но подход разработки сервисов, ориентированных в первую очередь на человека (Human Centred Design), в нашем случае очень даже работает. Это вполне стандартная история, но я бы выделил три важные части, без которых у нас бы ничего не получалось.

Работа с пользователем

Пункт номер один во всех проектах. Очень важно понимать для кого создаётся та или иная визуализация, кто и как будет пользоваться результатом нашей работы, какую ценность для конечного пользователя продукт должен принести. Мы не начинаем проект до тех пор пока нет этого понимания.

Работа с данными

Разрабатывая визуализации, невозможно выдумать идеальные данные, как правило, проект состоит в большей степени из работы с данными — анализ, осознание как эти данные будут использоваться, производство данных (если их нет вовсе), конвертация в подходящий вид.

Прототипирование

Это неотъемлемый процесс проектирования интерфейса, без него, как без рук. Мы работаем с проектами, в которых очень часто нет ясного представления, что должно получиться в итоге. Иногда мы сразу договариваемся с заказчиками, что создаём быструю версию продукта, чтобы понять как на самом деле нужно сделать и переделать его в следующих версиях. Удобные интерфейсы можно создать только так: двигаясь короткими итерациями и создавая прототипы на живых данных. В ход идут как обычные популярные инструменты проектирования интерфейсов так и просто код, не всё можно запрототипировать готовыми инструментами.

Так или иначе мы явно выделяемся из общего потока компаний. Что-то получается хорошо, на каких-то проектах нам приходится обретать разного рода опыт и учиться, но точно можно сказать — спустя три года становится всё более и более заметна потребность в хороших и удобных интерфейсах работы с данными. Конечно, появляется всё больше и больше инструментов и технологий, облегчающих визуализацию и уникальная экспертиза Урбики, скорее становится редким ремеслом, но мне кажется, от этого нам самим становится интереснее и интереснее, сделать что-то классное, удивительное и полезное для этого несовершенного мира.

Мы всегда открыты к новым задачам и интересным вызовам. Пишите письма hello@urbica.co, заглядывайте к нам на страницу в фейсбуке или в твитер 👋

Андрей Кармацкий, CEO Urbica

Не переключайтесь, впереди серия интересных проектов, о которых мы обязательно расскажем в этом блоге 🖤🖤🖤

Исходный код AReal: https://github.com/urbica/areal

В этом посте хотим рассказать про AReal как проект с картой и поделиться впечатлениями, каково после веб-картографии переключиться на дополненную реальность.

Мы всегда воспринимали работу с картами как работу с пространством, и дополненная реальность для нас — это новый способ играть с окружающей средой. Приложение AReal может дополнить картой и достопримечательностями Петербурга совершенно любое место в мире, даже самое неожиданное — мы, например, экспериментировали в аэропорту Сингапура и на Уралмаше в Екатеринбурге. Это занятие — одновременно довольно забавное и полезное, потому что помогает расширить представления о пространстве и его возможностях.

Зачем нужна локация в дополненной реальности?

AR-платформы развиваются быстрыми темпами, и в ближайшем будущем дополненная реальность может стать цифровым слоем поверх «обычной». AR способна изменить многие сферы жизни: торговлю, рынок услуг, навигацию. Точки интереса переместятся с карты на экран телефона, и опыт перемещения в пространстве, в том числе вождения автомобиля, тоже преобразится.

Чтобы воплотить в жизнь AR-мечты, нужно научиться привязывать дополненную реальность к местам реального мира, работать с картами как AR-объектами и настраивать навигацию в AR. Возможности карт в AR даже сейчас, на ранней стадии развития технологии, довольно впечатляющие. За всем этим скрывается целая пачка технологий.

Как и на чём делать AR-приложение?

Наше приложение сделано на платформе ARKit и движке Unity.

Оказалось, что Unity — это гораздо больнее, чем мы надеялись. У движка есть собственный графический интерфейс — Unity Editor, но выяснилось, что он даёт только базовую функциональность: например, просто показать 3D-модели. Сами по себе возможности Unity довольно широки, но чтобы реализовать логику интерфейса, взаимодействие объектов и даже анимации, приходится писать скрипты на C#. Так мы начали разбираться не только с новой областью, но и с новым языком программирования.

В 3D-картах можно довольно эффектно показывать на карте высоты домов или рельефы. Нашей территорией был Санкт-Петербург, где рельеф плоский, поэтому мы поэкспериментировали только с объёмом домов.

Для реализации карты мы использовали Maps SDK для Unity, разработанный компанией Mapbox. Это — средство разработки, которое позволило нам подключить геоданные и карту с настроенным дизайном в среду Unity. Уже в самой 3D-среде мы сделали дома объёмными и их стилизовали.

Особенности дизайна карт в AR

Мы придумали необычный дизайн карты, но теперь нужно было понять, как она, будучи виртуальным объектом, встроится в окружающую реальность. Оказалось, что карта в AR — совсем не то же самое, что обычная карта на экране, и подходить к её дизайну надо иначе.

★ Положение: карта должны располагаться хорошо и относительно поверхности, на которую проецируется, и относительно экрана телефона.

★ Освещение: на карту влияют и виртуальный свет, настроенный кодом, и свет из реального мира, например, лампы или солнце;

★ Цвета: дизайн, который будет контрастировать с реальностью, потому что карту можно спроецировать в любое место, и в любом месте она должна быть видна;

★ Прозрачность: мы сделали карту наполовину прозрачной, потому что так её фоном как будто становится сама среда;

★ Форма: карта стала круглой — просто потому, что карты почти всегда квадратные и мы решили поэкспериментировать.

Работать с картой в дополненной реальности оказалось сложно и интересно. Главное — научиться думать о ней как об объекте реального мира.

Urbica — московская компания, которая занимается дизайном и консалтингом в области визуализации данных. Наша область экспертизы — пользовательский опыт человека в городе.

Карта живёт по адресу: gulagmap.ru.

Исторические данные: как показать время на карте

Перед нами стояла задача не просто отобразить на карте, где были расположены лагеря ГУЛАГа, но и показать хронологию системы исправительных лагерей. Один из основных элементов карты — временная шкала, которая начинается в 1918 году с появлением первого лагеря на Соловках и заканчивается в 1960, когда ГУЛАГ был официально закрыт. При изменении года меняется не только расположение лагерей, но и границы Советского Союза, расположение городов, их названия.

Ретроспективных данных в цифровых геоформатах о границах СССР нет, поэтомы мы отправились в отдел картографических изданий Российской государственной библиотеки и просмотрели атласы за каждый год с 1918 по 1960, а затем вручную нарисовали границы для каждого года.

Информация о городах также была создана вручную: каждый город появляется на карте только в том году, когда был построен, а названия городов, которые часто менялись в советское время, тоже соответствуют каждому году.

Самой большой частью работы стало сведение в одну таблицу разрозненных данных о лагерях: их производственной деятельности, истории и развитии. Научный отдел Музея истории ГУЛАГа оцифровал всё, что годами собиралось исследователями во время полевых исследований. Сейчас на карте есть детальная информация о 555 лагерях в разных уголках Советского Союза, причём пополняется и обновляется информация не только силами сотрудников музея, но и благодаря исследователям и активистам на местах, которые занимаются изучением «наследия» ГУЛАГа по всей России.

Как мы создавали карту

Карта истории ГУЛАГа — очень ценный для нас проект не только потому, что тема свободы кажется нам важной, но и потому, что как команда мы многому научились в процессе её создания. Мы учились работать в команде, общаться с заказчиком, договариваться между собой, разрабатывать дизайн, который действительно решает поставленную задачу, и, конечно, осваивать и внедрять новые для нас технологии.

За два года мы создали пять или шесть версий карты. Проект пережил несколько переосмыслений концепции и полных переделок. Вот так выглядел самый первый дизайн:

Разработка этого проекта постоянно становилась вызовом для нас: столкнувшись с необходимостью написать новый бэкенд и спроектировать базу, более подходящую для разросшегося проекта, мы решили провести хакатон внутри команды. Так наши фронтендеры освоили навыки серверной разработки.

Сейчас карта ГУЛАГа — собрание всех наших любимых технологий. В этом проекте мы используем React, Redux, Immutable, Saga, D3, Docker, Node.js с Koa и PostgreSQL с PostGIS. В сердце карты — наш собственный компонент @urbica/react-map-gl, который позволяет простым языком описывать состояние карты и легко управлять слоями.

Изнанка карты: административный интерфейс

Важно, что карта — не однократный проект, в который данные добавляются по результатам разового исследования. Она задумана как платформа для учёных и специалистов по всей России, которые постоянно ищут и добавляют информацию об объектах ГУЛАГа. Главное управление лагерей давно прекратило существование, его история и география до сих пор остаются не до конца изученными. Многие документы уничтожены или по сей день засекречены, постройки заброшены и сравнены с землёй, а человеческая память и коллективная травма по-прежнему не являются предметом для публичного обсуждения. Учёные на местах, потомки узников ГУЛАГа, полевые исследователи до сих пор по фрагментам собирают информацию о том, где находились и как были устроены лагеря.

Для того, чтобы дать музею и его партнёрам возможность постоянно обновлять карту, мы разработали административный интерфейс.

Админка карты связана с той же базой данных, что и клиентская часть. Пользователи могут добавлять и редактировать объекты, и изменения сразу отображаются на основной карте.

Карта поддерживает несколько языков: сейчас в интерфейсе есть только русский, скоро появятся английский и немецкий. Пользователь прописывает название лагеря и альтернативные названия, под которыми объект мог быть известен, заполняет описание лагеря, указывает, в каких локациях и в какие годы лагерь находился, какой промышленностью занимались его заключённые, добавляет фотографии или документы.

Два года с проектом — это целая жизнь. Нам повезло, что с нами была блестящая команда Музея истории ГУЛАГа, которая проделала колоссальную архивную работу, структурировала разрозненные данные и помогла нам понять, как должна быть устроена карта. Мы надеемся, что вместе с Музеем сделали важное дело — ещё один шаг к тому, чтобы осмыслить, что такое ГУЛАГ, каковы были его масштабы и как он повлиял на нас всех.

gulagmap.ru

Urbica — московская компания, которая занимается дизайном и консалтингом в области визуализации данных. Наша область экспертизы — пользовательский опыт человека в городе.

Привет! was originally published in Городские данные on Medium, where people are continuing the conversation by highlighting and responding to this story.

За два бессонных дня нам удалось придумать и реализовать такую идею: инструмент, который позволяет прокладывать новые маршруты общественного транспорта там, где они будут пользоваться наибольшим спросом.

Какой была задача?

Организаторы хакатона предоставили геоданные и предложили создать какой-нибудь полезный сервис, который мог бы улучшить жизнь горожан в Татарстане.

У нас уже есть опыт работы с транспортной аналитикой: например, мы помогали запускать сеть «Магистраль» в Москве. Мы решили связать проект с транспортной тематикой и поработать с анализом городских данных на незнакомой территории со своими особенностями.

В Казани живёт больше миллиона человек, и, как любой крупный город, она сталкивается с транспортными трудностями: интенсивным трафиком и большим спросом на общественный транспорт. Особенный спрос уже возникал во время Универсиады, а скоро город ждёт наплыв посетителей во время матчей Чемпионата мира по футболу.

Нагрузка на транспортную сеть сильно увеличится, поэтому у нас появилась идея создать городской сервис, который поможет прокладывать оптимальные маршруты для сбора максимального числа пассажиров из самых востребованных мест.

Как мы это делали?

В первую очередь мы изучили спрос и предложение на наземный транспорт в Казани. Спрос формируется жителями и гостями города, поэтому мы проанализировали плотность населения и распределение гостиниц с учетом их вместимости. Для анализа мы использовали открытые данные.

Чтобы понять, какое количество пассажиров будет пользоваться каждой остановкой, мы объединили близко лежащие остановки в кластеры и построили зоны обслуживания в виде полигонов Вороного.

Соединив линиями полученные кластеры остановок, мы создали триангуляционную сеть, которую использовали как граф. Каждому участку мы присвоили параметр: цену движения по нему. Чем выше пассажиропоток и меньше расстояние, тем ниже цена перемещения по сегменту.

Чтобы проложить маршрут, нужно выбрать начальную и конечную остановку. Алгоритм выбирает оптимальный путь с минимальной ценой с учетом размещения жителей и туристов и выводит на экран число обслуживаемых пассажиров и длину маршрута.

Что получилось?

Веб-сервис, который мы успели сделать за два дня, — это прототип полноценного инструмента для поддержки принятия решений транспортными экспертами, который может быть полезен не только в условиях наплыва пассажиров во время массовых мероприятий. У этого инструмента есть потенциал для решения более глобальных задач для улучшения сети городского наземного транспорта. Разработанная нашей командой функциональность помогает оценивать существующие маршруты и прокладывать новые. После хакатона мы продолжаем работать над прототипом, додумывая методологию и дорабатывая интерфейс.

Ссылка на инструмент: hack.urbica.co

Urbica — компания, которая занимается анализом и визуализацией городских данных. Мы создаём инструменты исследования данных, которые помогают организациям и городским сервисам.

У большинства мировых систем городского проката велосипедов есть одинаковая проблема: неравномерность перемещений и маршрутов. «Велобайк» должен обеспечивать наличие велосипедов и свободных парковочных слотов тогда, когда это нужно людям» — ««Велобайк» должен придумать, как сделать, чтобы на станциях были и велосипеды, которые можно взять, и свободные места, куда велосипеды можно поставить.

Для начала стоит выяснить, из-за чего это происходит. Однажды мы уже анализировали данные о загруженности станций и паттерны ребалансировки нью-йоркского «Ситибайка». Паттерны перемещения пользователей «Ситибайка» повторяют трудовые миграции: утром — на работу, вечером — домой, и это приравнивает городские велосипеды к общественному транспорту.

В Москве для части поездок паттерн перемещения похожий, однако, не всё так очевидно: даже в будни далеко не все поездки происходят по маршруту «работа ↔ дом». Например, на некоторых станциях очень распространены поездки с целью отдыха.

Мы решили посмотреть на то, как разгружаются и наполняются станции в течении дня в среднем за предыдущий сезон и с помощью машинного обучения выделили 4 кластера станций:

1. Станции, которые пустеют утром (интенсивные исходящие поездки) и наполняются к вечеру;
2. Станции, которые утром наполняются велосипедами (парковки) и пустеют к вечеру;
3. Станции, которые постоянно пустеют в течение дня;
4. Станции, которые монотонно наполняются в течение дня.

Если посмотреть на карту расположения станций по типам, то соседство групп по парам (первый тип — со вторым, третий — с четвёртым) на карте не будет случайным.

В центре города велосипедисты перемещаются утром от метро до работы, а вечером едут обратно. В жилых районах наоборот: из дома до метро двигаются утром, а вечером — обратно от метро, домой.

Монотонно убывающие и прибывающие станции легко объяснить рельефом города. Очень характерны Воробьёвы горы:

Как Велобайк решает эту проблему?

Основной способ — это ребалансировка системы, оперативное перемещение велосипедов с переполненных станций на пустые. Для распределения велосипедов и технического обслуживания под руководством диспетчера по городу курсирует несколько специальных фургонов — это большие затраты в обслуживании.

Как устроен процесс управления? Диспетчер смотрит на карту, где отмечена загруженность станций, и принимает решения, какой фургон куда направить, сколько велосипедов взять на одной станции и сколько на другой станции поставить. У грузовиков есть регулярные маршруты, например, подготовка станций в ночное время, однако когда интенсивность поездок возрастает, диспетчер и водители не успевают обеспечить нужные станции велосипедами или предоставить свободные замки для парковки. И, что самое важное, диспетчер может отреагировать только на текущую ситуацию, предсказывая ход событий только по собственному опыту.

Прогнозирование спроса

На первом этапе мы решили улучшить инструментарий диспетчера — разработать удобный пользовательский интерфейс и начать прогнозировать загруженность станций в будущем.

Система, которую мы разработали, учитывает параметры, характер поездок и историю загруженности каждой станции и прогнозирует спрос на велосипеды на час вперёд — этого времени достаточно, чтобы водитель в соответствующей зоне добрался до нужной станции и предотвратил опустошение или переполнение станции.

В общем интерфейсе диспетчера мы отразили всю картину со станциями в городе. Одним взглядом можно оценить ситуацию, найти станции, близкие к критическому состоянию, а по каждой конкретной станции увидеть историю и прогноз загруженности.

Этим летом мы запустили систему в тестовой эксплуатации и поняли, что многие операции, выполняемые в этой диспетчерской, можно автоматизировать. Во-первых, можно сократить множество рутинных операций — задания часто повторяются. Во-вторых, алгоритм распределения заданий может учитывать больше параметров и прогнозных значений, и, как результат — можно эффективнее использовать имеющиеся ресурсы автопарка и сократить перепробег автомобилей.

На время поездки на автомобиле в Москве, особенно в центре города, существенно влияют пробки. Поэтому мы обратились в Яндекс за сервисом Яндекс.Маршрутизация, чтобы выполнять расчёты маршрутов с учётом пробок на час вперёд и распределять задания водителям с прогнозом загруженности станций и дорожной обстановки.

Чтобы водитель общался с системой, мы разработали чат-бота для Telegram, который назначает задания водителям на перераспределение велосипедов.

При этом диспетчер «Велобайка» также имеет возможность сообщить водителю об изменившейся обстановке или выдавать особые задания.

Система предсказания и мониторинга загруженности станций была потестирована в сезоне 2017, у диспетчера появилась возможность оперативнее реагировать на критичные ситуации и вовремя предотвращать переполнение или опустошение станций. Систему автоматического распределения заданий планируется полноценно использовать со стартом нового сезона весной 2018 года.

Кроме этого, о системе предсказания загруженности рассказывал Сергей Горбатюк, аналитик в команде Urbica, в докладе «Улучшая работу городского велопроката» на конференции «Data&Science: Город»

«Велобайк» — система городского велопроката, стартовавшая в Москве в 2013 году. На конец сезона 2017 года пользователи на 380 станциях проката совершили 2,4 миллиона поездок, это на 50% больше, чем в предыдущем сезоне.

Яндекс.Маршрутизация — платформа для решения логистических задач в городской среде. На базе Яндекс.Маршрутизации можно создавать собственные логистические решения или оптимизировать логистические процессы.

Urbica — компания, которая занимается анализом и визуализацией городских данных. Мы создаём инструменты исследования данных, которые помогают организациям и городским сервисам.

Команда проекта поставила перед собой довольно серьёзную цель: создать карту шума для Москвы, а главное — разработать методологию, используя которую можно будет создать карту шума в любом городе при наличии тех же исходных данных. Мы не осознавали, насколько это будет масштабной задачей и с какими проблемами придётся столкнуться.

Начали мы с гипотез и развития идей некоторых коллег-экспериментаторов. Например, швейцарский программист Лукас Мартинелли несколько лет назад предложил идею, используя которую можно создать карту шума для любого города. Используя предположения об угасании шума по мере отдаления, Лукас использовал объекты из OpenStreetMap и создал вокруг них буферные зоны с тремя уровнями шума. Идея эта хороша своей простотой и быстротой претворения в жизнь. Однако, она не слишком точна в применении к городам с разным характером застройки и различным факторам формирования шумового загрязнения. Поэтому мы придумали, как сделать карту более реалистичной. Первым нашим шагом было включение в расчеты радиусов буферов распространения шума коэффициент плотности городской застройки.

Вторым шагом к улучшению карты шума было создание технологии, которая бы позволила уточнить моделируемые данные. Для этого нам понадобился шумомер, но профессиональные шумомеры высокого класса точности стоят дорого. Устройство, подходящей для нашей задачи функциональности, стоит чуть менее 40 000 рублей, поэтому решено было попробовать создать свой датчик с удовлетворяющими нас характеристикам по меньшей стоимости. Зная уровень шума в приемнике и расстояние до источника, мы можем восстанавливать изначальный уровень шума в точке источника.

Поскольку источниками шума могут быть различные факторы (машины, скопление людей, стройки, транспорт) нам стало интересно научиться замерять не только уровень, но ещё и определить тип источника городского шума. Мы вдохновились идеей проекта SONYC (Sounds of NYC), который проводил похожее исследование в Нью-Йорке.

Было решено, что для восстановления типа объекта-источника шума в городской среде достаточно уметь распознавать 4 класса, четко различающихся между собой категорий производителей городского шума: дороги, поезда, стройки и скопления людей. Для обучения нашего классификатора мы использовали Google AudioSet, а также часть записей, которые использовались в проекте SONYC. Обучающая выборка, собранная с Google AudioSet, потребовала больших усилий в обработке, так как даже записи в размеченных датасетах включали большие части с тишиной, разговорами и даже не целевыми источниками шума. А качество записей из проекта SONYC, наоборот, было даже слишком хорошим, что приводило к трудностям распознавания даже чуть-чуть зашумлённых записей.

Изначально, мы делали датчик на простой и дешевой платформе Arduino. Датчик работал, показывал данные по уровню шума и давал периодически неплохую звуковую дорожку — если очень постараться, можно было что-то расслышать кроме шипения. Поэтому мы решили перейти к более производительной платформе Orange Pi. У более производительной платформы оказалось и большее потребление энергии, однако производительности Arduino не хватило, чтобы записывать звуки, поэтому мы остановились на Orange Pi Zero, которую ласково называли «апельсинкой».

Использование «апельсинки» обладало ещё рядом преимуществ — наличие слота для SD-карты и встроенный WiFi модуль. В случае с Arduino, это тоже возможно, но нужно приобретать подключать соответствующие модули отдельно. К тому же, Orange Pi настоящий компьютер, на который можно установить и использовать различные операционные системы, например Android или Ubuntu. Мы использовали Ambrian — специально адаптированная для подобных штучек система на базе Linux.

Для правильного процесса измерений, опираясь на соответствующий документ — ГОСТ 53187–2008, нам потребовалось определить основные характеристики прибора и решить, где разместить датчик. Из нормативов следует, что измерения должны проводиться на определенной высоте и удалении от близлежащих объектов. Мы обратились в компанию, обслуживающую сеть проката велосипедов «Велобайк», и попросили на время пилотных испытаний разместить прототипы устройств на нескольких станциях велопроката.

После проведения пилотных измерений мы начали уточнять имеющуюся модель и вносить в неё коррективы. Спустя несколько итераций удалось найти удовлетворяющую нас конфигурацию устройства и подобрать нужные компоненты.

На момент завершения проекта летней стажировки мы выполнили основные задачи: подготовили методологию сбора и обработки данных, разработали схему сборки прототипа доступного датчика и выложили их в открытом доступе. Это позволит таким же энтузиастам, как мы, создать карту шума для своего города, избегая допущенных нами ошибок.

И вот результат нашей работы — карта шума Москвы по разработанной нами методике:

Созданная нами карта и методология будет использоваться для построения наиболее «тихих» маршрутов в приложении Walkstreets — мобильном приложении, котoрое строит комфортные маршруты по городу.

Наш итоговый проект мы презентовали в августе на площадке Высшей школы урбанистики при НИИУ ВШЭ «ШуховЛаб» в формате открытой лекции, а также приняли участие в первом Климатическом форуме городов России. В ходе обоих мероприятий мы получили отзывы и рекомендации по улучшению от специалистов и неравнодушных к теме горожан.

Соответствующие инструкции и детали реализации мы опубликовали на GitHub. Хотелось бы уточнить, что это не финальная версия и планируем дорабатывать методологию и карту. Будем рады вашим комментариям, советам и отзывам.

Участники проекта:

• Григорий Беляев, эколог,
• Артём Саакян, инженер,
• Андрей Асланов, аналитик,
• Татьяна Иванникова, картограф

Кураторы проекта:

• Анастасия Коновалова, менеджер проектов
• Сергей Горбатюк, ведущий аналитик данных

Карта шума — https://urbica.github.io/noisemap/
GitHub проекта — https://github.com/urbica/noisemap