Дневниковость (8). Эмоции и важное

Это продолжение цикла о том как я вел дневник. В первых пяти частях я описал опробованные мной практики. В шестой части старался понять смысл и выгоды ведения дневника.

Седьмая, эта часть(8) и следующие (9, 10) о потенциале, о том что мы еще сможем достать в ближайшем будущем из практики ведения дневника.

Ранее было о людях, старающихся записать всё о себе, максимум данных и настроить по этому поиск (лайфлогинг). В этой части будет глубже о лайфлогинге и возможностях его анализа.

Прошлый раз было о проекте “одна секунда видео из каждого дня” где автор сталкивался с выбором какую одну секунду каждого дня смонтировать в видео за год. Сейчас подробнее о необходимости выбора.

Проблема фотохранилища

Предположим вы не лайфлогер (у которого 1000 фото в день), а делаете 12 фото в день на телефон так просто. Это 4380 фото в год. И фотографируем мы уже лет 5 на телефон. Это 21,900 фотографий в памяти/клауде. Если их загрузить (оно само сделает если программа стоит) в современные системы вроде Amazon, Apple или Гугл фото, то система выдаст бесконечную плитку по датам. Так же предложит сгруппировать в альбомы. Сделать коллажи или видео, но фото прийдется выбрать самому:

В Google Photos полоса прокрутки всех фотографий будет поделена годами. Еще сейчас оно умеет чуть-чуть понимать как группировать по местам съемки (особенно если в телефоне не отключенна возможность карты следить за всеми передвижениями) и по предметам в кадре (распознает). Как ни как оно научилось понимать по смыслу. В общем оно удобно для просмотра и поиска.

Если на тач устройстве отзумить, то гугл фото переключится в максимально общий вид “Year view”: фото по месяцам и там будут видны в маленьких квадратиках не все фото. Понять какой логикой руководствуется программа чтобы выбрать именно те,а не иные фото для этого вида я не смог. Похоже, что рандомом.

Как она скрывает не важные фото? Для меня единственный способ это в ручную “отправлять фото в архив”, но это требует постоянных усилий. А что хотелось бы: ползунок снизу где левая позиция это все фото, а правая это под 9 фото отражающих каждое мое полугодие самое ГЛАВНОЕ что там было.

Или, например, такая пирамида: текущую неделю все фото. Потом прошлую неделю часть фото уже спрятано, итд. То есть чем дальше от текущего момента, тем остаются только самые важные фото.

Это технические похоже на фейсбук таймлайн, но смыслово противоположно. Так как фейсбук из прошлого при перемотке показывает только максимально полайканные посты, то есть те, которые удовлетворили и были важным другим. Не мне. И это больше про одобрение другими чего-то во мне и как “социум” выбирает что мне помнить и кем мне быть.

Сделать ленту-иерархию важных только для меня фотографий трудно, потому что часто я сам не всегда понимаю что же такое там было важное и что главное было сфотографировано в том дне/неделе/месяце.

Хотя если я начну вручную делать коллаж месяца/сезона/полугода, то я в принципе смогу долго поколебавшись выбрать те 9 фото, по которым можно быстро вспомнить этот промежуток. То есть это выполнимая задача.

Всё, что со мной было

Программа Journaly позиционируется как автоматический дневник, она умеет добавлять к записям данные с трекера, GPS местоположение итд и при этом делать такие записи автоматически.

Программа создает что-то на подобии каталога дней.

Конечно же можно и это хорошая идея из всего массива данных попробовать выделять важные моменты. Потому что в обычном дневнике у нас данных мало и мы в основном записываем важное, но если мы переходи к каталогу дней, лайфлогу, то данных у нас становиться всё больше и больше и нам надо их приоритизировать.

Для начала я пробовал оценить удовлетворенность жизнью в своем потоке записей о событиях дня.


🎲 Оценка события/часа/дня/недели/месяца/сезона/года/…

Я писал каждую неделю таблицу выводов и документ-отчет с историей о своей прошлой неделе (подробнее есть в прошлых частях этого цикла).

Ставил оценку недели по семибальной шкале живости этого дня для меня, насколько я удовлетворен такой жизнью.

Потом каждый месяц перечитывал и создавал свои итоги. Каждый сезон. итд

Я мысленно оглядывался назад что там со мной случалось и рассортировывал выводы по нескольким категориям достижений.

Кроме того несколько сезонов я ставил оценки на события дня и оценку удовлетворенности жизнью этого дня выводил как среднее между ними. Так появлялась оценка дня итд. Сначала это была равномерная шкала, потом шкала на числах Фиббоначи.

Важно то, что в отличии от остальных показателей, которые предсказуемые (день и неделя) показатель “событие” не есть предсказуемо заданным: это отделение какого либо временного промежутка в календаре. Обычно конечно я округляю до 15 минут, но всё равно это кусок времени, находящийся не ровно где-то и длящийся тоже не ровно сколько-то.

То есть: можно ставить оценки каждого часа и это равномерные оценки, которые собираются в оценку дня. А вот оценки на событие, когда события временно не эквивалентны друг другу являются ли сравнимыми? Тут надо осторожность.

Оценка дня. Откуда берется этот коэффициент. Я его вводил чтобы отличать одни дни от других. 
Так получаеться мало важных событий , мало унылых событий и куча событий по середине, со средней оценкой.

Возникает такая пирамидка фильтрации:

удовлетворенность

Писал выводы/итоги в момент окончания этой недели или этого месяца или сезона. Подводил итоги только что состоявшегося и ставил оценку из того момента, а не ретроспективно.

Можно сравнить первоначальный механизм лайков на фейсбук и механизм лайков тут на медиуме. Тут можно поставить лайк побольше если зажать кнопку. Вообще на англ есть хорошая статья о лайках.


Слово дня/недели/месяца. Так же можно делать как итог выбирать одно (два, три, четыре) слова, которые описывают текущий мой день. Это не число, но это слова и они могут повторяться тем самым создавая частоту.

Почти так я делаю сейчас весной 2018, я пишу боту одно два предложения, как прошел мой день. Если б я писал просто несколько слов и еще условился с ним, что чем первее слово, тем оно важнее, то он бы мог тогда делать облако тегов недели. Выходит всё равно желание нескольких слов дня.

Как бы сделать на каждый запрос итога чтобы можно делать автогруппировку по тому что происходило и уже по тегу оно показывало что важно. И потом эти паттерны визуализировать например цветом и размером кружков на экране.

Я это делал когда уже теги были привязаны вручную к каждому событию в календаре и я анализировал сколько их и связи между ними и они давал ВИЗУАЛЬНЫЙ ландшафт недели. Это самое крутое по мне. Хочу в любой момент посмотреть в свое прошлое по любой теме.

Интересно находить разные способы группировки чистых данных о прошлом, чтобы их легко было сразу понять.

Хочется, чтобы из повседневной даты появлялись теги и коэффициент вероятности. Набор тегов о чем это фото которое я только что снял на телефон / о чем эта аудиозапись / о чем мы созванивались или чатились / с кем я только что был и о чем говорили. О чем книга и о чем мои заметки.

= О чем был этот промежуток времени с которого у меня есть разная лайфдата.

Это кластеризация и классификация в дата майнинге:

Тогда эти теги создают “о чем” был час, день, неделя, сезон и промежуток. Чтобы такая система делила жизнь на тематические промежутки события сама. Не просто поиска, а построение “ландшафтной” карты важности. Этого хочется.


😕 Затруднения оценки цифрами

(1) Мое главное желание это уделять минимально вниманию этой системе. Не я должен заботиться о системе моих приоритетов, а система обо мне. Ок, я согласен потратить какое-то время на её настройку, но дальше должно быть наоборот. Так не происходило. Приходилось всё равно раз 8 на день оценивать происходящее по тому, важно это для меня или нет.

В данном случае система очень простая, но от этого весьма бесполезная. Не понятно что значит средняя числовая оценка по всем событиям дня. Или что среда у меня была крутая, а суббота ну никакая. И что?

(2) Оценка дает возможность сравнивать события/дни/недели между собой. При это если события оценивать по шкале еще можно, то с оценкой дня возникают трудности того, что одно число не всегда отображает происходящее: что-то было хорошо, что-то плохо внутри самого дня. Я конечно могу смотреть что очень плохое событие потянет день вниз, а очень хороший пик вытащит его.

Я могу получать пики недели, но это другое — это не просто одно число обозначающую неделю. Число обозначает что внутри этой неделе было больше пиков.

Про это размышлял в своем блоге Армен Петросян. О количественных и качественных показателях.

Например, если я сделал всего 2 задачи из 10 туду запланированных, то это 20% посчитает эффективности и это ж плохой день. Но эти две задачи могут быть важными и приносить пользу/счастье. А те остальные можно было б и не делать. Так что вопрос не в том сколько из дел я не сделал, потому что я кучу всего не успеваю каждый день и важно научиться не расстраиваться по этому поводу. А фокус в том, что я хоть что-то сделал.

Эта идея немного с другого ракурса: я ставлю коэффициенты и в календаре есть те события, которые произошли. А что делать с теми событиями, которые не произошли. Чего-то я ожидал, а оно не состоялось. Это сильно влияет в моих ощущениях на оценку дня, когда меня кинули/оставили/обманули.

То есть оценка пика/провала позволяет скорее быстро отсортировать где пики или провалы произошли, но дальше с этим событиями надо работать и анализировать что там было.

Я Чувствую

В идеале я хочу сравнивать себя с собой. Какие события/проживания/опыт/контакты мне важнее, а какие нет. Что я больше полайкал, а что меньше. Хотя часто с позиции настоящего я не всегда представляю что ж повлияет на будущее. Но хотя бы с позиции настоящего.

Может оценка события и оценка дня это оценка того, как я СЕЙЧАС себя чувствую. Как я себя почувствовал в том событии это еще понятно, но как оценить чувство дня. Выходит скорее оценка чувствования в момент вынесения оценки. Притом если это одно число, то оно скорее выражает интенсивность чувствования, а не его направление.

Что значит что это не внешний мир я оцениваю, а себя.

Изменения моих состояний. Оцениваю какую-то свою реакцию на весь происходящий мир.

✏ Вручную трекать свои реакции

Трекеры настроения (mood). Есть такие программы, где надо заполнять как я себя чувствую.

Это достаточно бесполезные программы, зачем мне знать как я себя чувствую ВНЕ фиксации происходящих со мной событий. Есть пару трекеров вроде Daylio, которые ставят оценки по категориям, но в общем ручной трек настроения для меня оказался сам по себе бесполезным занятием.

Есть куда лучший ручной трекер эмоций подвязанный на информацию:

FACEBOOK с 2016 года заставляет нас это делать. Раньше просто он собирал одобрение (лайк — по сути та же оценка важности) данного контента. Теперь мультилайком приучает самостоятельно оценивать каждый кусок инфы (Лайк/Да. Люблю! Ха-ха! Вааау! Печаль. Возмутительно — это ж и есть базовые эмоции) в разных категориях.

После закрытия FQL в 2016 и многих ограничений на API, сейчас можно скачать, получить из фб некоторые данные (статья про это) не в реальном времени

← (с задержкой в html/json форматах в архиве. Без фото/видео, а только текста фейсбук собрал обо мне на 600Мб архива)

и попробовать строить по ним свои выводы.

По сути фб и есть РУЧНОЙ трекер того кто как на что реагирует, настроений и реакций. Но только выводы о важности того или иного он не отдает нам, а как раз продает. Он не дает мне инструменты анализа моих лайфданных, а сам это делает скрытно. По этому поводу есть большая и важная статья https://geektimes.com/post/287532/ (“Является ли Facebook угрозой свободному обществу?”)

Фб, кстати, автоматически загружает себе (как отключить) и все контакты, звонки и смс если поставить его клиент на телефон. Я вот в архиве нашел свои контакты с 2010 года. Вообще много интересного в файле архива, который можно скачать с фб. Спасибо, хоть данные они уже отдают.

Фейсбук зарабатывает тем, что продает свои знания кто какой эмоцией на что реагирует.

акция #deletefacebook была связанна с признанной фейсбуком утечкой личной информации более чем 50 миллионов пользователей в компанию Cambridge Analytica, которая, по словам её бывшего сотрудника, использовала их для того, чтобы помочь Дональду Трампу победить на президентских выборах в США в 2016 году. Компания отрицает что она это делала.

🔑 Потенциал

Как делать пересечение: скрестить лайфлог (календарь, фотки, видео, сон, итд) + мое самочувствие (например, уровнь счастья)?

Чтобы автоматически выделять важность событий/контента. Все эти оценки записываемого отвлекают от потока жизни, теперь надо научить системы автоматически выделять важное мне.

“AUTOMATIC mood detection”. Можем ли мы вообще отслеживать счастлив ли человек, что его делает счастливым? Как фиксировать счастье техническими средствами?

>> Статья с возможными сервисами API на англ.

Конечно же эти штуки могут детектить всего несколько направлений эмоций из всей многотысячной гаммы доступной нам как людям. Но даже 6 состояний с вероятность точности вышел 70% уже лучше чем ничего.

ФОТО/ВИДЕО ЛИЦ (Facial emotion detection, достаточно точно и много компаний делают). Компьютерное зрение выражений эмоций. Тут не подходит, потому что в лайфдате у нас если и есть фото, то это фото как я вижу кого-то, а не мое лицо. Как себя постоянно фотографировать я пока не знаю. В прошлой статье говорил, что будут селфидроны персональные фотать меня, но пока это кикстартер проекты. Надо еще их подождать.

ТОН ГОЛОСА (Speech to Emotion, например http://www.good-vibrations.nl/api). Такие системы как callminer или Callyser (от https://audeering.com/applications/) постепенно внедряют на колл-центры чтобы детектить на какой эмоции звонок зашел и в какой вышел. Для дневниковых целей уже получше, но тоже я не всегда говорю ж. Когда есть разговоры с другими их можно записывать и себе можно надиктовывать.

https://developers.vokaturi.com/
MoodCall

Из пользовательских аппов есть Moodies Emotions Analytics (android), основанная на движке Beyond Verbal (израильского стартапа) у которых есть и платный API.

Говоришь 20 секунд в программу (без фонового шума и других голосов вокруг), она должна показывать твою эмоцию. У меня на телефоне зависает, видимо не может получить доступ к микрофону.

У них же теперь есть более профессионально сделанная MoodCall (android), которая автоматические записывает телефонный звонок, режет на куски по 13 секунд и каждый анализирует на эмоцию. Так появляется дневник звонков. (у меня на телефоне с андройд 7 ничего так и не заработало)

Можно например вести дневник звоня разным своим знакомым (или близким) и рассказывать им о текущем.

Музыка (emotional setting of a music track, программа sensAI-Music). Насколько я помню lastfm первым массово стали пересекать настроение с типом музыки, а уже потом за ними последовали другие стриминговые сервисы. Как ИИ совместно с плейлистами пользователей умеет подбирать музыку чтобы влиять и управлять нашим настроением и даже работоспособностью это тема для отдельной заметки.

Пока из пользовательских встретил еще прототип-стартап http://www.jourknow.com/jourknow.html голосового дневника, который как раз должен распознавать состояние из голоса на каждое предложение судя по их описанию.

Но в реальности он делает две вещи отдельно, он распознает голос в английский текст, а уже предложения в тексте раскрашивает базовыми эмоциями притом есть насыщенность каждого цвета. Это конечно менее интересно, потому что работает только на английском.

АНАЛИЗ ТЕКСТА/ЧАТА. IBM Watson один из самых известных способов прогнать текст на большое количество характеристик, в том числе и на эмоциональное окрашивание.

Их много уже. В англоязычном сегменте.

+ у чат бота Repica AI есть два модуля по этой теме / подробнее на https://cakechat.replika.ai (с открытыми исходниками на гитхабе):

  • Emotional chatting machine на сайте показывается как бот может поддерживать эмоции в разговоре отвечая на одно и тоже по разному в зависимости от зафиксированной эмоции чата и добавлять такие же эмоджи.
  • Topic-centric model общаясь с нами бот пробует автоматические из всего потока чата выяснить темы, а на основе тем какие фразы, обозначающие темы, поместить в журнал дня. Нейросеть пытается понять что из сказанного мной за недавний промежуток времени есть теми самими словами, по которым я (а) различу этот промежуток от других (б) смогу его легко оценить для себя каким он был. Она запоминает это как тему и как тема репрезентируется, а потом со временем возвращается к ней (можете проверить установив апп)

Лайф-дата. Темы. Эмоции. Важность.

+ анализ питания. например в этом выступление предлагается поставить камеру в микроволновку и она будет анализировать насколько это еда здоровая и такой звук/эмоцию издавать.


В этой статье на англ приводиться 6 устройств для автоматического трекинга эмоций.

Самоанализом становится оценка того, как я телесно откликаюсь на разное происходящее притом это может быть растянутая во времени реакция (болезни так происходят — что-то снизило иммунитет заранее, а потом вирус смог активизироваться во мне)

НАТЕЛЬНЫЕ ДАТЧИКИ. Раз это мое состояние, моего тела, может можно его отслеживать физически чем-то. Когда-то так догадались отслеживать ложь.

Идея отслеживать показатели тела как по мне самая понятная и перспективная.

Датчик пульса это то, что сейчас легко доступно во многих смарт-часа. Он может автоматически измерять пульс каждую минуту (или реже) и записывать значение с меткой времени.

Мне встречалась на кикстартере проект программы, которая обещала что сможет на основе ритма сердца вычислять точно, что в течении дня я чувствую эмоционально — Sence. 3 апреля 2018 года должны начать поставки. Датчик пока не маленького такого размера.с

Интервью создателя для сайта дело.уа.

обычные девайсы меряют пульс каждую секунду, а сенс может улавливать пики каждые 4 мс

Spire. Датчик-клипса темпа дыхания.

Sentio’s Feel и Empatica E4— браслеты с датчиком движения, ритма сердца и температуры/электрозаряда на коже. В (англ) статье, объясняющей работу датчика говориться что у нас есть симпатическая и парасимпатическая активация. Симпатическое возбуждение происходит когда я восхищен или что-то важное происходит, а парасимпатическое замедляет тело, когда ему нужно расслабиться.

The skin is the only organ that is purely innervated by the sympathetic nervous system (and not affected by parasympathetic activation) = Кожа это единственный орган, который чисто раздражается симпатической нервной системой (и не поддаются воздействую парасимпатической активации).

НЕЙРОИНТЕРФЕЙС. Для пользовательских целей неинвазивными методами (не вскрывая черепную коробку) измерять активность мозга сейчас можно уже не такими громоздкими шлемами.

один из первых проектов который давно меня заинтересовал www.emotiv.com

Нейроинтерфейс меряет уже не эмоции, а параметры внимания такие как сфокусированность, вовлеченность, интерес и возбуждение.

Сами по себе эти параметры это просто кривые на графиках (притом не очень то точные), но если мы научимся делать выводы что конкретно из внешнего мира вызывает у нас повышение интереса/вовлеченности

и автоматически это собирать в иерархии, то как раз сможем решить проблему с классификацией фотографий и лайфдаты.

С таким девайсом незаметно трудно ходить, но его можно маскировать во всякие ушки и рога. Притом можно сделать обратную связь, чтобы на определенные эмоции ушки поднимались/опускались.

ДАЛЬШЕ

В следующих частях о самоанализе через дневник и возможном будущем этого занятия.