2017 回顧文摘要系列三:Google Brain

原文連結:part 1, part 2

第一部分是核心研究

  • 自動化機器學習 AutoML
  • 語音理解與生成
  • 新的機器學習演算法
  • 計算機系統的機器學習應用
  • 隱私性與安全性
  • 理解機器學習系統
  • 開放數據集
  • TensorFlow 與開源軟體
  • TPU

第二部分是特殊領域研究

  • 醫療
  • 機器人
  • 基礎科學
  • 創意
  • People + AI Research (PAIR)
  • 機器學習的公平性與包容性
  • Google Brain 的文化

大綱就以跨頁了,內容我就隨自己的喜好意思意思寫了XD

AutoML

語音理解與生成

Tacotron 2’s model architecture

新的機器學習演算法

這個主題滿有趣的,想用機器學習的方法來取代一些計算機系統中的方法。第一個分享是一個關於圖論的東西,我看不太懂,可能要看論文。大概就是說強化學習算出來的配置比人類專家好。第二個分享是索引,說機器學習算的 index 比 B-Tree 好。

計算機系統的機器學習應用

其實隱私沒什麼好說的,你只能相信他。adversarial attach 也是 2017 年非常受到關注的主題,當然 Google 也發了幾篇論文。

隱私性與安全性

  • 目前深度學習可解釋性很差
  • Google 研究了很多 GAN 模型,發現根本其實沒比原版好
    這要說的是,其實評斷模型好不好的這些方法,現在某種程度已經失去效力了
  • 推廣了一下 Distill

理解機器學習系統

列了七個 Google 開放的數據集,兩個 Youtube + 兩個聲音相關 + 一個影像動作 + 兩個圖像相關。

TensorFlow 與開源軟體

TensorFlow 大家都很熟就不多說了

  • 廣告一下 3/30 有 TensorFlow Developer Summit
  • 居然提了 TF-GAN
  • 還提了 deeplearn.js

TensorFlow 與開源軟體

TPU

  • Google 自己設計的 ASIC 晶片,利用深度學習的兩個特性
    1. 密集的線性代數運算
    2. 可以接受稍微低一些的精準度 (reduced precision)
  • 第一代 TPU 以在 Google 機房上線超過三年
  • AlphoGo 對戰柯潔以及李世石就是用第一代 TPU

醫療

healthcare 的篇幅滿大的

機器人

  • 先打一下大家的臉,在設計好的還境裡執行特定工作的機器人,根本沒用。
  • 想讓機器人們分享彼此的經驗,學習新技能。
  • 用模擬器訓練,再加上一些真實環境的訓練,是可以的。
  • 除了做中學,還可以看中學,研發了一套演算法看人的行為學習。

機器人的篇幅也滿大的

基礎科學

  • 量子化學的分子特性
  • 發現天文行星
  • 餘震預測
  • 自動證明系統

創意

People + AI Research (PAIR)

PAIR’s goal is to study and design the most effective ways for people to interact with AI systems.

機器學習的公平性與包容性

Google Brain 的文化

結語

當然整個團隊一整年的成果用兩篇部落格是不可能寫得完,不過看完感覺有點 marketing 或是高階科普的意味,可以體會到 2018 年要對外推廣的是什麼,但是自己內部留著什麼招就不得而知了。

  • 第二代 TPU 算 ResNet-50 只要 22 分鐘