2018 AI 即戰力服務巡禮(2)- Firebase ML Kit

近一段時間以來,AI 與 ML 興起,帶起了新一輪的服務與體驗升級。接下來將會彙整現有的知名 AI/ML 服務,並介紹其中已能馬上使用的 API-Driven 服務,嘗試探索這些即戰力能為產品帶來怎樣創新

Terry Huang
安郡尼爾筆記
7 min readJun 4, 2018

--

What is Firebase ML Kit?

在 2018 年的 Google I/O 大會上,Google 宣布 Firebase 釋出了最新功能 Firebase ML Kit,一個專為行動裝置開發的 AI SDK。

Firebase ML Kit 是一個能簡易把 Google Machine Learning 應用到一般行動 App 產品中的封裝(iOS + Android)。無論是否對於 Machine Learning 是否有經驗,都能夠透過簡單的步驟,把強大的功能加入您的產品中。

集成了日常場景使用的現成 API

ML Kit 提供了以下五種與影像相關的 Vision API,只需要簡單的幾行程式就能實作

  • Text Recognition: 文字識別
  • Face Detection: 人臉檢測(即時辨識圖像中的多個人臉區塊和特徵)
  • Barcode Scanning: 條碼掃描
  • Image Labeling: 圖片標記
  • Landmark Recognition: 地標識別

有本機端(不需網路)以及雲端的兩種服務

ML Kit 為本機端以及雲端提供了通用的使用介面。本機端的 API 能夠快速的處理數據;而雲端的 API 則使用 Google Cloud Platform 機器學習技術,提供更細緻、更高準確度的資料。

可部署自定義的模型

支援客製化的 TensorFlow Lite 模型,只需要將自己的模型上傳到 Firebase,Firebase 便會託管該模型,ML Kit 會提供您自定義模型的 API 層,讓使用上變得非常容易。

文字識別 Recognize Text

文本識別可用在相當多的場景,讓您提高使用者體驗,比如:掃描信用卡、收據、名片…等等,來自動化輸入表格;或是透過雲端的高精準度識別,來完成文件翻譯…等等

本機端識別

  • 價格:免費
  • 適用:即時圖像、影像、相機處理
  • 支援語言:Latin Characters(拉丁字母語系的文字!?)

雲端識別

  • 價格:前 1000 個 UNIT 免費,級距性定價
  • 適用:高精準辨識、文件辨識
  • 支援語言:大部分國家,包含中日韓,詳細支援語言請參考這裡

人臉檢測 Detect Faces

人臉檢測可以幫助您,在特定的幾種場景中取得關鍵的資訊,比如:在人像的相機 App 中,可以辨識人臉、眼睛、嘴巴…等等位置,以進行修飾;或是在圖片中自動找出參與者的頭像,可進一步應用;也可即時進行人臉檢測,把人臉的表情或特徵作進一步的應用,像是表情遊戲。

本機端識別

  • 價格:免費

特點:可辨識並標記出臉部特徵

可辨識出各個臉部中,眼睛、耳朵、臉頰、鼻子、嘴巴的部位所在

特點:可辨識臉部表情

可辨識出各個臉部是否正在微笑、是否閉上雙眼

特點:可分辨動態影片中同樣的人臉

可辨識出影片中,曾經出現過的人臉,並給予 ID。可方便讀取出影片中關於某個人的片段

特點:可即時分辨

支援本地端離線辨識無需網路,可即時獲得辨識結果

條碼掃描 Scan Barcodes

條形碼是將信息從現實世界傳遞到應用程序的一種便捷方式。 特別是,使用QR碼等二維格式時,您可以編碼結構化數據,如聯繫人信息或WiFi網絡憑證。 由於ML Kit可以自動識別和解析這些數據,因此當用戶掃描條形碼時,您的應用可以進行智能響應。

本機端識別

  • 價格:免費

特點:支援幾乎所有標準的格式

支援一維條碼:Codabar, Code 39, Code 93, Code 128, EAN-8, EAN-13, ITF, UPC-A, UPC-E

支援二維條碼:Aztec, Data Matrix, PDF417, QR Code

特點:支援自動格式偵測

而無需指定目標的格式,就能直接進行掃描。 或者,可以設定檢測特定的條碼類型,來提高掃描速度

特點:提取結構化數據

自動提取二維條碼中的數據,支持的信息類型包括 URL、聯絡人資訊、日曆事件、E-mail、電話號碼、SMS、ISBN、WiFi 連接信息、地理位置

特點:支援任意方位掃描

圖片標記 Label Images

圖片標記功能讓開法者能暸解圖像的內容。使用 API 時,將會得到一個以上的識別標籤列表,分屬於各種分類,比如:人物、事物、地點、活動…等等,可參考下方的列表範例。識別出的標籤都會帶有一個信心分數。利用這些信息,可以做出非常智慧化的功能,比如:自動分類圖片、自動化內容審核…等等

本機端識別

  • 價格:免費
  • 能力:可辨識 400+ 標籤

雲端識別

  • 價格:前 1000 個 UNIT 免費,級距性定價
  • 能力:可辨識 10,000+ 標籤

地標識別 Recognize Landmarks

將圖片使用此 API 時,將會得到圖片中識別出來的著名地標,發現地標的圖像區塊,以及每個地標的相關資訊,比如:地標的真實地理坐標位置。這樣的 API 應該可以在照相、旅遊、AR 遊戲中扮演重要的角色

雲端識別

  • 價格:前 1000 個 UNIT 免費,級距性定價

使用最新的 Firebase ML Kit,光是透過免費的本機端功能便能夠玩出相當多的可能性,雲端的部分則還尚在 Beta 中,並不建議使用在線上產品。如果有需求,可以參考已經 GA 的,Google Cloud Vision API,擁有非常強大完整的圖片分析 API,但是大部分都需要網路與收費。

--

--

Terry Huang
安郡尼爾筆記

Co-Founder of LiRise Co.,Ltd. In charge of innovative affairs development. Tags: Guitar, Golf, Photograph, Cocktail, Dance, Diving, Travel.