Taipei Video Tech meetup #8
劇迷、影痴、眼鏡達人、算命師，他們一起走進了一間豪華餐廳。接著，他們進一步邀請了跑者、籃球迷、視覺工程師以及一位擁有九張證照的潮男加入。眾人寒暄了幾句後，一起踏上了餐廳正中央的舞台。
不久，賓客一位接著一位出席了 — — 秀出邀請卡；驗名身份；往 finger food 或是 wine bar 走去；一邊揣著點心，一邊想著要加入哪一桌社交圈。
另一方面，在舞台上的那群人，已經準備好給當晚入場的賓客們，一個難忘的三小時宴會了。這個宴會呢，就是 Taipei Video Tech meetup #8。
除了一個 meetup 該有的標配，Taipei Video Tech meetup #8 它還擁有什麼？還帶來了什麼？它有座落在台北市信義區並且有著 12 樓夜景的場地；有兩個投影螢幕外加一台大電視的屏幕；有酒水也有美味精緻的點心；有燈光也有音樂；有遵循 ARCI Model 的 50 項專業分工；有專人處理所有現場事務；連專業攝影師都有了！
更吸引人的是，三場準備得像是要上 TEDxTaipei 給 TED talk 的技術短講；來自美國、新加坡、新竹與大台北的影音串流行業專業職人們；開放的空間與觀點；更有以這個產業的職場、文化、趨勢與自我成長等議題的 panel discussion。對了，還有，要 have fun!
有來自 AWS, KKStream, Netflix 好友的合力協辦，有 80 多位出席的同業專業人士的參與，眾人合力完成了一場：meetup 之上，conference 未滿的 Taipei Video Tech meetup #8 活動。以產業職人的觀點，提供一個自在交流與社交的聚會。就這樣再次執行了起來～
主題：Video Super Resolution in Premium
摘要：Video Super Resolution 這方面的研究，近年來時不時會在學術研究上看到，但如果用在 premium content 上會發生什麼事呢？帶著這個好奇心，KKStream 進行了實驗，也跟大家分享我們的觀察。
講者：Yvonne Kao, KKStream
把學術殿堂帶進影音產業：數位修復與 Video Super Resolution
拜這三年的新冠疫情所賜，不少經典電影在戲院裏頭重新上映了。根據 國家電影及視聽文化中心 所出版的《2021 年台灣電影年鑑》的統計，光是 2020 年的再度發行電影，就有至少 20 部。包括像是《阿基拉》、《藍色恐懼》、《東京教父》、《記憶拼圖》、《刺激 1995》、《中央車站》…等。2021 年還有《龍貓》、《重慶森林》、《魔法阿媽》、《郵差》…等。
每個人心裏都有他最鐘情的經典電影，如果有機會在大尺寸螢幕的戲院要、大喇叭、同時有高畫質與高音質的體驗下再看一次，誰不想要？T客邦 在 2021 年有一篇報導《數位修復讓老電影重生，但一位修復師工作一個月只能修復10分鐘》，它透過採訪的形式，讓我們稍為了解電影修復的樣貌。但不是每一部經典電影都有機會重上戲院，獲得 4K 數位修復 的款待。畢竟，這個工程的成本還挺高的。
在新冠列車下，經典電影重新上院線。經典，就是潮。Old is New!
那如果，我們一步一步探索，把學術殿堂裏的高科技技術給帶進經典電影產業，或是線上的 OTT 服務，是不是讓經典回歸的機會高一點了？Yvonne Kao 帶來的 Video Super Resolution (VSR) in Premium Content 就是這方面探索與研究的一個分享。
透過探索與實驗，在動畫電影上，VSR 的成效可以有很好的表現，甚至不少時候是高於預期的。這邊的動畫電影，不論是日本動畫，好萊塢動畫，或甚至是偶動畫，成果都很好。
很有可能是動畫的 pixels 與 colors 的組成變化是比較有限的，較易從中學到 規則，不論是隱性或是顯性的規則 (以 AI 的角度來說)。另一方面，動畫是人為創造出來的，幾乎整個畫面都是 tailor-made 的，因而更容易歸納出一些習慣，風格，組成或甚至是規則出來。
另一方面，同樣是拿 1990s — 2000s 的作品，如果拿的是那個時期的日劇、港劇或是台劇，經由 VSR 來做放大 (這邊指的是長與寬都各自放大 4 倍這麼大)，結果就時好時壞了。
結果好的時候，男女主角不管是臉龐或是身形都變清晰了，不會有在看爸媽年輕沙龍照的感覺。但更多時候，是變怪了。像是沒戴眼鏡的 金八老師 突然多了一付無框鏡片了；或是本來就因為解析度低而有點模糊的 木村拓哉 與 松隆子 《HERO》變得更糊了。
『VSR 有機會做到或甚至是取代現在的電影 4K 數位修復嘛？』…這問題我們目前有些看法，但先保留住，也邀請更多想投入研究的人，我們一起去找出答案，創造新的價值給大眾～
主題：Device Scaling and Reliability
摘要：Netflix 透過與許多夥伴的合作，在十年內把服務延伸到了全世界十億的裝置上。讓我們一起了解什麼是 NRDP SDK 的整合，以及 Netflix 怎麼對產品品質作最好的把關。
講者：Aaron Li, Netflix
裝置的規模化是 OTT 能否傳達到用戶手中的最後一哩路
不曉得大家認識 Netflix 的最早印象是什麼，怎麼認識它的？我的話，我記得最早對 Netflix 的印象，來自於它的一則廣告 (或是 slogan)：Watch Everything Everywhere All at Once。這是一句多麼精簡，直白而且完全傳達了 Netflix 對於用戶所帶來的價值呀！
Watch Everything Everywhere All at Once
— Netflix
句中開頭的 “Everything”，需要透過版權談判、內容授權、自行投資拍片、採購、或是獨佔…等商業手法來做到盡可能多而豐富的影視作品在線，或至少是讓大眾想看的作品在線。這是一門藝術，一門大部分工程師不會懂，然後我們“暫時“也還不需要在 Taipei Video Tech meetup 裏頭討論的議題 (鬆了一口氣)。
至於句字的後半段 “Everywhere” 以及 “All at Once” 呢？！那就與技術、與工程、與我們有高度相關了。
“Everywhere” 明確指出，在盡可能任何地方都可以享受看電影電視劇。不管你是在忠孝東路上，還是在國華街，要在你的床上也行，如果你想在浴缸裏也是可以。至於你說在爬喜馬拉雅山的路上行不行…我想可以離線播放的話，應該也是可以的吧 ;p
另一方面，”Everywhere” 還暗指了 “Every devices”，畢竟你身處不同的環境，就會有比較適合的裝置用來播放影片。另外，據說支援 Netflix 播放的裝置有多達上千種機型。或說得更精確一點，經由 Netflix 認證可以播放的設備，還挺多的。而這也是 Aaron Li 當天晚上要帶給大家認識的：Netflix 怎麼與 partner 合力促成這個 “Everywhere” “All at Once”。
Aaron 在當天還提到：Netflix 在 10 年前，還不是一家大公司的時候，就已經在新竹成立了 Netflix Taiwan 分公司了，為的就是要與製造業以及各種裝置廠商有更緊密的合作關係，來確保服務的品質以及上線的速度。
『因為裝置眾多，平台也多，加上硬體推陳出新得也快，為了讓各個裝置能加速 Netflix 服務的上架，我們長期開發維運一套 Netflix SDK (Javascript)，它搞定了像是 streaming, demux, UI, UX, … 等層面的事，然後交由我們的 partner 來進入下一步的整合…』，Aaron 如是說著。
接下來的內容，進入了我熟悉的領域以外的世界了。像是哪些功能是 Netflix SDK 負責的？哪些是 partner 要處理的？這之間的界定是怎麼被設計出來的？如果把 DRM 也考量進來，Netflix SDK 與 partner app 之間的 media package 傳遞怎麼執行？（…現場非常多人提問中…）
另一個很有意思的，是 Aaron 分享到『Netflix 怎麼抓出 playback 的 bug』。他提到，因為 player (或是整個 playback 過程) 會有各種問題，有些是可以透過人眼看出來或是人耳聽出來的。像是畫面的顏色跑掉，A/V 不 sync，出現不正常的綠屏或是黑屏…等。最早有過一段時期是請人站在裝置前面，就一直看著它播放，然後「感覺」出哪裏出了問題。
後來，在 2019 年之後，設計並且導入了一個 eyepatch 的裝置，一個可以承接視訊音訊的裝置，然後同時還 mount 在電視或是螢幕前的裝置。它在同時收到影音訊號，以及它對著螢幕看到的畫面後，拿這兩者的訊號做一種相容性比對，偵測有什麼異狀。
喔，對了，Aaron 說，這個 eyepatch 玩意兒實在太優秀了，它不適用於勞基法，不會喊累，也不會抱怨，一天工作 24 小時，一週工作 7 天…XD
Player 與 playback 的鐵定是 Aaron 今天帶來的主題中，很重要的一環。他接著提到了 Product Quality Score，一個用來量化 player / playback 的品質的量化指標。包括像是 startup error, crash number, time to start render, re-buffering, overall video quality/bitrate, playback error, … 等。然後透過與 partner 分享並且追蹤 PQS 的成效歷程，做到品管控制。
決定了 Netflix 與 partner 的合作能否“過關“，能否“快速過關“，能否讓 Netflix 普及到更多的裝置。Netflix 在 SDK, toolchain, 自動化, 量化指標…等投入資源與人力。我想，這就是 Aaron 指出的 Device Scaling and Reliability 吧。
主題：Low Latency Live (LL-DASH) Playback Challenges
摘要：在愈來愈多場域有直播串流應用的時代，低延遲的要求也跟著被關注了。所幸，產業界制定出了相關的規格 (Ultra Low Latency)，但怎麼做到，有什麼技術問題，是這次要與大家分享的。
講者：Derek Shih, KKStream
高流量，大規模觀看與低延遲，ULL 技術帶來三者的交集
新冠疫情帶來的其中一個大改變，是我們使用影音串流服務與產品的習慣改變。更準備一點來說，是我們提高了對影音串流的依賴，對它的要求提高了，特別是直播 (live streaming) 類型的應用。諸如像是更多的遠距會議、FIFA World Cup 的直播、ABAO阿爆《第一屆阿嘟運動演唱會》、線上尾牙抽獎或是線上飛輪課程…等，這些都不是新玩意兒，但疫情讓我們理解到我們對直播的需求更多了，也更貪心了。
其中一個需求，非常非常的基本，但卻十足重要：低延遲 (low latency)。低延遲就像一個 API 的 response time 一樣，用戶不大會第一時間去想到它，甚至根本不知道它的存在，但一個 API 的 response time 決定了你的 UX 好不好，決定了你有沒有耐心再等下去，決定了你會不會就此不再使用一個 app。
Derek Shih 的開場，很客氣但霸氣的提出一個想法：我們想同時保有 Adaptive Streaming Protocol (HLS, DASH) 的高普及性，但我們也想要同時擁有接近 WebRTC 的低延遲。目前普遍的 HLS/DASH 的直播大概是 10~30 秒的延遲，我們的目標不是一般的 5 秒低延遲，而是要更低，是 3 秒！
先假設 server 端一切品質很好，造成的延遲也很少。但當一個直播，從 client player 的角度來看，它的延遲有點高的時候，顯然是哪出錯了。既然我們做了 server 端一切安好的假設，那麼我們可以先把延遲的問題整個限縮在 client 端的 player 這邊。
Player 因為各種原因，它“播慢了“。再更精準一點的說，如果 client 端的 player 能夠“趕上“ server 端，似乎就能減少一些延遲了。這就是當天晚上 Derek 帶來的整個中心想法：讓 client 端的 player 盡可能播快一點，迎頭趕上。於是作法有兩個：快轉 (往後跳) 一下下；以及提高播放速度。
當天最有趣的，是 Derek 提出的 speed playback：當 player 確認延遲太高了，就開始偷偷的加快播放的速度。目標是做到 player 的播放，被加速到剛剛好，夠快到可以讓 player 不用花太久就趕上 server 端的直播，但同時又慢到大部分的人都感覺不到。
Using skipping playback & speed playback to deal with delay. And it just works, and that’s enough.
- 加速播放的話，使用者會有感嗎？
- 如果是在演唱會上，旋律就會改變，會聽得出來嗎？
- 加速後會影響裝置功耗嗎？
- 可以一直動態地調整播放速度來達到低延遲和避免 buffering 嗎？
- 這樣的作法，是不是說可以往 dynamic but implicit speed play 來做到動態的控制 latency 或是 buffering?
以上是現場的一些提問與討論，很有意思吧。
Demuxed 2022, the conference for video engineers 裏頭，有非常多與 live streaming 或是 low latency 有關的議題。像是《Just how live is your mobile live stream anyway?》、《Live video at 150 miles per hour!》、《Yup… WebRTC still sucks》、《Low latency server side adaptive bitrate streaming supersedes client side algorithms》、《Live is Life: Per-Title Encoding for Live Video Workflows》…等。Live streaming 真的是今年最火熱的議題之一了！
親愛的，我們把 Panel Discussion 帶進 TVT 了
這次的 meetup 最不一樣的，就是我們把整個下半場的時間，給了 panel discussion。一般很少會在 meetup 中看到 panel discussion，它更常見於大型的 conference，這是第一個有意思的地方。另一方面，在一個 tech meetup 中，特意不去談論技術議題，而是去談論非技術議題，這是第二個有意思的地方。
整個 panel 由 Te-Yuan 擔任主持人 (moderator)，然後我們“剛剛好“湊齊了三位分別來自 AWS 的 Scott Liao，KKStream 的 Drake Guan，以及 Netflix 的 Aaron Li 來擔任 panelists。三位平時都是技術職的工作，在當天晚上要來與大家談論非技術的議題，這可是很少見的場合。你無法想像會聽到什麼，也因為這樣，特別的讓人期待。
（背後小故事：為了準備這個 panel discussion，我們開了三次會，往來了數封信，最後敲出了一版討論的議題與方向。接著，每位 panelist 再個別與自己的同事組個小智囊團，透過與智囊團的討論來把心中的想法清楚的整理出來。接著再斟酌字句與用字，確保能在輕鬆的語速下，同時保有自己的風格，兼俱幽默，但又能在有限的時間內回覆。）
最後，請允許我偷懶只寫下隻字片語。畢竟，panel discussion 跟 tech talk 不同，最精采的部分，都是發生在現場的。特別是當這些議題你有些共鳴，你也想過，感到好奇，或甚至是你有自己的想法的時候～
- 各位都是在佈局全球的公司工作，也有許多和國外業界往來的經驗。想請教大家，以你們的角度來看，台灣在全球整個影視科技產業生態系統中的定位是什麼？為什麼 Netflix, AWS 和 KKStream 會選擇在台灣設立據點呢？
Scott: 客戶在哪，需要什麼，我們就在哪
Aaron: 製作業，半導體，partner 在台灣新竹
Drake: high quality talents cultivated by HTC, TrendMicro, CyberLink; aiming for Japan and then Asia, but start from Taiwan as Taiwan is a good place to do startup quickly than Japan. - 各位同時也是這三家公司在台灣的代表。AWS 和 Netflix 的總部在美國，KKStream 的商業總部在日本。除了和總部固定要保持維繫之外，一定也有很多時候需要和全球各地區的分公司有業務上的來往。各位可不可以分享一些全球化合作的過程中遇到的挑戰，還有你們怎麼克服這些挑戰的經驗？
Scott / Aaron / Drake: 時區與文化差異 (下略一百字…） - 各位都是我們產業中的領導人物，我相信在場的聽眾應該也都會很想從各位的經驗中學習怎麼成功的發展自己的職業生涯。尤其是我們科技產業的變化一向是非常的快速， 客戶和公司的需求也會不斷的調整，想請教各位是怎麼調整自己的腳步來順應這些變化呢？
Aaron: curiosity
Drake: follow the trend, and re-learn all based on your backward dots
Scott: have fun and count on your team members - 最後是不是可以請大家分享一下在我們整個影視科技產業的生態系統裡面，有沒有哪一個技術的發展是你個人非常期待的？或者有沒有哪一個技術性的挑戰是你希望我們整個業界一起聯合起來一起努力的？
Scott: VR / AR
Aaron: recommendation + sharing, watch together
Drake: media + people; new codecs; AI enabled video techs
See ya in 2023!
