近年，生成式模型 (generative model) 用於圖像生成展現了驚人的成果，最知名的莫過於基於 diffusion model 的 Stable Diffusion 與 Midjourney。雖然目前還無法完整地指出 Midjourney 背後的方法，但透過…

Tensorflow作為各平台最全面支援的深度學習框架之一，提供了不同精度的quantization操作。除了支援直接quantize已訓練網路的post-quantization，也支援了在訓練時模擬低精度運算的training aware quantization (QAT

DETR (Detection with Transformer) 是2020年FAIR團隊發表於ECCV的論文 (Oral)。看大標題以為只是用NLP的神器Transformer做文章，改個網路架構之類。事實上，這是一個在object…

影片生成一直被認為是一項複雜的高維度任務，不僅要在圖像生成的基礎上處理時間連續性的問題，還面臨著高維數據處理的挑戰。長期以來，產生既高品質又有一定長度的影片對技術是一大考驗。在 2024 年 2 月 OpenAI 推出了 Sora 模型…

今日在GPT (General Pretrained Transformer) 的助攻下，基於attention的Transformer早已是深度學習的主流模型之一。不過在電腦視覺領域，即使ViT (Vision Transformer) 與Swin…

2021 年的 RepVGG 提出了一種在訓練時是 multi-branches ，但在推理 (inference)時可以重參數化 (reparameterize) 成 plain CNN model 的架構。讓模型在表現提升的同時，仍然保有 plain model…

在物件偵測 (object detection) 領域，FPN (feature pyramid network) 與其衍生架構是提升偵測準確度的常用技巧。而YOLOF明確地指出 FPN更重要的在於 divide-and-conquer的 label assignment….

Deep learning在電腦視覺 (Computer Vision, CV)上最常被使用的架構是 Convolution Neural Network (CNN)。 CNN以參數來做 convolution的概念可以說是 Yann LeCun於 1998年發表的…

MAE (Masked Autoencoders)是 FAIR在 2021年提出，借鏡 BERT的 MLM概念、結合切割影像為 patch的 ViT，精煉出不需要 contractive架構的 self-supervised pre-training方法…