MMFashion : ファッションをセグメンテーションする機械学習モデル

ailia SDKで使用できる機械学習モデルである「MMFashion」のご紹介です。エッジ向け推論フレームワークであるailia SDKとailia MODELSに公開されている機械学習モデルを使用することで、簡単にAIの機能をアプリケーションに実装することができます。

MMFashionの概要

MMFashionはオープンソースのファッション分析に関するツールボックスです。MMFashionの中にはセグメンテーションやランドマークディテクションのモデルが含まれています。本記事ではセグメンテーションについて紹介します。

出典：https://arxiv.org/pdf/2005.08847.pdf

MMFashion: An Open-Source Toolbox for Visual Fashion Analysis

open-mmlab/mmfashion

MMFashionを使用したファッションのセグメンテーション

MMFashionはバックエンドにMMDetectionを使用しています。MMFashionでは、MMDetectionに含まれるMaskRCNNを使用することで、入力した画像に対してセグメンテーションを行うことができます。

検出可能なカテゴリは下記になります。

CATEGORY = (
    'top', 'skirt', 'leggings', 'dress', 'outer', 'pants', 'bag',
    'neckwear', 'headwear', 'eyeglass', 'belt', 'footwear', 'hair',
    'skin', 'face'
)

出典：https://github.com/open-mmlab/mmfashion/blob/master/demo/imgs/01_4_full.jpg

ONNXへのエクスポート

MMDetectionを使用したモデルをONNXにエクスポートするには少し複雑な操作が必要です。エクスポート方法は下記の記事にまとめていますので、必要に応じて参照してください。

MMDetectionのモデルをONNXにエクスポートする

MMFashionの使用方法

ailia SDKでMMFashionを使用するには、下記のコマンドを使用します。WEBカメラの入力に対してセグメンテーションを行います。

python3 mmfashion.py -v 0

axinc-ai/ailia-models

実行例です。

MMFashionは背景のない画像で学習を行なっているため、背景画像が含まれる画像に対しては精度が低下します。-ppオプションを使用することで、U2Netで背景切り抜きを行なった後にMMFashionを適用することが可能です。

python3 mmfashion.py -pp large

ax株式会社はAIを実用化する会社として、クロスプラットフォームでGPUを使用した高速な推論を行うことができるailia SDKを開発しています。ax株式会社ではコンサルティングからモデル作成、SDKの提供、AIを利用したアプリ・システム開発、サポートまで、 AIに関するトータルソリューションを提供していますのでお気軽にお問い合わせください。