Programming

現在、機械学習における前処理をscikit-learnのPipeline感覚でつなげてしかも保存できる処理を開発しています。

前処理には当然単語の分割といった処理も入るのですが、単語の分割に使用するTokenizer(今回はMeCab/Janome、もしくはspaCyのインスタンス)は複雑なオブジェクトで、Pickle(scikit-learn.external joblib)で保存しようとすると当然エラーになります。

• その時に使える、tf.while_loopを紹介します
• 実際使用したコード

今回は、逆強化学習のアルゴリズム(線形計画法)を実装する際に逆行列の演算が個別に必要な計算箇所があり、これは一度にはできないためループで処理することにしました。

Tips