TensorFlowの計算グラフ内で、for/whileのようなループを使いたいときがごくまれにあります。
今回は、逆強化学習のアルゴリズム(線形計画法)を実装する際に逆行列の演算が個別に必要な計算箇所があり、これは一度にはできないためループで処理することにしました。
現在、機械学習における前処理をscikit-learnのPipeline感覚でつなげてしかも保存できる処理を開発しています。
前処理には当然単語の分割といった処理も入るのですが、単語の分割に使用するTokenizer(今回はMeCab/Janome、もしくはspaCyのインスタンス)は複雑なオブジェクトで、Pickle(scikit-learn.external joblib)で保存しようとすると当然エラーになります。