Pickle化できないオブジェクトをPickle化する

現在、機械学習における前処理をscikit-learnのPipeline感覚でつなげてしかも保存できる処理を開発しています。

前処理には当然単語の分割といった処理も入るのですが、単語の分割に使用するTokenizer(今回はMeCab/Janome、もしくはspaCyのインスタンス)は複雑なオブジェクトで、Pickle(scikit-learn.external joblib)で保存しようとすると当然エラーになります。


Research Manager Meetup #2を開催しました

2019/8/9に、レトリバさんのコラボレーションルームをお借りしてResearch Manager Meetup #2を開催しました。

programming-soda
programming-soda
Exciting research & programming like soda!
More information
Followers
166
Elsewhere