Googleのbertを利用してみました〜！

Published in

The HumAIn Blog

10 min readMar 30, 2019

今日は、チナパです！

先日、Word2vecを利用して、単語から数字のための辞書を作成してみました。その続きで、Googleが最近リリースした「bert」(Bidirectional Encoder Representations from Transformers)を利用してみましょう。

Bertとは?

まずはそもそもこれは何なのか、なんですごいのかを説明します。

現在までの自然言語処理の技術が文章を読みながら、今までの言葉からコンテキストを理解して、順番での次の言葉の意味を今までの言葉によってのコンテキストで影響されるような技術が代表的でした。

それはRNNの構築を利用して行ってました。

去年、ELMoとbertでは「Attention」を利用し、より精度の高い結果を出せるようになってる。

例えば、チャットボットを作成する時に、Attentionの構築では前のメッセージのキーワードを覚えながらお返事を作成するようなイメージです。

Bertはそれをより強化的に使っています。

“Multi-headed attention”と説明されていますが、複数な箇所をバラバラに注目しながら解析しているような巨大モデルです。

英語の自然言語処理のベンチマークの一つのSQuADでは人間より良い結果が簡単に出せるようです。

bertが事前に単語を学習されたままで利用もできますので、試してみましょう！

##素晴らしい！では、どうやって使える??

Bertは割と重いので、今回はColabでやってみました。

!pip install bert-tensorflow  #今回のスター https://github.com/google-research/bertfrom google.colab import drive
drive.mount(‘/content/gdrive’)

driveの許可を与えて、bertの語彙データをtensorflow_hub_からアクセスしましょう。


from bert.tokenization import FullTokenizer
import pandas as pd
import tensorflow_hub as hubbert_path = “https://tfhub.dev/google/bert_multi_cased_L-12_H-768_A-12/1" # 日本語用のモデルがこちらsess = tf.Session()def create_tokenizer_from_hub_module():
  """Hubから語彙リストなどをゲットする"""
  bert_module = hub.Module(bert_path)
  tokenization_info = bert_module(signature=”tokenization_info”, as_dict=True)
  vocab_file, do_lower_case = sess.run(
    [
     tokenization_info[“vocab_file”],
     tokenization_info[“do_lower_case”],
    ])  return FullTokenizer(vocab_file=vocab_file, do_lower_case=do_lower_case)
 
tokenizer = create_tokenizer_from_hub_module()

これで、bertのtokenizerのインスタンスを作りました。MeCabみたいに、文字列を言葉に分けるためのものです。bertでは、漢字が全部一文字ずつのトークンに変換されます。

tokenizer.tokenize(‘こんにちは、今日の天気はいかがでしょうか？’)

すると、

['こ', '##ん', '##に', '##ち', '##は', '、', '今', '日', 'の', '天', '気', 'は', '##い', '##か', '##が', '##で', '##し', '##ょう', '##か', '？']

みたいなとんでもない結果が出ます。
“##”が続いているような風に見える。トークンから文字列に戻そうとするとこのあたりは気をつけないと…
後は、変な分からない文字がありましたら、このように出てきます。

tokenizer.tokenize(‘゛’)  # 変な文字発見！# アウトプット=> [‘[UNK]’]

さて、ベクトル化しましょう。

bertでトークンをベクトル変えるために、3つのインプットが必要です。

tokenizer.convert_tokens_to_ids(…)

で作成できるid以外にsegment idとinput maskが必要です。

input_id_がbertで素早くベクトルに変換するためのものです。segment_id_は文の番号です、これでメッセージとその返事が分けられたりできます。padding系のインプットを無視できるように、input_mask_を利用します。

一旦は、一つの文章だけの処理をしましょう。上記の3つのベクトルがこのようなメソッドで作られます。

def convert_string_to_bert_input(tokenizer, input_string, max_length=128):
 tokens = []
 tokens.append(“[CLS]”)
 tokens.extend(tokenizer.tokenize(input_string))
 if len(tokens) > max_seq_length — 2:
 tokens = tokens[0 : (max_seq_length — 2)]
 tokens.append(“[SEP]”)
 
 segment_ids = [0] len(tokens)
 input_ids = tokenizer.convert_tokens_to_ids(tokens) # これから加えるpaddingが無視できるように
 input_mask = [1] * len(tokens)
 
 while len(input_ids) < max_seq_length:
 input_ids.append(0)
 input_mask.append(0)
 segment_ids.append(0) return np.array(input_ids),
         np.array(input_mask),
         np.array(segment_ids)

上記のメソッドで “[CLS]”と “[SEP]”を追加しているのが見えます。これはbertで利用する「開始文字」と「文を分ける文字」になってます。複数の文章がある場合に、間に“[SEP]”を入れます。

Pandasでベクトル化したいデータを読み込み、上記のメソッドで変換しましょう。


data_path = …
input_column = …
df = pd.read_csv(data_path)features = df[input_column].map(
 lambda my_string:
 convert_string_to_bert_input(tokenizer, my_string)
 )

Bertをkerasで利用

よっし、これからbertをkerasのモデルに利用する魔法を使いましょう。

https://github.com/strongio/keras-bert/blob/master/keras-bert.ipynb

こちらはかなり参考になりました。

これはkerasのカスタムLayerを作成し、その中にbertを利用するようなコードです。
自分のカスタムLayerを書くときにこちらもとても便利です
[https://keras.io/layers/writing-your-own-keras-layers/]

重要な部分は3箇所あります。

1. build()

def build(self, input_shape):
   self.bert = hub.Module(
     bert_path,
     trainable=self.trainable,
     name=”{}_module”.format(self.name)
   )

ここでtensor flow hubを使って、bert_path_で定義されたモデルを利用します。

2. call()


input_ids, input_mask, segment_ids = inputs
 bert_inputs = dict(
 input_ids=input_ids, input_mask=input_mask, segment_ids=segment_ids
 )
 result = self.bert(inputs=bert_inputs, signature=”tokens”, as_dict=True)[
 “pooled_output”
 ]

ここでは、先ほど用意したinputをdictに変え、bertのモデルから結果を求めてます。

現在はsignature=”tokens”以外のサポートがありません(29/03/2019)、”pooled_output”と別に”sequence_output”もあります。pooledの方が単語ベクトルを作成する時に使いますので、そちらで行きます。

3. output size

self.output_size = 768

こちらは使ってるモデルに応じて設定する数字です。普通のモデルのそれぞれのレイヤーが768次元で帰ってきます。Largeのモデルでは1024次元です。

これで先ほど作成した3つの変数をdictに入れ、self.bertで結果を得ます。
上記のlayerを普通のkerasのモデルで使えます。

例:


def get_model(max_length=128, num_classes=5):
 input_ids = tf.keras.layers.Input(shape=(max_seq_length,), name=”input_ids”)
 in_mask = tf.keras.layers.Input(shape=(max_seq_length,), name=”input_masks”)
 in_segment = tf.keras.layers.Input(shape=(max_seq_length,), name=”segment_ids”)
 bert_inputs = [input_ids, in_mask, in_segment]
 
 bert_output = BertLayer(n_fine_tune_layers=1)(bert_inputs)
 dense = tf.keras.layers.Dense(128, activation=’relu’)(bert_output)
 pred = tf.keras.layers.Dense(num_classes=5, activation=’sigmoid’)(dense)
 
 model = tf.keras.models.Model(inputs=bert_inputs, outputs=pred)
 model.compile(loss=’categorical_crossentropy’, optimizer=’adam’, metrics=[‘accuracy’])
 model.summary()

ぜひ試してみましょう！

まとめ

今回、今までの自然言語処理のやり方、とbertの簡単な説明をしました。それから、文字列をbertに適切な形に変換して、モデルで利用できるような形にしました。

分かりやすかったでしょうか？

今回は、自分も理解し切れてない部分もありますが、ぜひフィードバックを聞きたいです〜