Ajax通信しているサイトをクロールする

あるサイトをBeautifulSoupを用いてクロールしたところ、必要な情報が取得できなかった。この原因はおそらく、Ajax通信でデータを表示していたからだと思う。

PythonとSeleniumを用いて、Ajax通信しているサイトをクロールする手段をとった。

下記のページを参考にした。

Scrapyを用いているものもあったが、うまく進められず。BeautifulSoupの方が使い慣れている事もあり、上記のサイトを参考に進めた。

BeautifulSoupについては下記を参考にした。