Ajax通信しているサイトをクロールする
Feb 24, 2017 · 2 min read
あるサイトをBeautifulSoupを用いてクロールしたところ、必要な情報が取得できなかった。この原因はおそらく、Ajax通信でデータを表示していたからだと思う。
PythonとSeleniumを用いて、Ajax通信しているサイトをクロールする手段をとった。
下記のページを参考にした。
Scrapyを用いているものもあったが、うまく進められず。BeautifulSoupの方が使い慣れている事もあり、上記のサイトを参考に進めた。
BeautifulSoupについては下記を参考にした。
