Webサービスをブラウザ上でポチポチクリックするような単純作業は正直つらいと思います。Seleniumを用いると、そのような作業を自動化することができます。この記事では、Seleniumの基本的な使い方を紹介したいと思います。具体的には・事前準備・ページの遷移・テキストフィールドの入力・ボタンのクリックなどです。上記だけで完結する単純作業もあるのではないでしょうか。
あるサイトをBeautifulSoupを用いてクロールしたところ、必要な情報が取得できなかった。この原因はおそらく、Ajax通信でデータを表示していたからだと思う。
PythonとSeleniumを用いて、Ajax通信しているサイトをクロールする手段をとった。
下記のページを参考にした。