Chrome– tag –

いつも使っている状態のChromeで自動操作を行うことが可能になります。これで厄介な「reCAPTCHA」も突破しやすくなります。

seleniumを使えばあっけないほど簡単にログイン処理を作れます。ログイン後は動作が早くて安定性の高いrequestsで操作することも可能ですので、是非覚えておきたいテクニックです。

Pythonのスクレイピングライブラリとして非常にメジャーなrequestsと比較して、ブラウザ自動操作系のseleniumの最大の特徴としてJavaScriptの動作が挙げられます。ログイン処理の実装などで非常に重宝しますので、紹介します。

Chromeデベロッパーツールを使ったWEBサイトを解析の仕方を開設します。基本的に簡単なスクレイピングであればこれだけ使えれば、大体わかります。クロームで目的のページを開いて、F12キーで起動できます。