Torをスクレイピングで使いやすくするPythonのモジュール作ってみた
- 更新日：
- 公開日：
TorをPythonスクレイピングに流用しやすくするためのモジュールを作成しました。Torをスクレイピングに流用することによって、IPによる制限を回避することが容易になります。
プログラミング
【正規表現】Pythonのsplitで区切り文字を返却リスト要素に含める方法
- 更新日：
- 公開日：
正規表現自体はなんだかややこしくて最初のうちは上手く書くのは難しいですが、慣れてくればあらゆる文字列操作に対応できるようになるパワフルなメソッドですね。
BeatufulSoup でウザすぎる改行コード”\n”を駆逐する
- 更新日：
- 公開日：
BeatufulSoupでスクレイピングのスクリプトを書いていると、何故か要素の間に出現している謎の改行コード"\n"を一行で駆逐する方法です。
Re:ゼロから始めるBeatufulSoupによるXMLドキュメント作成【Python】
- 更新日：
- 公開日：
WebAPIなんかを使っていると、リクエストをするためにXML文字列をリクエストボディに含める要求方法なんかに出くわします。普段は解析専門のBeautifulSoupですが、マークアップテキストの作成もできるんだぞって事を紹介します。
BeautifulSoupでstringとtextの挙動の明確な違い – Python
- 更新日：
- 公開日：
soupオブジェクトに対して".string"や".text" で文字列を抽出することが出来ますが、両者の明確な挙動の違いを例を挙げて紹介します。
AtomでPythonを開発環境構築時に起きる問題、まとめて解決
- 更新日：
- 公開日：
今までspyderを使っていたのですが、文字列の"検索→置き換え"が出来ない謎の仕様などに不満が爆発し、「ちょっとAtomに切り替えてみるか」と今回の環境構築に至りました。
seleniumでユーザープロファイルを指定してChromeを立ち上げる
- 更新日：
- 公開日：
いつも使っている状態のChromeで自動操作を行うことが可能になります。これで厄介な「reCAPTCHA」も突破しやすくなります。
seleniumによるログイン処理 – Python
- 更新日：
- 公開日：
seleniumを使えばあっけないほど簡単にログイン処理を作れます。ログイン後は動作が早くて安定性の高いrequestsで操作することも可能ですので、是非覚えておきたいテクニックです。
selenium×Chromeによるスクレイピング- Python
- 更新日：
- 公開日：
Pythonのスクレイピングライブラリとして非常にメジャーなrequestsと比較して、ブラウザ自動操作系のseleniumの最大の特徴としてJavaScriptの動作が挙げられます。ログイン処理の実装などで非常に重宝しますので、紹介します。
PHP7.3の適用でワードプレスのサイトが壊れた話
- 更新日：
- 公開日：
Crayon Syntax HighlighterはPHP7.3で動かそうとするとバグが起きます。公式のアップデートは3年前で止まったままなのですが、有志がアップデートしたfixedバージョンを見つけたので紹介します。
Atom-Beautify で phpファイルを整形しようとするとがエラーが出る
- 更新日：
- 公開日：
Atomエディタの非常に便利なテキスト自動整形プラグインAtom-Beautifyですが、PHPファイルを整形しようとするとエラーが出ることがあったので、解決法を解説します。
ワードプレスでJQueryを動かすための記述方法
- 更新日：
- 公開日：
ワードプレスのサイトで会員登録をさせたい場合など、ユーザーの入力を受け付ける場合はJQueryは非常に便利です。ワードプレス上でJQueryを動かしたいけど、どんな記述の仕方をすればいいのかわからない。そんな方向けの記事です。
JavaScript(JQuery)で他サイトをスクレイピング(クローリング)する方法
- 公開日：
色んな言語の色んなライブラリを使ってきましたが、DOM操作という点において、もっとも優れているのはJQueryであり今のところ右に出る言語も、特定のライブラリもありません。JQueryでスクレイピングをする方法を紹介しています。
断言します！プログラミングは独学でマスター可能。2カ月で習得するための心構えと予備知識
- 更新日：
- 公開日：
独学でプログラミングをマスターするために必要な予備知識と、最低限心掛けたい事を自身の体験を踏まえてまとめています。プログラミング学習に興味のある方はぜひ見てください！
プログラミングで独学習得しやすいオススメの言語まとめ
- 更新日：
- 公開日：
独学でのプログラミングにご興味がありますか？目的が違えば、選ぶべき言語ももちろん違ってきますが、個人的には「最初に選ぶ言語は重要」だと思っています。自分なりに最初に言語の選び方を解説してみました。
Pythonデータ解析ライブラリ【Pandas】の基本的な使い方と操作方法
- 更新日：
- 公開日：
Pythonのデータ解析用ライブラリ。ヘビーユース待ったなしの超便利モジュール【Pandas】の使い方と基本操作に関して解説しています。
BeautifulSoupでXMLをパース(解析)加工する – Python
- 更新日：
- 公開日：
BeautifulSoupはHTMLのパースというイメージがあるかと思いますが、実はXMLの解析にも使えます。基本的にHTMLのパースと要領は同じですが、復習を兼ねて、逆引きリファレンス的にまとめてみます。
【悪用厳禁】Torを使ったスクレイピングでIPアドレスを分散させるテクニック – Python
- 更新日：
- 公開日：
Torを使ったスクレイピングをお調べですか？このページではTorを使って、簡単にIPアドレスを変更しながらWebスクレイピングを行うテクニックを紹介しています。