プログラミング– category –
プログラミング関連記事
-
Torをスクレイピングで使いやすくするPythonのモジュール作ってみた
TorをPythonスクレイピングに流用しやすくするためのモジュールを作成しました。Torをスクレイピングに流用することによって、IPによる制限を回避することが容易になります。 -
【正規表現】Pythonのsplitで区切り文字を返却リスト要素に含める方法
正規表現自体はなんだかややこしくて最初のうちは上手く書くのは難しいですが、慣れてくればあらゆる文字列操作に対応できるようになるパワフルなメソッドですね。 -
BeatufulSoup でウザすぎる改行コード”\n”を駆逐する
BeatufulSoupでスクレイピングのスクリプトを書いていると、何故か要素の間に出現している謎の改行コード"\n"を一行で駆逐する方法です。 -
Re:ゼロから始めるBeatufulSoupによるXMLドキュメント作成【Python】
WebAPIなんかを使っていると、リクエストをするためにXML文字列をリクエストボディに含める要求方法なんかに出くわします。普段は解析専門のBeautifulSoupですが、マークアップテキストの作成もできるんだぞって事を紹介します。 -
seleniumの起動時に黒いコンソールが立ち上がる問題の解決
色々いじっていたら、全く同じコードで動かしているのにもかかわらず挙動が変わってしまうことって珍しくありません。 今回はPythonのseleniumでGoogleChromeを操作しようとしていたのですが、今までと全く同じソースコードで起動させようとすると、chrome... -
BeautifulSoupでstringとtextの挙動の明確な違い – Python
soupオブジェクトに対して".string"や".text" で文字列を抽出することが出来ますが、両者の明確な挙動の違いを例を挙げて紹介します。 -
AtomでPythonを開発環境構築時に起きる問題、まとめて解決
今までspyderを使っていたのですが、文字列の"検索→置き換え"が出来ない謎の仕様などに不満が爆発し、「ちょっとAtomに切り替えてみるか」と今回の環境構築に至りました。 -
seleniumでユーザープロファイルを指定してChromeを立ち上げる
いつも使っている状態のChromeで自動操作を行うことが可能になります。これで厄介な「reCAPTCHA」も突破しやすくなります。 -
seleniumによるログイン処理 – Python
seleniumを使えばあっけないほど簡単にログイン処理を作れます。ログイン後は動作が早くて安定性の高いrequestsで操作することも可能ですので、是非覚えておきたいテクニックです。 -
selenium×Chromeによるスクレイピング- Python
Pythonのスクレイピングライブラリとして非常にメジャーなrequestsと比較して、ブラウザ自動操作系のseleniumの最大の特徴としてJavaScriptの動作が挙げられます。ログイン処理の実装などで非常に重宝しますので、紹介します。 -
PHP7.3の適用でワードプレスのサイトが壊れた話
Crayon Syntax HighlighterはPHP7.3で動かそうとするとバグが起きます。公式のアップデートは3年前で止まったままなのですが、有志がアップデートしたfixedバージョンを見つけたので紹介します。 -
Atom-Beautify で phpファイルを整形しようとするとがエラーが出る
Atomエディタの非常に便利なテキスト自動整形プラグインAtom-Beautifyですが、PHPファイルを整形しようとするとエラーが出ることがあったので、解決法を解説します。