AWSのLambdaのレイヤーアップロードのコツ
- 公開日：
Lambdaというと、ちょっとメンドクサイのが外部のライブラリ（Pythonではモジュール）を使いたい場合、関数毎に使いたいライブライファイルをバンドリングしてアップロードする必要があること。
Python
【悲報】PyInstallerさん、300MBのexeファイルを吐き出すようになる
- 更新日：
- 公開日：
表題の通り、PyInstallerを使って出力したexeファイルがとにかく巨大に膨れ上がる現象に悩まされました。 これ、めちゃくちゃ起動遅くなるし、原因不明だし、ほんと参ってたんですが、解決しましたので、メモ書き。 さっ […]
Pythonスクリプトの難読化
- 更新日：
- 公開日：
PyInstallerだけだとちょっとこなれた程度の人には効きますが、それでも比較的簡単にデコンパイルされてしまいます。 何としても表に出したくないコードがあったため、必死にPythonスクリプトの難読化を調べました。 […]
Torをスクレイピングで使いやすくするPythonのモジュール作ってみた
- 更新日：
- 公開日：
TorをPythonスクレイピングに流用しやすくするためのモジュールを作成しました。Torをスクレイピングに流用することによって、IPによる制限を回避することが容易になります。
【正規表現】Pythonのsplitで区切り文字を返却リスト要素に含める方法
- 更新日：
- 公開日：
正規表現自体はなんだかややこしくて最初のうちは上手く書くのは難しいですが、慣れてくればあらゆる文字列操作に対応できるようになるパワフルなメソッドですね。
BeatufulSoup でウザすぎる改行コード”\n”を駆逐する
- 更新日：
- 公開日：
BeatufulSoupでスクレイピングのスクリプトを書いていると、何故か要素の間に出現している謎の改行コード"\n"を一行で駆逐する方法です。
Re:ゼロから始めるBeatufulSoupによるXMLドキュメント作成【Python】
- 更新日：
- 公開日：
WebAPIなんかを使っていると、リクエストをするためにXML文字列をリクエストボディに含める要求方法なんかに出くわします。普段は解析専門のBeautifulSoupですが、マークアップテキストの作成もできるんだぞって事を紹介します。
seleniumの起動時に黒いコンソールが立ち上がる問題の解決
- 更新日：
- 公開日：
色々いじっていたら、全く同じコードで動かしているのにもかかわらず挙動が変わってしまうことって珍しくありません。 今回はPythonのseleniumでGoogleChromeを操作しようとしていたのですが、今までと全く同 […]
BeautifulSoupでstringとtextの挙動の明確な違い – Python
- 更新日：
- 公開日：
soupオブジェクトに対して".string"や".text" で文字列を抽出することが出来ますが、両者の明確な挙動の違いを例を挙げて紹介します。
seleniumでユーザープロファイルを指定してChromeを立ち上げる
- 更新日：
- 公開日：
いつも使っている状態のChromeで自動操作を行うことが可能になります。これで厄介な「reCAPTCHA」も突破しやすくなります。
seleniumによるログイン処理 – Python
- 更新日：
- 公開日：
seleniumを使えばあっけないほど簡単にログイン処理を作れます。ログイン後は動作が早くて安定性の高いrequestsで操作することも可能ですので、是非覚えておきたいテクニックです。