Python によるスクレイピングの必須ライブラリ requests 使い方 リファレンスまとめ 更新日:2021-03-16 公開日:2020-07-23 Python 個人的にPythonの中でもぶっちぎりNo1レベルでヘビーユースな外部モジュールrequestsについての便利さをひたすらまとめていきます。 requests 概要 簡単に言うとPythonで行うHTTPリクエストを簡単 […] 続きを読む
AWSのEC2にdjangoデプロイ時のトラブルシューティング 更新日:2022-05-22 公開日:2020-02-08 Python EC2へのDjangoデプロイで無茶苦茶時間食ったので、備忘録がてら、トラブル各種まとめてみます。 続きを読む
AWSのLambdaのレイヤーアップロードのコツ 更新日:2020-07-22 公開日:2020-01-22 Python Lambdaというと、ちょっとメンドクサイのが外部のライブラリ(Pythonではモジュール)を使いたい場合、関数毎に使いたいライブライファイルをバンドリングしてアップロードする必要があること。 続きを読む
Pythonスクリプトを配布するためのexe化モジュールPyInstallerまとめ 更新日:2022-05-23 公開日:2019-11-26 Python Pythonスクリプトを配布するためのexe化モジュールPyInstallerまとめ 続きを読む
【悲報】PyInstallerさん、300MBのexeファイルを吐き出すようになる 更新日:2020-07-22 公開日:2019-11-08 Python 表題の通り、PyInstallerを使って出力したexeファイルがとにかく巨大に膨れ上がる現象に悩まされました。 これ、めちゃくちゃ起動遅くなるし、原因不明だし、ほんと参ってたんですが、解決しましたので、メモ書き。 さっ […] 続きを読む
Pythonスクリプトの難読化 更新日:2020-10-20 公開日:2019-10-21 Python PyInstallerだけだとちょっとこなれた程度の人には効きますが、それでも比較的簡単にデコンパイルされてしまいます。 何としても表に出したくないコードがあったため、必死にPythonスクリプトの難読化を調べました。 […] 続きを読む
Torをスクレイピングで使いやすくするPythonのモジュール作ってみた 更新日:2020-07-22 公開日:2019-09-15 Python TorをPythonスクレイピングに流用しやすくするためのモジュールを作成しました。Torをスクレイピングに流用することによって、IPによる制限を回避することが容易になります。 続きを読む
【正規表現】Pythonのsplitで区切り文字を返却リスト要素に含める方法 更新日:2019-09-15 公開日:2019-09-02 Python 正規表現自体はなんだかややこしくて最初のうちは上手く書くのは難しいですが、慣れてくればあらゆる文字列操作に対応できるようになるパワフルなメソッドですね。 続きを読む
BeatufulSoup でウザすぎる改行コード”\n”を駆逐する 更新日:2020-07-22 公開日:2019-09-01 Python BeatufulSoupでスクレイピングのスクリプトを書いていると、何故か要素の間に出現している謎の改行コード"\n"を一行で駆逐する方法です。 続きを読む
Re:ゼロから始めるBeatufulSoupによるXMLドキュメント作成【Python】 更新日:2019-09-15 公開日:2019-08-28 Python WebAPIなんかを使っていると、リクエストをするためにXML文字列をリクエストボディに含める要求方法なんかに出くわします。普段は解析専門のBeautifulSoupですが、マークアップテキストの作成もできるんだぞって事を紹介します。 続きを読む
seleniumの起動時に黒いコンソールが立ち上がる問題の解決 更新日:2020-07-22 公開日:2019-08-25 Python 色々いじっていたら、全く同じコードで動かしているのにもかかわらず挙動が変わってしまうことって珍しくありません。 今回はPythonのseleniumでGoogleChromeを操作しようとしていたのですが、今までと全く同 […] 続きを読む
BeautifulSoupでstringとtextの挙動の明確な違い – Python 更新日:2022-05-23 公開日:2019-08-22 Python soupオブジェクトに対して".string"や".text" で文字列を抽出することが出来ますが、両者の明確な挙動の違いを例を挙げて紹介します。 続きを読む