python で Webクローラーをつくっているとどうしてもデータベースを参照、登録、更新が必要になります。MySQLにアクセスする方法少し楽して行えるように簡単なラッパークラスを作ってみたいと思います。
まずは、環境構築から。OS は CentOS7 です。データベースは mariadb をインストール済みです。
python は標準でインストールされている場合もありますが、念のため。
1. python 関連のインストール
# yum install python # yum install python-devel # yum install epel-release # yum install python-pip # yum install libxslt-devel libxml2-devel # pip install beautifulsoup4 # pip install lxml
※ beautifulsoup4 はデータベースには必要はないですが、Webページを解析するのに必要なのでインストールしておきます。
2. MySql 関連のモジュールをインストール
# yum install gcc # yum install mysql-devel # pip install MySQL-python
コメントを残す