2017年10月04日

VALUのデータをスクレイピングしてMySQLのDBに格納してみた

下記のエントリーで、とりあえずMySQLに触ってみましたが、実用的なことを実施してみよう!ということで、VALUのデータをDBに格納してみました。
SQLをpythonで触ってみようということでMySQLをレンタルサーバーのxr...

スクレイピング⇒DB格納の流れ

下記のエントリーのVALUデータのスクレイピングをベースとして修正を行っています。下記のエントリーでは詳細なコードについて明記していないのですが、あとで今回の「スクレイピング⇒DB格納」のコードに触れたいと思います。
最近、何かと話題のVALUですが、カテゴリーごとに情報を見てみたいと思いpyth...
まず、大まかな「スクレイピング⇒DB格納」の流れは下記になります。

1.VALUの各カテゴリーごとのリンクを取得
2.各カテゴリーごとのページから各IDのリンクを取得
3.各IDごとの情報を取得
4.DBに情報を格納

続いてメインコードになります。

続きを読む
posted by くまなべ at 20:00 | Comment(0) | TrackBack(0) | Python