Python

Python

VALUの時価総額ランキングを定期的につぶやいてみる(Python+MySQL+Tweepy)

下記のエントリーでVALUの情報をスクレイピングしてMySQLに格納しました。VALUのデータをスクレイピングしてMySQLのDBに格納してみた: くまくま資産運用 下記のエントリーで、とりあえずMySQLに触ってみましたが、実用的なことを...
Python

レンタルサーバー(XREA)でcron設定をしてみた

下記のエントリーでVALUのデータを取得してMySQLのDBに格納するPythonのスクリプトを作成しました。VALUのデータをスクレイピングしてMySQLのDBに格納してみた: くまくま資産運用 下記のエントリーで、とりあえずMySQLに...
Python

ツイートの「公式RT直後のツイート」と「コメント付RT」の抜き出し(Python+Tweepy+Flask)のVerUP

下記エントリーなどで触れていたツイートの「公式RT直後のツイート」と「コメント付RT」表示Webアプリですが、アプリ用のアカウントを新たに作成してTwitter認証を不要にしつつ、UIを少し変更しました。ツイートの「公式RT直後のツイート」...
Python

VALUのデータをスクレイピングしてMySQLのDBに格納してみた

下記のエントリーで、とりあえずMySQLに触ってみましたが、実用的なことを実施してみよう!ということで、VALUのデータをDBに格納してみました。レンタルサーバー(XREA)上でMySQLを触ってみた(Python+mysqlclient)...
Python

レンタルサーバー(XREA)上でMySQLを触ってみた(Python+mysqlclient)

SQLをpythonで触ってみようということでMySQLをレンタルサーバーのxrea.com上で触ってみました。まずは「Pythonによるスクレイピング&機械学習 開発テクニック」のp136のテストコードが動作することを目標としました。 ...
Python

【解決編】pyenv(anaconda)によるレンタルサーバー(XREA)上のPython環境構築

レンタルサーバーをXREA Plus(有料プラン)にした上で下記のような対策を実施することでXREA上にanacondaの環境を立ち上げることが出来ました。その内容を記述します。 ついでに試行錯誤の中でだめだった対策も最後に記述してい...
Python

pyenvによるレンタルサーバー(XREA)上のPython環境構築

レンタルサーバーのxrea.com上のCGIでseabornを使いたかったのですが、今までpipでseabornをインストールしようとしてもエラーが発生していました。pyenvで環境を構築することで一時的に問題が解決しました。 「一時...
Python

VALUのカテゴリごとの詳細情報取得(Python)

最近、何かと話題のVALUですが、カテゴリーごとに情報を見てみたいと思いpythonによるCGIを作成してみました。とりあえず、完璧でなくても動いたところからデプロイしてみました。 作成したCGIはこちらになります。(注:最初のURLは間...
Python

「いらすとや」さんのWebサイトのスクレイピングで一括ダウンロード

みなさんおなじみの「いらすとや」さんですが、Pythonによる機械学習の勉強にイラストを使わせてもらいたいなーと思いました。まずは教師データが必要になるので、とりあえず画像データをスクレイピングするPythonのコードを作成しました。 ...
Python

「もうかる家計のつくり方」のスクレイピングで食費のチェック(Python)

嫁さんとの会話で「食費がどうしても40000円以下に出来ないのだけれど、たまにWebで30000円代の家計を見ることがあり、一般的に毎月の食費はどれくらいなのだろうか」という会話になりました。 総務省の家計調査をみても良いのですが、家計相...