Python Advent Calendar 2013 - Adventar、20日目の記事です。pythonの機械学習ライブラリのsklearnが便利。 ドキュメントも充実してるし、機械学習のアルゴリズムに詳しくなくても手軽に使えるので、動かしながら勉強できる。↓ sklearnでできること(一部) …

Deep LearningにtheanoのGPU計算のチュートリアルがあったのでやってみた。 pylearn2を使ったディープラーニングのトレーニングもGPUで高速計算できる。 Using the GPU — Theano 0.6 documentationちなみにCUDAが対応してないパソコンだとCPUしか使えない。(…

Scrapyでwebスクレイピングするとき、ページ上の画像を一括でダウンロードして、ローカルに全部保存する。Downloading Item Images — Scrapy 0.21.0 documentationわけあってこのページからハンター文字を一括ダウンロードすることになった。 ハンター文字sc…

DeeplearnigのライブラリにはTheanoと聞いて。 ちょっとローカルのスペックではもの足りないので、計算用のcentosにTheanoをインストールしたときのメモ。pythonとパッケージのバージョン問題で詰まった。というかエラーのタコ殴りにあった。とりあえず、開…

theanoというパッケージをインストールしたら、pythonのバージョンが原因でエラーになったので、新しくpythonをインストールした。 それで、システムのpythonにシンボリックリンク貼ったりしてたら、前に作ってたプログラムが動かなくなった。 ということで…

Sageすごく便利。 Sage: Open Source Mathematics Software Sageはmathematica風のオープンソース。pythonベースで書かれている。 無料のmathematicaと思って差しつかえないかと。ローカルで動かす設定がめんどくさかったけど、Sagemath Cloudというブラウザ…

手軽にスクレイピングができるpythonのライブラリ、Scrapyの基本コマンドについてメモ。 startproject Scrapyプロジェクトを作成 $ scrapy startproject newproject newprojectディレクトリ直下にpythonファイルが作成される。 genspider スパイダーを作成 $…

予測結果を提出する。 これまでpandasやsklearnといったライブラリを利用して、予測モデルを作ってきたので提出までやってみる。 Make a submissionのページはこんな感じ。[ Clip or drop your submission here ] をクリックして、提出ファイルを選択する。 …

sklearnのランダムフォレストを使う。 前回の予測モデルは、線形モデルのロジスティック回帰。 今回は、ensembleモジュール内にあるランダムフォレストを試してみる。 あと、データを加工するときとか、評価するときの便利メソッドもいくつかメモ。 from skl…

記号計算ができるpythonライブラリのsympyを使ってみた。 因数分解とか微分とか、mathematica風の機能がpythonでも使えるようになる。 インストール $ pip install sympy 数式をきれいに表示するために、ipython notebookを使うのがオススメ。 from sympy im…

機械学習ライブラリのsklearn(scikit-learn) 前回の続き 予測モデルをつくるときに、機械学習のライブラリを使ってみようということで、sklearnを試してみる。 というかpandasに機械学習入ってると思ってた。。まずはインストール。 $ pip install scikit-le…

統計ライブラリのpandas データマイニングのコンテストkaggleでpythonの統計ライブラリpandasを使ってみた。こちらの記事で、Rを使って予測モデルを作っているので、参考に。 kaggleで予測モデルを構築してみた (1) - kaggleって何？ - About connecting the…

twitter.Apiでオブジェクトで使えるメソッドについて、頻繁に使うものはapi.Get〇〇だと思うので、一覧にしてみた。 引数なしで呼べるけど、idとかscreen_name(@で始まるやつ)がデフォルト引数になっているので、特定のユーザーに関して調べたいときに使う。…

前回の続き。 import twitter import secret api = twitter.Api(consumer_key = secret.twDict['consumer_key'], consumer_secret = secret.twDict['consumer_secret'], access_token_key = secret.twDict['access_token_key'], access_token_secret = secre…

pythonで、依存関係のあるモジュールのimport時にエラーが発生することがある。 例えば、matplotlibはnumpyのインストールを前提としていて、pipでmatplotlibをインストールするときに、numpyがない場合は自動でインストールされる。 逆にいうと、既にインス…

python-twitter twitterのフォローフォロワーのネットワークなどを調べたくて、python-twitterというモジュールを使ってみる。 twitterのAPIも1.1に完全移行したらしいので、その辺りも書いていく。python-twitterは以下のようにインストール。 git clone gi…

科学技術計算にpythonを使う うちの研究室ではCやmatlabを使うことが多いけれど、最近自分はpythonをよく使う。 微分方程式を使ったシミュレーションなどでは、計算速度の問題でC++で書くけど、短時間で済むデータ解析などにC++を使うのはかったるい。matlab…

グラフ理論~点と線~ 数学の一分野でありながら、情報系の特にアルゴリズム分野で発展してきたグラフ理論。 基本的な部分はとっても簡単で、とにかく点(node)と線(edge)について考える学問。 実装に使う言語は、boostにgraphアルゴリズムがあるようなのでc++…

scrapy basic command Scrapy has some useful subcommands, like "startproject" I introduced in a previous entry. pythonのフレームワークでサクッとクローラをつくる。"Python Framework Scrapy" - ケンキュウハック This is a note for scrapy subcomm…

Connection to MySQLMySQLdb provides python db api interface. It has connect() method, which parameters are host, user, passwd and so on. Sample code I tried is as follows. import MySQLdb connect = MySQLdb.connect(host='localhost',db='my_db…

そうだクローラつくろう 研究テーマを探しつつ、なんとなくネットワークが面白そうと思っていた今日この頃。 研究で扱うのは、通信技術のネットワークではなくて、ノードとリンクに一般化したやつ。 「スモールワールド(small world phenomenon)」や「六次の…