読者です 読者をやめる 読者になる 読者になる

忘れないようにメモっとく

機械学習とかプログラミングとか。

python

sklearnで手書き文字認識

Python Advent Calendar 2013 - Adventar、20日目の記事です。pythonの機械学習ライブラリのsklearnが便利。 ドキュメントも充実してるし、機械学習のアルゴリズムに詳しくなくても手軽に使えるので、動かしながら勉強できる。↓ sklearnでできること(一部) …

Theanoを使ってGPU計算をする。

Deep LearningにtheanoのGPU計算のチュートリアルがあったのでやってみた。 pylearn2を使ったディープラーニングのトレーニングもGPUで高速計算できる。 Using the GPU — Theano 0.6 documentationちなみにCUDAが対応してないパソコンだとCPUしか使えない。(…

pythonでスクレイピング&画像一括ダウンロード

Scrapyでwebスクレイピングするとき、ページ上の画像を一括でダウンロードして、ローカルに全部保存する。Downloading Item Images — Scrapy 0.21.0 documentationわけあってこのページからハンター文字を一括ダウンロードすることになった。 ハンター文字sc…

Theanoをcentosにインストールした。

DeeplearnigのライブラリにはTheanoと聞いて。 ちょっとローカルのスペックではもの足りないので、計算用のcentosにTheanoをインストールしたときのメモ。pythonとパッケージのバージョン問題で詰まった。というかエラーのタコ殴りにあった。とりあえず、開…

もうシステムのpythonいじるのやめよう

theanoというパッケージをインストールしたら、pythonのバージョンが原因でエラーになったので、新しくpythonをインストールした。 それで、システムのpythonにシンボリックリンク貼ったりしてたら、前に作ってたプログラムが動かなくなった。 ということで…

無料のクラウドMathematica 『Sageが便利すぎて泣けてくる』

Sageすごく便利。 Sage: Open Source Mathematics Software Sageはmathematica風のオープンソース。pythonベースで書かれている。 無料のmathematicaと思って差しつかえないかと。ローカルで動かす設定がめんどくさかったけど、Sagemath Cloudというブラウザ…

Scrapyのコマンドメモ

手軽にスクレイピングができるpythonのライブラリ、Scrapyの基本コマンドについてメモ。 startproject Scrapyプロジェクトを作成 $ scrapy startproject newproject newprojectディレクトリ直下にpythonファイルが作成される。 genspider スパイダーを作成 $…

kaggleにpythonを使ってみる(4) 〜 submission

予測結果を提出する。 これまでpandasやsklearnといったライブラリを利用して、予測モデルを作ってきたので提出までやってみる。 Make a submissionのページはこんな感じ。[ Clip or drop your submission here ] をクリックして、提出ファイルを選択する。 …

kaggleにpythonを使ってみる(3) 〜sklearn

sklearnのランダムフォレストを使う。 前回の予測モデルは、線形モデルのロジスティック回帰。 今回は、ensembleモジュール内にあるランダムフォレストを試してみる。 あと、データを加工するときとか、評価するときの便利メソッドもいくつかメモ。 from skl…

sympyでいろいろ計算する

記号計算ができるpythonライブラリのsympyを使ってみた。 因数分解とか微分とか、mathematica風の機能がpythonでも使えるようになる。 インストール $ pip install sympy 数式をきれいに表示するために、ipython notebookを使うのがオススメ。 from sympy im…

kaggleにpythonを使ってみる(2) 〜sklearn

機械学習ライブラリのsklearn(scikit-learn) 前回の続き 予測モデルをつくるときに、機械学習のライブラリを使ってみようということで、sklearnを試してみる。 というかpandasに機械学習入ってると思ってた。。まずはインストール。 $ pip install scikit-le…

kaggleにpythonを使ってみる(1) 〜pandas

統計ライブラリのpandas データマイニングのコンテストkaggleでpythonの統計ライブラリpandasを使ってみた。こちらの記事で、Rを使って予測モデルを作っているので、参考に。 kaggleで予測モデルを構築してみた (1) - kaggleって何? - About connecting the…

twitter-pythonの使い方(3)

twitter.Apiでオブジェクトで使えるメソッドについて、頻繁に使うものはapi.Get〇〇だと思うので、一覧にしてみた。 引数なしで呼べるけど、idとかscreen_name(@で始まるやつ)がデフォルト引数になっているので、特定のユーザーに関して調べたいときに使う。…

python-twitterの使い方(2)

前回の続き。 import twitter import secret api = twitter.Api(consumer_key = secret.twDict['consumer_key'], consumer_secret = secret.twDict['consumer_secret'], access_token_key = secret.twDict['access_token_key'], access_token_secret = secre…

pythonのモジュール依存をvirtualenvで解決する。(Mac OS X)

pythonで、依存関係のあるモジュールのimport時にエラーが発生することがある。 例えば、matplotlibはnumpyのインストールを前提としていて、pipでmatplotlibをインストールするときに、numpyがない場合は自動でインストールされる。 逆にいうと、既にインス…

python-twitterの使い方(1)

python-twitter twitterのフォローフォロワーのネットワークなどを調べたくて、python-twitterというモジュールを使ってみる。 twitterのAPIも1.1に完全移行したらしいので、その辺りも書いていく。python-twitterは以下のようにインストール。 git clone gi…

Scipy Superpack

科学技術計算にpythonを使う うちの研究室ではCやmatlabを使うことが多いけれど、最近自分はpythonをよく使う。 微分方程式を使ったシミュレーションなどでは、計算速度の問題でC++で書くけど、短時間で済むデータ解析などにC++を使うのはかったるい。matlab…

pythonのフレームワークNetworkXでグラフ理論

グラフ理論~点と線~ 数学の一分野でありながら、情報系の特にアルゴリズム分野で発展してきたグラフ理論。 基本的な部分はとっても簡単で、とにかく点(node)と線(edge)について考える学問。 実装に使う言語は、boostにgraphアルゴリズムがあるようなのでc++…

scrapy command note

scrapy basic command Scrapy has some useful subcommands, like "startproject" I introduced in a previous entry. pythonのフレームワークでサクッとクローラをつくる。"Python Framework Scrapy" - ケンキュウハック This is a note for scrapy subcomm…

MySQL wrapper in python ~ MySQLdb ~

Connection to MySQLMySQLdb provides python db api interface. It has connect() method, which parameters are host, user, passwd and so on. Sample code I tried is as follows. import MySQLdb connect = MySQLdb.connect(host='localhost',db='my_db…

pythonのフレームワークでサクッとクローラをつくる。"Python Framework Scrapy"

そうだクローラつくろう 研究テーマを探しつつ、なんとなくネットワークが面白そうと思っていた今日この頃。 研究で扱うのは、通信技術のネットワークではなくて、ノードとリンクに一般化したやつ。 「スモールワールド(small world phenomenon)」や「六次の…