awk(と他のコマンド)ユーザーがPerlワンライナーを覚えるとうれしいこと↓↓ -aオプションでawkと似たような書き方ができる(awkとの比較を参考) カラム1とカラム2を表示 awk '{print $1, $2}' perl -waln -e 'print $F[0], $F[1]' awkよりperlの方が速い場合が…

物理学 Advent Calendar 2014 - Adventar 20日目の記事です。 ブラウン運動を表現する確率微分方程式であるLangevin方程式とそれを拡張した温度のゆらぐLangevin方程式の話をします。 また、幾何ブラウン運動は金融商品のモデル化に利用されたりするので、そ…

R Advent Calendar 2014 : ATND 19日目の記事です。Rのパッケージ{biganalytics}にプルリクを送ったときの話をします。 bigmemoryプロジェクト biganalyticsはbigmemoryプロジェクト内のパッケージのひとつです。 bigmemoryプロジェクト(The bigmemory Proje…

LCS 物理学 Advent Calendar 2014 - Adventar 6日目です。 Lagrangian coherent structures(ラグランジアンコヒーレント構造。以下, LCS)の話を書きます。 LCSについて、すごく簡単に説明すると、流体中の動的なバリア構造です。例えば、乱流のような複雑な…

Python Advent Calendar 2014 - Qiita 3日目の記事です。 タイトルの通り、SageMathCloudを使ってみようという話をします。 SageMathCloudとは？ すごく簡単に説明すると、クラウド(ブラウザ)上で、SageMathやiPython Notebook、LaTeX、Terminalなどが実行で…

(head -n +1 sample.txt && tail -n +2 sample.txt | sort ) > sorted_sample.txt headとtailを使えば、中間ファイル無しで書ける。以下はサンプルファイルを使った解説。 例えばこんなファイル。sample.txt id x y 1 1.3 0.6 2 1.1 0.4 3 1.1 0.6 4 1.7 0.4…

機械学習ハッカソンに行ってきました。 会場は、秋葉原アンダーグラウンド。アキバには妙に親近感を覚えます。 テーマは「機械学習を使ってなにかをする」ということで、使うデータは自由、手法も自由。R使ってもいいし、sklearn使ってもいいし、自分でアル…

連想配列のキーにグループの名前を使えばおk。 集計するファイル↓↓ hoge.txt りんご 230 りんご 300 ばなな 190 ばなな 190 みかん 110 りんご 310 ばなな 190 みかん 110 みかん 130 awkファイル↓↓ sum.awk { sum[$1]+=$2 }; END { for (key in sum) { prin…

合計、平均、分散、標準偏差 列方向の集計やりづらいなって思ってたけど、for (i=1;i<=NF;i++)使って楽チン。 集計するファイル↓↓ hoge.txt 840 394 783 798 911 197 335 768 277 553 477 628 364 513 952 916 awkファイル↓↓ sum.awk BEGIN { print "sum", "…

awkで重複行を高速削除する。 行の重複削除で調べるとよく出てくるのが、sort & uniqを使ったコマンド。 ソートはファイルが大きくなると、実行にかなり時間がかかってしまいますね。 ソートせずに高速実行できるのが、次のawkコマンド。 awk '!colname[$1]+…

Markdownを使おう みんな大好きEvernote。 ちょっとしたノート代わりに書き込んだり、Todoメモや備忘録としても使えて、何よりクラウドで共有できるのが便利ですよね。 自分も思いついたことは何でもEvernoteに書き溜めているのですが、文字の大きさとか文の…

コードの説明あとで書く 押して！ var dataset = [ 5, 10, 13, 19, 21, 25, 22, 18, 15, 13, 11, 12, 15, 20, 18, 17, 16, 18, 23, 25 ] var w = 600 var h = 250 var xScale = d3.scale.ordinal() .domain(d3.range(dataset.length)) .rangeRoundBands([0, …

中国製のandroid端末をもっているのですが、adbのコマンドで端末が認識されなかった件について。 android - adb not finding my device / phone (MacOS X) - Stack Overflow システム情報から、USBに繋がっているandroid端末を選択して、製造元IDをコピーし…

オブジェクト指向てなんだよ - 絶望？なにそれ？美味しいの？ この記事から引用。 オブジェクト指向とは何ぞや？と面接とかでよく聴かれるのですが 基本的に、説明なんか出来ないよ。 これは、その通り。 「オブジェクト指向」は考え方であり、バズワードで…

kaggleで面白そうなデータコンペやってる 予測モデルやデータ分析のコンペティションのkaggle。 今回はスポーツに関連したコンペで、大学バスケの勝敗(勝率)予測です。 NCAAってなんだろ？ バスケは全然詳しくないので、、NBAは知ってるけど、NCAAって聞いた…

下の棒グラフは前回のコードに、各イベントを実装したものです。 グラフ表示の際のアニメーションと、マウスオーバーしたときの動作を、D3.jsのtransition()とイベントリスナーを使って簡単に追加することができます。 transition() var dataset = [ 5, 10, …

D3.jsとデータビジュアライゼーション 「ビッグデータ」や「データサイエンティスト」といった言葉に続き、「データビジュアライゼーション」もキーワードとして注目されてきていますね。 データを視覚化するツールは本当にたくさんありますが、個人的に使い…

.gitconfig よく使うサブコマンドはエイリアス貼る。logもきれいに見えるのでgit treeはおすすめ。 [alias] ch = checkout co = commit st = status br = branch hist = log --pretty=format:\\\"%h %ad | %s%d [%an]\\\" --graph --date=short tree = log -…

ほぼほぼ初心者でSQLの練習がしたいっていう人、知識の再確認をしたい人にオススメのサイト。 SQLZOO ブラウザ上で動作するので、めんどくさい環境設定もなし。 データベースも、MySQL、Oracle、SQL Server、Postgre、Ingres、DB2から選べる。 簡単なSELECT…