大きなデータを扱う機会が増えて、csvでは重かったり、手の届かない処理をしたいと思ってデータベースSQLを触ったことがあります。 SQLはcsvなどに比べて軽く、準備されている関数（SQL文）をプログラムから投げることでソートや検索のプログラムを組まなく…

僕はPythonを使って一年も経たない入門者ですが、その短い期間で一番頻繁に悩んだ問題が、unicode型とstring型の変換エラーだと思います。 Traceback (most recent call last): File "/home/ryota/test.py", line 14, in <module> print a UnicodeEncodeError: 'asci</module>…

過去の記事の中で、度々AmazonAPIを仄めかしてきました。例えば、 巨大ネットワーク可視化ソフトCytoscape インストールと使い方 - 備忘録 Python NextworkXの使い方 - 備忘録 のネットワークにAmazonの書籍ISBNの情報を用いていました。 今回は、AmazonAPI…

PythonのNetworkXやRのigraphによって巨大なネットワークの可視化を行いましたが、png出力ではノードやリンクが潰れてしまったり、リアルタイム表示すると処理が間に合わなかったりしました。そんなとき、今開発が進められているCytoscapeというソフトを見つ…

Rを用いて巨大なネットワークを可視化しようと試みていましたが、どうも綺麗に出力できない。。これは試作段階の情報量が少ないデータですが、Amazonの「この商品を買った人はこんな商品も買っています」をエッジとして商品を繋げたネットワークです。 特に…

巨大なネットワークをデフォルトの表示で出力すると潰れてしまう。。 plotにオプションが無いか調べたところ、わかりやすいブログを見つけました。 R+igraph問題「友好関係ネットワークから派閥を検出」 @kztakemoto さんによる解説記事 #R #igraph #sna - C…

大学の授業で統計処理ソフトRを学ぶ機会がありました。授業を履修する前から名前は聞いたことがありましたが、実際に触るのは完全に初めてです。その授業ではExcelで用いるような各種関数に加え、グラフ理論の意味での大規模データの可視化などに用いました…