【研究ホワイトボックス】 【A9R：データで遊ぶA列車】

研究ホワイトボックス（36） 複雑なデータと「対話」するには〜郵便番号データを例に（MySQL編）

・「MySQLとか一通り」（1）
・「MySQLとか一通り」（2）
・「MySQLとか一通り」（3）
・「MySQLとか一通り」（4）
・「MySQLとか一通り」（5）
・「MySQLとか一通り」（6）
・「MySQLとか一通り」（7）
・「MySQLとか一通り」（8）
・「MySQLとか一通り」（9）
・「MySQLとか一通り」（10）
・「MySQLとか一通り」（11）
・「MySQLとか一通り」（12）
・「MySQLとか一通り」（13）
・「R with Excel」（※Excelでの操作については省略）
・「MySQLとか一通り」（14）
・「MySQLとか一通り」（15）
・「MySQLとか一通り」（16）
・「MySQLとか一通り」（17）
・「MySQLとか一通り」（18）
・「MySQLとか一通り」（19）

（2019年5月24日に追記）

　ここでは日本郵便「郵便番号データ」を使い、簡単には分類できない「複雑なデータ」が、いかにして「簡単には分類できない」のかを実感的に理解していきませう。

　「R編」（[3707]）では、「郵便番号データ」がいかに「複雑なデータ」であるかを理解します。そのままでは単なる辞書的なデータ（一定の項目が一定の順序で並んだデータ）である「郵便番号データ」をさまざまな方法で“分解”し、多変量データとして扱います。フリーの統計解析環境「R」を使用すれば、高度な数理的手法を簡単に扱えることを体験してください。

　「MySQL編」（[3708]）では、「郵便番号データ」をデータベース（RDB）にインポートして、基礎的な集計を実行します。高度なプログラムを書くことなくSQL文だけで多くの処理ができることを実感していきます。一般的なデータベース入門では説明が端折られたり“禁じ手”とされるような「スロークエリ（実行時間が非常に長いSQL文）」を積極的に活用します。基本的に同じSQL文を2度とは実行しない（いわば“使い捨て”でもある）「対話的データマイニング」ならではのデータベース（MySQL）の活用法をデモンストレーションします。

※この記事は2018年10月、2019年1月、2019年5月に断片的に記したものを無理やり1つにまとめたものです。過度な期待はしないでください。

（2019年1月23日に追記）

　「R編」（[3707]）とほぼ同じことをMySQLで遊びます。…『ほぼ』！

・「KEN_ALL.CSV」をファイルごとnkfみたいなのでutf8に変換しておくじゃろ（→「KEN_ALL_utf8.CSV」）
・MySQLにテキタウなデータベースをつくってテキタウなテーブルをつくるじゃろ（フィールド15つ！ もうテキタウに「f1」から「f15」と名前を付けて、10〜15はint、1〜3はしかるべき長さのchar、残りは255のvarcharにして＆細かいことは考えないっ）

　http://ure.pia.co.jp/mwimgs/e/d/-/img_ed4434b93e2abe18655087a6edfefce3114077.jpg

　…画像はイメージです！（棒読み）

　しこうしてCSVをインポート。18MBくらいあるんですけどね。

　おおー。

　…みたいなクエリを実行するじゃろ。

　おおー！

　…みたいなクエリをいきなり実行しちゃって途方に暮れるじゃろ。（違）

　うーん。

　…じゃろ？（※だんだん面倒になってきています。じぶんが考えたことを日本語で説明するのが面倒＝だってSQLで考えてじかにSQLで書いているんですもの！＜それある〜！！）

※しかし細かい書式を暗記はしていない＆いかなるIDE的なものも使わないので公式のリファレンスマニュアルが手放せません。…それをリファレンスマニュアルというよ！！ 必ずリファレンスマニュアルを引くのが正しい態度だよ。うん。（※見解です。）

　https://dev.mysql.com/doc/refman/5.6/ja/control-flow-functions.html
　https://dev.mysql.com/doc/refman/5.6/ja/string-functions.html

　うーん。

　…からの。

　…うーん！

　…みたいなクエリを何回か繰り返しながらポヤンと見続けるじゃろ。

　えーっ。ま、あとで全国に3つとないユニークな類（…『ユニークな類』！）の「類を見ない町名！」は見なかったことにするので気にしなくてオッケーでぇす。（※恐縮です。）

　うーん。

　…うーん！ そこでGROUP BYしちゃだめでしょ。