設定
mroongaデータノード
前回と同じようにｍroongaテーブルを作りますが、Spiderノードからアクセスするためにユーザー権限を登録します。今回はホストは特に絞りません。
mysql> GRANT ALL PRIVILEGES ON *.* TO 'memorycraft_user'@localhost IDENTIFIED BY 'memorycraft_pass'; mysql> GRANT ALL PRIVILEGES ON *.* TO 'memorycraft_user'@'%' IDENTIFIED BY 'memorycraft_pass';
新しくデータベースをつくり、blogテーブルを作ります。
mysql> CREATE DATABASE memorycraft; mysql> use memorycraft; mysql> mysql> CREATE TABLE blog ( mysql> id INT PRIMARY KEY AUTO_INCREMENT, mysql> content text, mysql> FULLTEXT INDEX (content) mysql> ) ENGINE = mroonga DEFAULT CHARSET utf8;
Spiderノード
Spiderのインストールは以前の記事のとおりです。
同じように権限を登録し、データベースを作成します。
mysql> GRANT ALL PRIVILEGES ON *.* TO 'memorycraft_user'@localhost IDENTIFIED BY 'memorycraft_pass'; mysql> GRANT ALL PRIVILEGES ON *.* TO 'memorycraft_user'@'%' IDENTIFIED BY 'memorycraft_pass'; mysql> mysql> CREATE DATABASE memorycraft; mysql> use memorycraft;
Spiderテーブルを作成します。
ここでは、２つのノードにKEYパーティションで分散してみます。
mysql> CREATE TABLE blog ( mysql> id INT PRIMARY KEY AUTO_INCREMENT, mysql> content text, mysql> FULLTEXT INDEX (content) mysql> ) ENGINE = Spider DEFAULT CHARSET utf8 mysql> CONNECTION ' table "blog", user "memorycraft_user", password "memorycraft_pass" ' mysql> PARTITION BY KEY() ( mysql> PARTITION db1 comment 'host "10.0.1.169", port "3306"', mysql> PARTITION db2 comment 'host "10.0.1.170", port "3306"' mysql> );
これで設定は完了です。
確認
次にデータを登録してみます。
登録の仕方は前回と同様です。
Spiderノード
mysql> INSERT INTO blog (content) VALUES ("前回はpsqlでRedshiftを利用してみましたが、通常データウェアハウス（DWH）というのはBI（Buisiness Intelligence）ツールを利用することが多いようです。
エンジニアの観点からすると複雑なSQLを書くだけでいいかもしれませんが、経営者などの立場からするとBIツールなどを使って画面上でポチポチやって分析できることが重要なようです。
今回はそのBIツールの中で、Redshiftにいち早く対応しているJaspersoftという製品を使ってRedshiftに接続してみたいと思います。");
mysql> INSERT INTO blog (content) VALUES ("久しぶりにnagiosの話題です。
アプリログ内容の監視の仕方には様々な要件がありますが、特定の間隔でログを監視し「error」などの文言があったらアラートする。などがよくあるケースで、以前の記事にも書きました。
その逆に、例えば、多量のアクセスがあるにも関わらず頻繁に出力されるはずの重要なキーワードがでていない場合は、不測の事態がおこっているかも知れません。
今回は特定の間隔でログを監視し、その中にキーワードが含まれていなかったらアラートする
というものです。
ではやってみます。");
mysql> INSERT INTO blog (content) VALUES ("S3のwebホスティングで、ログ出力の設定をしていた場合、ログファイルが大量に出力されます。
ログの記録時間は標準時で出力されていてわかりづらいです。
今回はEMRのHiveを利用して、日本時間の0時〜翌日の0時までのログを1ファイルにまとめてみたいと思います。");
mysql > INSERT INTO blog (content) VALUES ("久しぶりのSpiderの話題です。
今回はtpcc-mysqlというベンチマークツールを使ってSpiderのベンチマークをとってみました。
mysqlにかぎらずDBのベンチマークツールの多くは、TPCという団体の定めたベンチマーク仕様に基いて実装されていて、トランザクションやアクセスなどのDB用途によっていくつかのベンチマークタイプに分かれていて、OLTP向けのTPC-Eや意思決定システム向けのTPC-HやTPC-DSなど色々あるようです。");
mysql> select id,MATCH(content) AGAINST("ログ アクセス" IN BOOLEAN MODE) as score from blog WHERE MATCH(content) AGAINST("ログ アクセス" IN BOOLEAN MODE)
-> ;
+----+-------+
| id | score |
+----+-------+
| 3 | 4 |
| 2 | 4 |
| 4 | 1 |
+----+-------+
3 rows in set (0.01 sec)
mysql> select id, MATCH(content) AGAINST("ログ" IN BOOLEAN MODE) from blog WHERE MATCH(content) AGAINST("ログ" IN BOOLEAN MODE) ORDER BY MATCH(content) AGAINST("ログ" IN BOOLEAN MODE) DESC;
+----+--------------------------------------------------+
| id | MATCH(content) AGAINST("ログ" IN BOOLEAN MODE) |
+----+--------------------------------------------------+
| 3 | 4 |
| 2 | 3 |
+----+--------------------------------------------------+
2 rows in set (0.01 sec)
データノード
mysql> select id from blog; +----+ | id | +----+ | 1 | | 3 | +----+ 2 rows in set (0.00 sec) mysql> select id from blog; +----+ | id | +----+ | 2 | | 4 | +----+ 2 rows in set (0.00 sec)
うまく分散されているようです。
これで沢山データがあっても分散されます。
以上です。
