図らずもGWの時間が空いたので、以下２つの記事を融合させた感じのことをやってみようと思いました（最初のゴール構想は冒頭の図）。
どんなメトリクスを採ってモニタリングするんだろう、という関心が発端です。
4/10 にイントロダクションの記事 を投稿してから約15日が経過し、 不備があったり自動運用が整ってなかったこの自宅回線速度監視機構もまあまあ妥当に落ち着いてきたので、この間にあったちょっとした教訓を余談として共有したいと思います。
なお、機構構築の記事はこちら。
Logstash を利用して Elasticsearch に MySQL DB のデータを投入できた感じなのですが、データの格納状況を把握したくて模索した自分の結論がこちら
What I learned
🤔 ctop コマンドや top コマンドで負荷状況をみて落ち着いたら完了かな〜と推測する
😎 watch -n 5 curl "http://localhost:9200/_cat/indices?v" のような watch コマンド＋ curl で Elasticsearch に常時問い合わせる
Footprint
Every 5.0s: curl http://localhost:9200/_cat/indices?v
・・・
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open country _v2iN4yvToCvNo4vLMxijQ 1 1 239 0 137.5kb 137.5kb
yellow open city 0OdUHUzYSgWQbwFd2n6ekQ 1 1 4079 0 538.3kb 538.3kb
yellow open countrylanguage jpBUsspWRH2uS4TZA5Pj3g 1 1 984 0 106.8kb 106.8kb
green open .kibana_task_manager_1 HEzHCzRhQgqKFrB8ckJRVA 1 0 2 1 51.4kb 51.4kb
green open .apm-agent-configuration 602izVbUR-O9bPxPmdYPsw 1 0 0 0 283b 283b
green open .kibana_1 kivpMXMkRPu8_qAjmAnaqg 1 0 1 0 5.8kb 5.8kbAppendix
Elasticsearch に MySQL のとあるテーブルをまるっと取り込もうとしたときに、mysqldump コマンドで ヘッダーとデータ１行のCSVを出力できるかなと方法を探ったんですが見つからなかった
ちなみにまるっと取り込むのはLogstash経由にすればそのCSVなくてもできると判明
What I learned
🙅🏻♀️ mysqldump では CSV出力 with headings ができなさそう
🙆 以下のようなSQL + コマンドでならTSV出力できそう
echo “SELECT * FROM city LIMIT 1;” | mysql -uroot -psecret world > city1.tsv
Footprint
- CSV出力（ヘッダーなし）するコマンド例
mysqldump -h localhost -P 3306 -u root -p — tab=/tmp — fields-terminated-by=, — skip-dump-date — complete-insert -t world city — where=”true limit 1" > city.csv
- Logstashを利用して、起動時に Elasticsearch に MySQL のテーブルを取り込む手順：ちょっと手間かかる -> https://github.com/sogaoh/elasticsearch-practice/blob/master/README.md#how-to-import-worldcity-data-to-elasticsearch-via-logstash
Appendix
とある書籍[¹] の実践で「RDS（とECR）は手動で削除」と記述されていたのでマネジメントコンソールに移り、クラスタに対するアクションで「削除」が非活性だったので、停止してから削除するのかなと思ったらそうではなかった
What I learned
🙅🏻♀️ Aurora DB クラスターの削除は個々のインスタンスを停止してからクラスターを削除する
🙆 Aurora DB クラスターの削除は起動中の個々のインスタンスを順次削除する
Footprint of failure
Appendix
https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/USER_DeleteInstance.html
