メニューを閉じる

テクノモバイルグループ

メニューを開く

2020.06.29

DB

Amazon Aurora MySQL のデータベースエンジンの更新の停止は2分くらい

坂東です。
Amazon Aurora MySQL のデータベースエンジンの更新をやってみた。

RDS謎のCPU高負荷を出すようになり、AWSサポートに問い合わせると「不具合だからエンジンバージョンアップしてね」と。
立ち上げるときにクラスターバージョンを「MySQL 5.7.12(デフォルト)」を選んだままで、2年近くアップデートせず放置されてたサービスでした。
いつもはメンテナンスウィンドウなんだけど、手動でどう動いてるのか見てみた。

AWS曰く30秒くらい止まるよとのこと。

>DB クラスター内のすべてのインスタンスでデータベースを再起動する必要があるため、20 ~ 30 秒のダウンタイムが発生します。
https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Updates.html

 

まず検証環境で試してみる。
t3.smallで走らせると、アップデート中にCPUが100%に張り付いた。

数分CPU高負荷でサービスがダウンする・・・
エンジンをポンと差し替えるだけじゃ無く、rds上でゴリゴリとビルドしてるんでしょう。

まあt3だから仕方ないかもねと、r5.xlargeで試したらCPU負荷は15%ぐらいだったから大丈夫。
クラスターのshutdown、restart間は30秒ぐらいなのでAWSの言う通り。

 

本番環境で実施。
2分ぐらいサービスがダウンした。

shutdownの1分ぐらい前から、10ms程度のクエリが3000ms以上かかるようになって。
おそらくCPU以上にどこか負荷がかかってるんでしょう。
(拡張モニタリング忘れてた)

 

30秒と信じてエイっとやると想定外のサービスダウンを招くのできちんと計画して実施した方が良いですね。

ダウンタイムのないZDP機能もありますが、高負荷とか、何か動きが複雑なようで、余計ちょっと怖い。

 

おわり。

 


【テクノモバイルではエンジニア/デザイナーを積極採用中です!】

下記項目に1つでも当てはまる方は是非、詳細ページへ!
  • 自分でアプリを作ってみたい
  • ITで世の中にワクワクを生み出したい
  • 使いやすさ、デザインにこだわったWebサイトを開発したい

採用情報の詳細はこちら


Qangaroo(カンガルー)

  • 徹底した見やすさと優れた操作性で、テストの「見える化」を実現。
  • テストの進捗が見える。開発がスマートに進む。
  • クラウド型テスト管理ツール『Qangaroo(カンガルー)』
https://qangaroo.jp/

最近の記事

SNS共有

X CLOSE
X CLOSE
X CLOSE