本文へ移動
Wagby11
マニュアルのグループを選ぶ

WAGBY11 MANUAL / 29

AWS運用のトラブルを切り分ける

認証・転送・配置・接続・データ保持・費用の問題を、実行IDとログから調べます。

最終更新日:

運用の小目次へ

1. このページで伝える機能

AWS運用の問題を、対象環境・実行ID・工程・ログから絞り込めます。データ保持に関わる操作は、現在の状態と復旧手段を確認して進めます。

2. Wagby11で実現できること

2.1 最初に対象と実行IDを固定する

環境名、アカウント、リージョン、リリース名、実行ID、発生時刻を記録します。テストと本番、BuildとDeployとVerifyを区別し、秘密値や設定ファイル全体を会話・ログへ転載しません。配置ツールの status はPipelineの実行状態を表示します。現在提供中のリリースや実稼働を統合表示する機能とは区別します。

./bin/wagby-cloud history --config config/pipeline-prod.yml --limit 20
EXECUTION_ID="調査する実行ID"
./bin/wagby-cloud status --config config/pipeline-prod.yml --execution-id "$EXECUTION_ID"
./bin/wagby-cloud logs --config config/pipeline-prod.yml --execution-id "$EXECUTION_ID" --stage build
./bin/wagby-cloud logs --config config/pipeline-prod.yml --execution-id "$EXECUTION_ID" --stage deploy
./bin/wagby-cloud logs --config config/pipeline-prod.yml --execution-id "$EXECUTION_ID" --stage verify

H2では config/pipeline-test.yml を使い、工程ログは build と verify を取得します。本番の deploy ログは本番用CodeBuildに対応します。アプリ自体のログはCloudWatch Logsの該当ロググループで確認します。

2.2 こういう場合はどうする?

症状・疑問確認と対処
認証できない・期限切れになるAWS CLIのプロファイルと配置YAMLのaws.profileを照合し、aws loginまたは組織のaws sso loginで再認証します。STSのAccountとArnを再確認します。
AccessDeniedになる失敗したAWSサービス・操作・工程を調べます。CLIログイン成功は作成権限の確認ではありません。IAM管理者へ対象環境と必要操作を伝え、PassRoleやKMS/S3の権限も確認します。
アカウントIDが違うと拒否されるexpected-account-idをエラー回避のために書き換えず、使う認証プロファイルと意図した配置先を確認します。
doctorでJARや定義が不足する生成とビルドを確認し、restapi/targetとweb-ui/targetに実行可能JARを各1つ用意します。app.directoryの基準はYAMLの場所です。
本番へH2の入力を使えないMySQL用に生成・ビルドしたアプリを指定します。既存データは自動移送されません。
基盤作成直後の履歴にSource失敗がある入力未登録で基盤作成時の実行が残る場合があります。deployが返した実行IDで、その後の実行を照合します。
deployが終了0でもURLを開けない終了0はPipeline起動受付です。同じ実行IDでwaitし、工程が完了したかを確認します。
waitが時間切れ・表示をCtrl-Cで止めたAWS側の処理は続きます。historyでIDを照合し、statusやwaitで同じ実行を再照会します。すぐ別の配置を重ねません。
同じリリース名で再配置できない同じ名前は同じ固定入力です。変更内容には新しいリリース名を使います。同じ受付済みリリースのdeployは既存IDを返します。
Buildで失敗したbuildログの最初の失敗を確認し、入力ハッシュ、必須資材、ECR、ビルド権限を切り分けます。入力変更が必要なら新リリースを使います。
本番のDeployが失敗・DB初期化で止まるdeployログ、ECSタスク、S3の初期化記録を照合します。token/taskの記録を消して初期化を重複実行せず、実行中タスクの有無と停止理由を確認します。
Verifyで失敗したverifyログでdigest、旧タスク終了、ALB転送先、本番のRDS/TLS/Secret/EFSの照合項目を確認します。配置成功や業務確認済みとして扱いません。
HTTPSがタイムアウトするH2はCloudFront配信・VPCオリジン・非公開ALBとタスクの状態を確認します。閲覧者IPの制限はありません。本番はPCの外向きIPと許可CIDR、VPNやプロキシ、ALBとタスクの状態を確認します。
HTTPSの証明書や名前解決が合わないH2はAWS発行のCloudFront URLと配信の反映状態を確認します。ACMや独自DNSは不要です。本番はACMの発行状態・リージョン・対象ホスト名と、DNSのALB向けレコードを確認します。証明書検証の警告を無視して本番利用しません。
テスト更新でデータ・添付が消えたH2と添付がタスク内の一時領域にあるための動作です。保持が必要なら本番構成を使います。失われた一時領域の自動復旧はありません。
本番で通常検索は使えるが全文検索がまだ使えない全文検索の非同期再構築状態とREST APIログを確認します。HTTP正常と再構築完了は別です。再構築のためにDBデータを削除しません。
本番の添付が見つからないEFSアクセスポイント、IAM/TLSマウント、アプリの保存先と権限を確認します。DBだけ復元した場合は添付との復旧時点も照合します。
Secretを変更しても反映されない実行中タスクへ自動反映はされません。新リリースで本番を再配置し、初期化・タスク交換・接続を確認します。
env createが既存構成の差分を拒否する許可されたサイズ変更かを確認します。RDS変更時はアプリの停止、縮小・10%未満の増量、最適化中や保留変更の有無を確認します。DB・ネットワーク・EFS性能・Pipeline構成等の変更は対象外です。ツールの照合を回避して変更しません。
start/stop/env deleteが対応外と表示されるH2・本番のPipeline構成はstart/stopに対応します。H2で拒否される場合は運用ツールと必須のHTTPS設定を確認します。env deleteは両方とも未対応のため、所有タグと対象一覧を確認して手動で廃棄します。
H2のHTTPS設定・基盤照合で拒否されるhttps.modeとorigin-prefix-list-idを確認します。H2の接続元CIDRは指定できません。HTTP基盤にHTTPS設定を追記するだけでは変換できません。別の環境名・Pipeline名・バケット名でHTTPS環境を作成します。
停止したのにAWS料金が発生するRDS、EFS、ALB、公開IPv4、S3/ECR、バックアップ、KMS、ログ等の保持状況を確認します。停止と完全廃棄は別です。

2.3 本番の失敗実行を再試行する前に

一時的な障害や中断を解決し、入力を変更せず再試行できる場合は、進行中の配置がないことを確認してAWSコンソールの失敗したDeployステージを再試行します。同じリリースの deploy を再実行しても新規Pipelineは起動しません。入力変更が必要な場合と、固定入力の工程を再試行する場合を分けます。DB初期化が不明な状態では先にタスクと記録を照合します。

ECSの配置・タスク交換の理由が通常のサービスイベントで分からない場合は、必要に応じて有料のECS Action Logsを検討します。まずサービスイベント、タスクの停止理由、CloudFormationイベント、工程ログを確認します。

本番のデータ障害では、先に影響範囲と復旧可能なRDS/EFSのバックアップを確認します。適用済みSQLを書き換えたり、履歴を消したりする手順を通常の対処にしません。DB構造とマイグレーション、定義の反映状況も参照してください。

3. AIへの指示例

AIにAWS配置ツールを使ってもらう例です。対象アカウント・環境名・費用の条件を伝えます。

最小限の指示例

AWSへの配置が失敗しました。原因を調べてください。

AIは直近の実行履歴とエラーが出た工程を調べ、入力・認証・配置・アプリ動作を切り分けます。 未指定の仕様はAIが資料やファイルから類推して補います。費用やデータ保持など、判断に必要な条件は確認します。最小限の指示だけで次の詳細例と同じ構成になるとは限りません。

より詳細な指示例

config/pipeline-prod.ymlの指定実行IDについて、statusとbuild/deploy/verifyログを調べてください。AWSアカウント、環境名、リージョンを先に照合し、確認した事実・原因候補・未確認事項を分けて報告してください。DB初期化の記録や実行中タスクを確認する前に消して再実行しないでください。Secret本文を表示せず、修正が入力変更なのか工程の再試行なのかを説明してください。

4. 編集されるAppSchemaの例

調査だけではAppSchemaを編集しません。原因がモデルやDB定義にある場合だけ対象の定義を特定し、生成・マイグレーションと配置を分けて対応します。AWS認証やネットワークの問題を、AppSchemaの変更で回避するものではありません。

5. 参考資料

guide:データベース接続
designer/docs/appschema/markdown/guide/02-environment/02-database.md
reference:データベース設定
designer/docs/appschema/markdown/reference/25-database.md
Java共通基盤:データベース構成とマイグレーション
designer/docs/java/markdown/29_database_migrations.md
guide:トラブルシューティング
designer/docs/appschema/markdown/guide/appendix/04-troubleshooting.md