インシデント対応

システム障害発生時の対応手順とエスカレーションフローです。

---

重大度分類

重大度	名称	定義	対応目標
P1	緊急	全ユーザーに影響するサービス停止	即時対応
P2	重大	主要機能の部分障害	業務時間内に対応
P3	中程度	一部機能の不具合（回避策あり）	次営業日対応
P4	軽微	軽微な不具合・改善要望	次スプリント

P1 の例

• 全ユーザーがログインできない
• チャット送受信が全面停止
• データベース接続の全面障害
• シークレット漏洩の疑い

P2 の例

• 一括配信が実行されない
• PUSH 通知が配信されない
• 特定店舗のみ影響する障害
• Webhook 受信の障害

P3 の例

• 管理ダッシュボードのメトリクスが表示されない
• 添付ファイルのアップロードが遅い
• 特定ブラウザでの表示崩れ

---

エスカレーションフロー

---

対応手順

1. 検知と初動

1. 障害の確認: Cloudflare Dashboard / ユーザー報告 / アラートで検知
2. 重大度判定: 影響範囲と緊急度を判定
3. 関係者通知: Slack チャンネルに障害情報を投稿

2. 原因調査

調査対象	ツール
Workers ログ	Cloudflare Dashboard > Workers > Logs
DB エラー	Penthouse SQL Explorer
Queue 状態	Cloudflare Dashboard > Workers > Queues
DO 状態	Cloudflare Dashboard > Workers > Durable Objects
デプロイ履歴	GitHub Releases / Wrangler versions

3. 影響緩和

ロールバック

# 直前のバージョンにロールバック
npx wrangler rollback --name <service-name>

個別サービスの再起動

Workers は自動的に再起動されますが、Durable Objects は明示的なリセットが必要な場合があります。

Queue の停止

Queue Consumer の問題が発生した場合、Cloudflare Dashboard からメッセージの消費を一時停止できます。

4. 解決確認

• エラー率が正常値に復帰
• 主要機能の動作確認
• ユーザーへの復旧通知

---

インシデント種別と対応

認証系障害

状況	即時対応
Door がダウン	Wrangler でロールバックまたは再デプロイ
Proof がダウン	Proof Worker のロールバック
Vault DB 接続不可	Hyperdrive の状態確認、DB プロバイダの状態確認
KV エラー	KV Namespace の状態を Cloudflare Dashboard で確認

チャット系障害

状況	即時対応
WebSocket 接続不可	Fizz Worker のロールバック、DO のログ確認
メッセージ送信失敗	Cellar DB の接続確認
添付ファイル障害	R2 バケットの状態確認

通知系障害

状況	即時対応
PUSH 全停止	Bell Worker のロールバック、Queue の状態確認
LINE 通知停止	LINE API のステータス確認、トークン有効性確認
メール停止	Resend のステータス確認、API キー確認

データベース障害

状況	即時対応
全面接続不可	DB プロバイダの障害状況確認、Hyperdrive ステータス確認
パフォーマンス劣化	スロークエリの特定と対処
データ不整合	影響範囲の特定、必要に応じてメンテナンスモード

シークレット漏洩

手順	対応
1. 即時無効化	漏洩したシークレットを即座にローテーション
2. 影響範囲確認	漏洩したキーでのアクセスログを確認
3. 関連シークレット	同じ場所に保管されていた他のシークレットも確認
4. 根本原因	漏洩経路の特定

---

ポストモーテム

テンプレート

P1/P2 インシデント後は必ずポストモーテムを実施します:

## インシデントレポート: [タイトル]

### 概要

- **発生日時**: YYYY-MM-DD HH:MM JST
- **復旧日時**: YYYY-MM-DD HH:MM JST
- **影響時間**: X 時間 Y 分
- **重大度**: P1/P2
- **影響範囲**: [影響を受けたユーザー/機能]

### タイムライン

| 時刻  | イベント |
| ----- | -------- |
| HH:MM | 障害検知 |
| HH:MM | 調査開始 |
| HH:MM | 原因特定 |
| HH:MM | 対策実施 |
| HH:MM | 復旧確認 |

### 根本原因

[障害の根本原因の説明]

### 影響

[ユーザー・ビジネスへの影響の説明]

### 対策

#### 短期

- [ ] [即時対策]

#### 長期

- [ ] [再発防止策]

### 教訓

[学んだことと改善点]

ポストモーテムの原則

1. 非難しない — 個人の責任追及ではなく、システムの改善に焦点
2. 事実ベース — 推測ではなく、ログとデータに基づく分析
3. 再発防止 — 具体的で実行可能なアクションアイテム
4. 共有 — チーム全体で学びを共有

---

連絡先

役割	連絡方法
開発チーム	Slack #speakeasy-incidents
Cloudflare サポート	Cloudflare Dashboard > Support
DB プロバイダ	Prisma Console > Support

---

関連ページ

• 監視 — アラート設定
• トラブルシューティング — よくある問題
• デプロイ手順 — ロールバック手順
• シークレット管理 — シークレット漏洩対応