Resolved -
## 非同期HTTPインタフェース(v2)における処理遅延について 【復旧済み】
2026年2月3日 14:36頃より発生しておりました、非同期HTTPインタフェース(v2)におけるジョブ処理の遅延につきまして、2026年2月4日 10:40頃にすべての遅延が解消し、正常な動作に戻ったことを確認いたしました。
本件に関する詳細を以下の通りご報告申し上げます。
### 1. 障害の概要
- 発生期間: 2026年2月3日 14:36:30 〜 2026年2月4日 10:40
- 対象サービス: 非同期HTTPインタフェース(v2)
- 影響内容: すべてのリクエストにおいて、ジョブ処理の大幅な遅延および停止が発生いたしました。
### 2. 原因
検証環境に対して実行したはずの設定変更が、誤って本番環境へ適用されてしまっておりました。デプロイシステムの実行は失敗しておりましたが、一部の設定が意図せずそのまま残り、非同期HTTPインタフェース(v2)のジョブを実行するインスタンスが正常に起動できない状態となっておりました。
検証環境と本番環境は独立した別のアカウントであり本来設定が混ざることはありません。また、環境ごとの設定はソースコードとして管理されており、変更についても複数人でレビューされ、履歴も管理されてはおりました。また、通常、デプロイシステムの動作として、ソースコード管理システムから環境毎に定義された設定を自動的に選択しデプロイするため、今回のような取り違えが起こらないようになっているはずでした。ただ、今回の問題を受けて調査を行った結果、非同期HTTPインタフェース(v2)の一部のリソースについては、デプロイ時に作業者がパラメータとして、設定内容、および、それを適用するアカウントを自由に指定できるようになっていることがわかりました。そのため、ヒューマンエラーによって、誤った設定を本番に適用することが可能な状態でした。
また、本来であれば、ジョブ実行時に音声認識サーバーの起動に失敗すると運用チームへの通知が行われ、問題の切り分けや障害復旧が行われるはずでしたが、音声認識サーバーが処理をせずに起動し続けてしまっていたことにより障害としての通知がされていませんでした。運用担当が確認する障害通知チャネルにはその他の通知も来ておりましたが、運用チームの監視対象外の通知内容であり、問題の発見につなげることができませんでした。
### 3. 対策
以下の対策を行いました。
- 設定の復旧: 本番環境の設定を再デプロイし、正常な状態へ戻しました。
- インスタンスの再稼働: 異常な状態で起動し続けていたインスタンス群を削除し、正常なインスタンスに順次入れ替えを行いました。
- 正常化確認: 2月4日 10:05より順次ジョブが完了し始め、10:40までに滞留していた全ジョブの消化を完了しております。
### 4. 再発防止策
抜本的な対策を行い再発防止に務めます。
**デプロイシステムの改善**
非同期HTTPインタフェースv2のデプロイシステムでも、作業者のヒューマンエラーによって設定の取り違えが起こらないように、デプロイ作業者は対象アカウントを選択するのみとし、設定は自動的に選択されるように修正しました。また、他にも同様の問題がないかを見直し、設計指針として開発チームへの周知を行います。
**検知・運用の強化**
取り急ぎ、運用チームの監視対象の通知を再定義し一次切り分けの手順とあわせて運用ルールを更新し、運用チームに周知しました。また、非同期HTTPインタフェース(v2)の障害検知のための条件を見直し、通知システムへの実装を順次行います。
改めまして、この度は長時間にわたりご不便をおかけしましたことを、重ねてお詫び申し上げます。 今後とも、サービスの安定運用と品質向上に努めてまいりますので、何卒よろしくお願い申し上げます。
Feb 5, 12:57 JST
Monitoring -
2026年2月3日 16:00頃より発生しておりましたジョブ処理の遅延につきまして、2月4日 10:40頃にすべての遅延が解消し、現在は新規ジョブを含め正常に動作していることを確認いたしました。
長時間にわたり多大なるご不便とご迷惑をおかけしましたことを、深くお詫び申し上げます。
現在、サービスは安定して稼働しておりますが、引き続き根本原因の究明と再発防止に向けた対策を進めております。調査結果や恒久対応につきましては、別途詳細が判明次第、改めてご報告いたします。
Feb 4, 10:49 JST
Identified -
2026年2月3日 16:00頃より発生しておりましたジョブ処理の遅延につきまして、10:04頃に応急処置を完了いたしました。
現在、滞留していたジョブが順次処理されている状況です。すべてのジョブが完了し、正常な状態に復旧するまで今しばらくお待ちください。
根本的な原因の調査および完全復旧に向けた作業は、引き続き継続しております。ご不便をおかけしますが、何卒よろしくお願い申し上げます。
Feb 4, 10:19 JST
Investigating -
2026年2月3日 16時頃より、非同期HTTPインタフェース(v2)において、すべてのジョブ処理に遅延が発生しております。
現在、原因の調査および復旧作業を進めております。進捗状況につきましては、新たな情報が入り次第、改めてご報告申し上げます。ご利用のお客様には多大なるご迷惑をおかけしておりますことを、深くお詫び申し上げます。
Feb 4, 09:50 JST