Case Study
Gree

PagerDutyによってどのように改善されたか

PagerDutyを使用する前は、GREEでのエスカレーションは手動のプロセスで行われていたため、長い時間がかかっていました。アラートの重大さがすぐに周知されていたわけではなかったため、開発者やその上司に問題をエスカレーションする事に対して運用技術者はためらいがちでした。

PagerDutyを導入して、GREEではすぐに運用技術者のみをオンコール要員とする体制から、オンコールマネジメントとアラートに対応するDevOpsモデルに移行しました。

「開発者をオンコールに入れることで、具体的なアラートを利用して適切なチームに連絡を取ることができます」

PagerDutyの導入によって、GREEでは必ず該当する作業に必要な正しいチームメンバーに問題を流すことができています。毎週月曜日の朝、GREEではチームが前の週からのアラートを確認し、新しい1週間のスケジュールとオンコールローテーションを検討します。各チームメンバーに、その週の第一次、第二次、そして管理者のオンコール担当が誰であるかを認識させることが不可欠です。

「PagerDutyでは、開発者のオンコール担当、オペレーションの第一次および第二次オンコール担当、その週の管理者が誰であるのかが、明確にわかります」

すぐにアクションを必要としないアラートはミーティングで格下げされ、次のオンコールローテーション中に再発しないようにします。

PagerDutyでは、GREEの各ゲーム システムに可視性ももたらしています。GREEではPagerDuty APIを使用し、各ゲームのそれぞれの利用状況をステータス ダッシュボードと同期させています。

このダッシュボードによって、企業内の誰もがゲームのステータスを視覚的に確認することができます。

ゲームに対するアラートが受信されると、ダッシュボード上の対応するアイコンが赤く点滅します。インシデントが解決すると、ゲームのアイコンによって、完全にオンラインに戻っていることを示します。

さらに自分のチーム内で最新情報を常に共有するために、GREEではSkypeボットをPagerDutyに統合しています。インシデントがPagerDutyでトリガーされると、アラートが影響を受けているゲームの専用のチャットルーム内に表示されます。これらの専用チャットルームには、ゲームの開発者、プロダクトマネージャー、およびVPも参加するため、そのゲームに関るステークホルダー全員をコミュニケーションの輪に参加させておくことができます。GREEではまた、チャットウィンドウから直接オンコールのエンジニアに対してPagerDutyのインシデントをトリガーすることができています。

GREEでは、インシデントの解決に対して適切な人材が直接通知を受けるようになっているため、PagerDutyを使用する前と比べてはるかに早くインシデントを修復しているとのことです。

「PagerDutyでは、各ゲームに対して、その場でオペレーションとエンジニアの誰がオンコール担当なのかが明確にわかります」