Case Study
Brightcove

初期のBrightcoveの課題

3年前、Brightcoveはエンジニアがコードの設計、制作、サポートの各段階を担当するようにDevOpsモデルを採用しました。高品質のソフトウェアを素早く構築することはDevOpsの目標ですが、移行をサポートするためのカルチャーおよび技術的な変更を行っていなかったため、ほとんどの開発部門の移行は失敗しました。Brightcoveは開発者へのオンコールを拡大することにより、このモデルに向けた新しいカルチャーへと一歩踏み出しました。このようにすれば、コードを作成した人々が問題が発生したときにその問題を修正することができると考えました。Brightcoveの強力なチーム指向のカルチャーにより、従業員は自分のオンコールローテーションを選択することができました。しかし、これらのスケジュールは新しいチームメンバーが追加され、頻繁な変更が必要になったため、管理が困難になりました。さらに、これらのスケジュールはインシデントライフサイクルの管理の問題を解決していませんでした。それは誰がインシデントに取り組んでいたのか、どの段階にいたのかが不明だからでした。そのため、問題を他のチームメイトやマネージャに早急にエスカレートするようなことが起こりました。

「インシデントオーナーシップの可視性が不足しており、効率性に影響を与えていました」 （シニアエンジニアリングマネージャー・Brian Sensale氏）

すべてのオンコールエンジニアは、監視ツールと同期したBlackberryを通じてアラートを受信していました。Blackberryはチームメンバーの間で使用されていましたが、このアプローチは面倒でエラーが発生しやすく、部外者の参加が制限されていました。アラートを見逃した場合、別のチームメンバーに問題をエスカレーションする方法もありませんでした。チームが3つのグローバルなオフィスにまたがるようになったとき、オンコールの責任をいかに公平に共有するかを把握する必要がありました。

「物理的なデバイスを交換してもだめでした。柔軟な作業環境に合致するソリューションが必要でした」

Brightcoveはオンコールのロギングをより簡単にし、担当のエンジニアに直接スケジューリングの責任を移す必要がありました。結局のところ、エンジニアがオンコールの義務を負わなければならない場合、準備態勢に入っていなければならない時間や、どのように通知されるかを伝えておく必要があります。DevOpsモデルに完全に移行するためには、カルチャー変化に伴う技術が必要でした。

オンコールエンジニアにコントロール権を与える

Brightcoveのエンジニアにとってはバランスの取れたライフスタイルが重要です。チームメンバーが、オンコールで予定されている時間に休暇をとりたい場合、共に仕事をしてくれる代わりのメンバーを探す必要があります。PagerDutyを導入すれば、オンコールのスケジューリングを手間をかけずに変更することができます。

「オンコールの仕事が終わった後、PagerDutyのスケジュールを更新するのは簡単です」

PagerDutyのおかげで、見逃したBlackberry経由のアラートが深刻な問題に発展することはありませんでした。エンジニアは通知方法を制御できるようになりました。チームメイトの中には、携帯電話の電波の悪い場所に住んでいるため、自宅の電話をアラートポリシーに設定している人もいます。すべてのオンコールエンジニアは、現在最も効果的なアラート設定を選択できるようになりました。プライマリオンコールエンジニアがアラートを見逃した場合、セカンダリエンジニアにアラートが送信されます。PagerDutyは自然なエスカレーションの流れで、Brightcoveのインシデントに対して安全ネットのように機能し、すべての問題が迅速に解決されるようにしています。

「私はPagerDutyなしの人生をイメージすることはできません。複数のアラート方法とエスカレーションを持つことで、もう頭を抱えることは何ひとつありません」

インシデントの可視性を高めるため、BrightcoveはPagerDutyをHipChatに統合し、誰もがインシデントのライフサイクルを追跡できるようにしました。これは誰がインシデントを担当しているのか、そしてそれが解決されているのかを知るための煩雑な作業がなくなったことを意味します。また、必要に応じて他のチームも参加することができます。マネージャーは、重要度の低い問題を誤ってアラートすることなく、大きな問題が発生した場合に迅速に対応することができます。

「PagerDutyを使いこなすために訓練の必要はさほどありません。インシデントが処理されているのか、誰によって処理されているのかが一目瞭然です。これは私たちのストレスを緩和してくれます」

BrightcoveはPagerDutyと共にDevOpsのシフトをサポートし、顧客に高品質で信頼性の高いサービスを提供する技術を生み出しています。