リクルートグループのネットサービスを支えるItインフラ戦略

リクルートグループのネットサービスを⽀えるITインフラ戦略

堅牢性と機動性を両⽴するオンプレミスとクラウドへの取組み

株式会社リクルートテクノロジーズITソリューション統括部インフラソリューション２部

シニアインフラエンジニア⾼岡将

(C) Recruit Technologies Co.,Ltd. All rights reserved. 2

リクルートくらいになれば常々イノベーションの創出をされているのでしょうね。

リクルートならすでにIT(Cloud)トランスフォーメーション済みですよね。

リクルートなら

リクルートなr・・・・

(C) Recruit Technologies Co.,Ltd. All rights reserved. 3(C)RecruitTechnologies Co.,Ltd.Allrightsreserved.

【リクルート企業概要】

創⽴ 1960年3⽉31⽇「⼤学新聞広告社」としてスタート

グループ従業員数 31,841名

連結売上⾼約1兆2999億円 ※2015年3⽉末

連結経常利益約1,256億円 ※2015年3⽉末

関連企業数 162社（国内＋海外）

⽬指す世界観「あなた」を⽀える存在でありたい

※2015年3⽉末

1.はじめに〜リクルートとは

(C) Recruit Technologies Co.,Ltd. All rights reserved. 4

２０１７年（５７年⽬）を迎える企業

⻑く続く企業のシステムでキーワードとなりがちなもの。

・旧来から動いているシステム

・安定しているけど最新、効率的でないかもしれない組織

・（そのやり⽅に）慣れてしまっている⼈材

・新旧での軋轢


5(C) Recruit Technologies Co.,Ltd. All rights reserved.

【リクルートのビジネスモデル】

マッチング

カスタマー（⼀般ユーザー）

クライアント（サービス提供企業）

世界中の⽣活者と産業界に「まだ、ここにない、出会い。」を提供します



【リクルートのビジネスモデル】

※リボンモデルについてはyoutube上に「ribbon model」で説明があります

カスタマーマッチングクライアント

○○な結婚式がしたいけどどの結婚式場にすれば・・・

○○な結婚式をあげられる式場なんだけどな・・・

○○なヘアースタイルにしてくれるところないかな・・・

こういうヘアースタイルにすることができるんだけど・・・



ライフイベント領域

進学

就職

結婚

転職

住宅購⼊

⾞購⼊

出産/育児

旅⾏

トレンド

⽣活/地域情報

グルメ・美容

ライフスタイル領域

選択・意思決定を⽀援する情報サービスの提供「まだ、ここにない、出会い。」を実現する

【リクルートの事業領域】

1.はじめに〜リクルートテクノロジーズとは


リクルートキャリア

リクルートジョブズ

リクルートスタッフィング

リクルート住まいカンパニー

リクルートライフスタイル

リクルートマーケティングパートナーズスタッフサービス・ホールディングス

リクルートアドミニストレーション

リクルートコミュニケーションズ

事業会社

機能会社ネットインフラ

⼤規模プロジェクト推進

UXD/SEO

ビッグデータ機能

テクノロジーR&D

事業・社内IT推進

リクルートホールディングス

リクルートとは、主要７事業会社＋３機能会社で構成されるグループ企業群

私が所属する会社はリクルートテクノロジーズ

セキュリティAP基盤・オフショア開発



【リクルートテクノロジーズのミッション】

リクルートグループ各社の現在・将来のニーズを⾒据えて競合優位性の⾼いIT、ネットマーケティング基盤を開拓・ビジネス実装することによりリクルートグループの競争優位を構築していく。

IT・ネットマーケティング領域の専⾨部隊。リクルートグループをITで牽引する企業です

組織の説明（いわゆる「インフラ」は３種類ある）


情シスと超⾼セキュア

ビッグデータ

ネットインフラ

トレンド

⽣活/地域情報・・・他数百のサイト

実際の機器を扱う部署、インフラ系ツールを扱う部署、監視・運⽤を⾏う部署などたくさんあります。

インフラエンジニアとは？

・アプリケーションから⾒たインフラエンジニア・ファシリティ、リソースから⾒たインフラエンジニア


アプ

リケ

ーシ

ョン

ファ

シリ

ティ

リソ

ース

絶滅指定危惧種インフラエンジニア（天然）

監視・モニタリング

⾃動化・コード管理

コスト管理

ユーザ（利⽤者）管理

セキュリティポリシー管理

そもそもリソース管理

◯

◯

▲

▲

▲

▲

◯

◯

◯

◯

◯

▲

◯

◯

◯

◯

◯

◯

オンプレクラウドサイト担当


サイト部⾨新しい技術、取り組みを取り⼊れていきたい！

クラウドプラットフォーム部⾨新しい技術、取り組みを取り⼊れていきたいけど、他影響あると嫌だな

オンプレ部⾨いま安定していれば⼗分なのでは？

【難易度⾼】堅牢性と機動性を両⽴するオンプレミスとクラウドへの取組みその前に・・・

次々発表される新技術

⾼いセキュリティレベル維持



ライフイベント領域

進学

就職

結婚

転職

住宅購⼊

⾞購⼊

出産/育児

旅⾏

トレンド

⽣活/地域情報

グルメ・美容

ライフスタイル領域

【リクルートのインフラ】

プライベートクラウド（RAFTEL）

パブリッククラウド（Rクラウド）

(C) Recruit Technologies Co.,Ltd. All rights reserved.

リクルートのネットインフラ環境

オンプレミス

• ⼤規模サイト向けインフラ環境• 主要サイトは全て動いている

クラウド

• ⼩規模サイト向けインフラ環境• AWSより安く、多くのサイトが動いている

• セキュアサイト向けインフラ環境• 現状はポイント系専⽤の環境

• AWS環境• 中⼩サイトの公開や、検証環境、キャンペーン⽤環境

などとして活⽤されている

• 独⾃契約したAWS環境• Rクラウド以外の環境が多数存在している

概要

• ⽤途に応じて複数のインフラ環境が⽤意されているが、現時点では主要サイトは全てRAFTELと⾔われるプライベートクラウド（オンプレミス仮想化）上で動いている

リクルートのネットインフラ

• プライベートクラウド（オンプレミス）の背景と現状

– 2006-2007年頃、４か所のデータセンターに1400台のサーバで運営。• エンジニアも各サイト、サービスごとにばらばらだった。• サーバのスペックが上がり、ビジネススピードも加速。インフラ不可も急激に上がった

。（そしてどこのデータセンターでも同じような課題・・・）• 無駄の発⽣、⼈件費の増加、インフラサービスの提供が追いつかない

– 2009年にDCを統合。仮想化基盤を採⽤し、プライベートクラウドの誕⽣• リソースのプール化により、徹底効率化• ⾃動化プラットフォーム• ⼯程の短縮化


1w 2w 3w 4w 5w 6w

発注〜納品(Unixやストレージの場合数ヶ⽉のことも…)

ラッキング

︵サ

ビスイン︶

ＬＢ開始

ケ

ブリング

ＳＷ設定

ＯＳインスト

ル

ＭＷ設定

監視設定

ＬＢ登録

ＦＷ登録

テスト

監視テスト

ラッキング

︵サ

ビスイン︶

ＬＢ開始

ケ

ブリング

ＳＷ設定

ＯＳインスト

ル

ＭＷ設定

監視設定

ＬＢ登録

ＦＷ登録

テスト

監視テスト

設計

︵サ

ビスイン︶

ＬＢ開始

⾃動化ツールで

構築作業を短縮

• プライベートクラウド（オンプレミス）の現状〜良いところもあったけど〜

– 2017年• 効率を求め属⼈化（狭い範囲での専⾨化）し、他の⼈、チームの作業をカバーできないこと

が発⽣し始める

• ⾃動化を意識しすぎて事業（サイト）とのやりとりがExcelベースの申請書に頼った結果、膨⼤なボリュームの項⽬、解明されない謎のスクリプト

• これまでの「⾃動化」の考え⽅が旧世代すぎて、新たなる要件に耐えられないケースが発⽣

• 世の中の⾃動化、Dev/Ops、SRE的な考え⽅を取り⼊れにくい状況

• 新しいプロダクト、OSやMW、流⾏りのASPサービスなどにもフィットしにくい


• パブリッククラウド

– 2010年〜2011年• サービス⽴ち上げ期に開発者主体で使えるインフラサービスの需要が発⽣

• ライバル企業に対する優位性を確⽴するために『⼩さく、軽く』開発できるパブリッククラウドの利⽤が拡⼤

– 現在• 個別にセキュリティ対応 → セキュリティ対応に時間がかかる

• 個別に機能要件の作り込み → 作り込みに時間がかかる


• パブリッククラウド– リクルートの基準に沿った⾼セキュアなクラウド利⽤


プライベートクラウド（オンプレ）

パブリッククラウド（Rクラウド）

専⽤線

ログ取得⽤FTP・踏み台

サーバ

ログイン認証

サーバ

・ログイン履歴を取得・ウィルスチェック・操作ログ

『個』に経営視点、ベンチャーマインド、イノベーション、変⾰を促す？

バランスよく柔軟に拡⼤して⾏くために

⼈材⽐で『社（部）＜個』であればあるほどレベル感はばらつき、統制ができない。

安定、堅牢で頑張っていた⼈材をいきなり別の世界へ連れて⾏けるのは稀。

できる⼈とできない⼈の差は広がり混乱、属⼈化が進むばかり。

変わらなければならないのは、部のマネジメント、リーダー陣

堅牢性と機動性を両⽴するオンプレミスとクラウドへの取組み

安定堅牢機動

趣向⾵⼟

個新しい技術へのアンテナ、取り⼊れたい気持ち、エンジニアの趣向

部正しい情報を元に会社として、部⾨として、個の成⻑機会を合わせた⼟壌の維持発展

社完成されたプラットフォーム上であれば完成された⼿順でのオペレーション。

エンジニア層の理想・成⻑機会・⼤規模本番にアイディア適⽤・より興味のある仕事

【⾼】機動性徹底的にシンプルに、⾃動化された世界を作り、利⽤ボリュームと対応⼈数の平準を測る（無理）

【⾼】堅牢性完璧なオペーレータを養成しEOSLや保守切れ対応、不意な移⾏や効率化、⾃動化など時代に即した⼈材を（無理）

ユーザ企業のリーダ、マネジメント陣に変⾰を促すのは難しいのか？

H/W保守切れ

M/W保守切れ

バージョンアップ

など

L1インフラコード

管理

OSS検討

サイト拡張

新規サイト構築

セキュリティ対応

新ガジェット

対応

クラウド活⽤

今、安定してる

その他対応

現状問題があるな

ど

超オンプレ

変⾰してほしいなユーザ企業のインフラ課題ユーザ企業のアプリ課題

運⽤

構築

障害

効率的な組織作りと運営

多くのユーザは、今課題があるかどうか、安定しているかどうかは感覚的に理解しつつも、業界他から⾒た平均値というのは理解していない。

事例：リクルートテクノロジーズはどうやって取り組んでいるか

今、安定してる

現状問題があるな

ど

・OSSへの対応状況、取り組み

・クラウドの活⽤

・組織のあり⽅

同業他社と⽐べて、

サーバ（ホスト台数）と対応メンバーの割合

対応件数などチケット起案や消化の割合

クラウドなどと⽐べて障害発⽣から対応までの時間（SLA）

全く同じ条件で⽐較する必要はなく、ただ、桁違いはおかしいとか指標はもてる。

Dev/OpsやSiteSREなどと⾔った考え⽅を⾃社へ取り⼊れようと考えた場合（⼀部）

Excel申請、⼿順書チェクリスト → JIRA/Confluence実施コマンド作成、レビュー → gitシリーズ、Ansibleより密なコミュニケーション → Slack


効率的な組織作りと運営

旧来のやり⽅で効率や改善を追い求め続けるメリデメを判断することができるか。

抜本的に変わるのであれば、リーダーが思想などを理解して伝えることである。

これらは『導⼊することが⽬的なはなく』『活⽤することが⽬的』である。

OSSや外部ASPなどを利⽤する際の勘所

・メーカやサービス提供ベンダーなどの話だけでは、その優位性を語るだけで判断できる材料が揃わない（全てみえない）

・コミュニティや勉強会、Webから得られる材料もフィットギャップが多く個⼈と企業の使い分けが必要

この辺りは失敗なども含めた「経験」を要するところで、可能な限り⾃社でその壁は乗り越えたくない。

SI企業などでこういったところのナレッジを有している会社は⾮常に貴重なご意⾒をいただけたりすることが多い。


事業部⼀体型のインフラチームへの挑戦

そして今・・・

効果測定

マージレビュー

改善対応



・・・実際には数百のサイト

サイトA

サイトB

サイトC

サイトD

サイトE

サイトF

申請書解釈

申請書で表現できない細かい個別要件

リクルート標準

秘伝のマクロ展開構築⽤スクリプト⽣成

⼿順書、チェックリスト作成＆レビュー



効果測定

MR

改善対応


サイトA

サイトB

サイトC

サイトD

サイトE

サイトF

効果測定

MR

改善対応

効果測定

MR

改善対応

効果測定

MR

改善対応

効果測定

MR

改善対応

効果測定

MR

改善対応

？




サイトA

サイトB

サイトC

サイトD

サイトE

サイトF

申請書解釈

申請書で表現できない細かい個別要件

リクルート標準

秘伝のマクロ展開構築⽤スクリプト⽣成

⼿順書、チェックリスト作成＆レビュー

効果測定

MR

改善対応

Technology

リクルートグループのネットサービスを支えるItインフラ戦略