IQONを支える最新インフラ技術に迫る!〜テックブログを公開しました〜

こんにちは、広報の坂井です!

今回は、先日公開されたテックブログ『Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築』を非エンジニア向けにご紹介します!

担当は、インフラエンジニアの光野です!

tech.vasily.jp

f:id:vasilyjp:20170322181558j:plain

では、さっそくいきましょう!


 ー なんだか、タイトルから心が折れる感じですね…(笑)

専門用語の連続ですからね(笑)

まずは、「クローラー」についてです。IQONでは、200以上の提携ECサイトから毎日数百万点の商品情報を集めています。これを全て手動で集め、更新するのは不可能なので、クローラーと呼ばれるプログラムが自動で巡回し、収集してくれています。

新商品の追加・商品の在庫状況・セールの開催など情報は日々変化するため、情報を「正しくクロールすること」と「速くクロールすること」はIQONにとってとても大事なことです。

今回のブログでは、特に「速くクロールする」という目的で構築したコンテナベースの新クローラーシステムを紹介しています。

 

「新クローラーシステム」ということですが、これまでのクローラーの課題はどんなものだったのでしょう?

これまでのシステムだと、

  1. 季節ごとの新商品追加時期など、クロール対象の急激な変化に追従するのが難しい
  2. クロール中とそれ以外で負荷の差が激しく、計算資源の無駄が多い

という2つの課題がありました。

1. に関しては、膨大な量の最新情報を更新するのに時間がかかり、「IQONとECサイトで掲載価格が違う」などのご指摘をいただくことがありました。2. に関しては、クローラーを稼働していない間も、サーバーを維持しておく必要があり、資金面でのコストがかさんでいました。

 

クローラーシステムでは、それが改善されたのですね?

はい、これを改善するために、コンテナという技術を採用しました。今回使っているコンテナとは、クローラーに必要な環境を整えたサーバー内の小さい部屋のようなものです。

これを使うことで、クローラーが動いていない間はサーバーを維持しておく必要がなくなり、常に維持していた時に比べて無駄なコストを抑えられました。また、コンテナのおかげでクローラー1つ1つが自由に動けるようになり、より速く情報を更新できるようになりました。

結果的に、クロール時間67%減、 維持コスト70%減という成果が得られました。

f:id:vasilyjp:20170322181612j:plain

すごい成果ですね!ユーザーにとってより快適なサービスの運営のために、そんな事が行われていたんですね。光野さんは他にもそういった、IQONの裏側のお仕事をされているんですよね?

はい。僕はインフラエンジニアなので、サービスを運営する基盤作りをしています。

ユーザーが常にIQONをいつでも使えるようにする外部向けのサービス基盤と、IQONが持つビッグデータを社員がいつでも使えるようにする内部向けのデータ分析基盤の両方を保つのが仕事です。

現状維持はもちろん、より速くより安全に使っていただけるよう改善していくことがやりがいです!


ありがとうございました!

自社サービスであるIQONやSNAPをユーザーの皆様に快適に楽しんでいただくために、まさに「縁の下の力持ち」として活躍してくれている光野でした!

 

VASILYでは現在、自社サービスに関わるエンジニアを大募集中です!

また、エンジニアだけでなく各職種で正社員・インターン共に募集中なので、気になる方はぜひこちらをご覧ください!ご応募お待ちしております。

www.wantedly.com

【お問い合わせ】
株式会社VASILY 広報担当
press@vasily.jp