安全・効率的にクローラー対策を行う工夫を大公開!〜テックブログが公開されました〜

こんにちは、広報の坂井です。

本日4月24日(月)、テックブログが公開されました。タイトルは『Railsアプリでクロールディレクティブを安全・効率的に設定する仕組み』担当は、フロントエンドエンジニアの茨木です!

tech.vasily.jp

f:id:vasilyjp:20170425140526j:plain

今回も、非エンジニア向けに解説してもらいました!


 ー 今回はどういった内容なのでしょうか?

IQONも含めWeb上にあるページは、クローラーと呼ばれるロボットが巡回して情報を集めることで、GoogleやYahooなどの検索エンジンに表示されます。

IQONはコンテンツの多い大規模なサイトなので、効率良く巡回してページを登録してもらう必要があります。

そのためには、各ページにクロールディレクティブを設定しなくてはいけません。その設定を効率良く安全に行うための工夫を紹介しています。

 

 そもそも、クロールディレクティブとは?

クロールディレクティブとは、クローラーにサイト巡回の仕方を伝えるための設定です。

例えば、「noindex」という回らなくて良いページの設定や、「nofollow」という飛ばなくても良いリンクの指定などです。これらを行うことで、効率的にクロールしてもらうことができます。

 

なるほど、そんなことができるんですね!

はい。例としてIQONでは、相談機能やアイテム検索ページなどがそれに当たります。しかし、IQONのようにコンテンツの多いサービスでは、クロールディレクティブを設定するページも膨大な量になり、1つ1つ設定していくのは困難且つミスの発生要因にもなってしまいます。

f:id:vasilyjp:20170425143456j:plain

たしかに大変ですね…。

あまりに複雑なものは運用が困難になってしまうので、VASILYでは管理を1箇所で行うようにしました。これは、1箇所に設定すれば対象の全ページ・全リンクに反映されるというものです。

更に、設定が正しいかどうかを自動でテストできるようにもしていて、効率的なだけでなく人的ミスも減らすことができています。

より充実したサービスを提供できるよう効率的・安全な開発を心がけています!


ありがとうございました!

VASILYエンジニアは常に技術を磨き、ユーザーの皆さまへより良いサービスを提供できるよう日々尽力しています。

VASILYでは現在各職種で正社員・インターンを募集中です。ご応募お待ちしております!

www.wantedly.com

【お問い合わせ】
株式会社VASILY 広報担当
press@vasily.jp