ラクサバの不具合 – Googleのクロールを拒否る

GMOのサービスでひどい目にあってから半年。やっと格安でスピードもそこそこのサーバーを見つけたと思った。その矢先、またトラブルに見舞われた。今度はラクサバ。データベースの数さえ我慢すれば一ヶ月数百円で利用できるよいサーバーだった。Wordpressの表示は早い。

ところが、サーバー側の不注意で一時Googleからのトラフィックが途絶するという事態に見舞われた。原因はラクサバ側がGoogleのクロールを全て拒否したことだ。すると一週間ほどエラーを出した後、検索結果から全てのエントリーが消えてしまう。つまりトラフィックが完全に途絶するのだ。障害報告はこちら。

ラクサバがメンテナンスをする

ラクサバがメンテナンスを実行した後から調子が悪くなった。聞けばメンテナンスの際にブラックリストを紛失してしまい、海外からの攻撃にさらされるようになったらしい。一日に一度（朝が多かった）サービスが止まっていた。それがなおったと思っていたところ、今度はGoogleのインデックスからの流入が止まる事態に見舞われた。後で分かったことだが、不正アクセスを止めたことでGoogleのクローラーまで拒否してしまったのだ。

Webマスターツールをみると、robots.txtにアクセスができなくなったと言われた。ところがrobots.txtなど設置したことはない。設置しないと404エラーが出て、クロールが始まるはずである。

ラクサバに向けてFetch as Googleしてみると、アクセスできないと言われる。試しに全てのアクセスを許可する（全てのアクセスを拒絶しない）というrobots.txtを入れてみたのだが、これもアクセスできない。サーバー側で止めているのだから当然だ。

この状態はメンテ後数日経ってから起っているようだ。ラクサバはメンテナンスの際に迷惑IPのリストを消してしまった。そのために全てのトラフィックを止めてしまったらしい。しかし、その代償はあまりにも大きかった。一週間ほどrobots.txtにアクセスができないとGoogleはインデックスから全てのエントリーを表示停止しにしてしまうのだ。

当初は原因が分からず、またサーバー難民になるのかなあと不安になってしまった。

復旧

これを確認したのが土曜日の夜だった。慌ててサポートに連絡をしたが、返事はない。日曜日の昼頃にもう一度サイトマップを確認したところ復旧していた。ラクサバから月曜日に来たメールには次のようにあった。

海外からの不正アクセスを遮断する際にGoogleクローラーからのアクセスを一部遮断してしまっていたため、8月7日の午前0時30分頃に解除いたしました。

Googleのインデックスは復旧したので、エラーも解消されたものと思われる。サポートは素早く対応してくれたが、これで影響を受けた人もいるわけで、障害報告に掲載してもらえるように依頼し、対応してもらった。