サイトを数週間止める必要が出たとき、「とりあえず全ページで503を返しておけば安全」と考えていないでしょうか。
503は正しい選択肢のひとつですが、「すぐ戻る」ことを前提にした合図です。止める期間が長くなるほど、検索結果での見え方に影響が出てきます。
この記事では、Googleの公式ドキュメントで確認した内容をもとに、長期メンテナンス中のステータスコードとrobots.txtの扱いを整理します。
先に結論:停止期間でステータスコードを切り替える
- 1〜2日程度の停止:503を返す
- それを超える停止:インデックス可能なトップページを200で返す
- どちらの場合も:robots.txtには503を返さない
以下、それぞれの理由を順に見ていきます。
1. 503は「一時的に使えない」という合図
503(Service Unavailable)は、サーバーが一時的にリクエストを処理できないことを示すステータスコードです。Googleのクローラーは、500・503・429のいずれかが多数のURLで返ってくると、クロールの頻度を一時的に下げます。公式ドキュメントでは、これを数時間から1〜2日程度の緊急措置として説明しています。
押さえておきたい点は2つです。
- クロール頻度の低下は、エラーを返したURLだけでなく、ホスト名全体(例:
www.example.com)に及びます - 復旧して200を返せるようになれば、クロール頻度は自動的に少しずつ戻ります
503を返すときは、Retry-Afterヘッダーで「いつ再試行してよいか」を伝えられます。秒数でも、UTCの日時でも指定できます。
HTTP/1.1 503 Service Unavailable
Retry-After: 3600
2. 503を長く続けると何が起きるか
公式ドキュメントから読み取れる影響は、大きく2つあります。
タイトルや説明文を更新できない
ページが503を返している間、Googleのシステムは、そのページのタイトル・説明文・メタデータ・構造化データを更新できません。メンテナンス中に内容を差し替えても、検索結果には反映されないということです。
URLがインデックスから外れることがある
すでにインデックスされているURLが5xxを返し続けた場合、すぐには消えず、いったんは保持されます。ただし、同じURLで数日にわたってこれらのステータスが観測されると、最終的にインデックスから外れる可能性があると公式に書かれています。
そのため公式は、503を長期間返し続けること(目安として1〜2日を超えること)を推奨していません。
3. robots.txtには503を返さない
robots.txtは、クローラーが最初に確認するファイルです。ここで返すステータスコードによって、サイト全体のクロールの扱いが変わります。
robots.txtが5xxを返し続けた場合のGoogleの動きは、次の順に進みます。
- 最初の12時間:サイトのクロールを止めつつ、robots.txtの取得を試み続ける
- その後30日間:最後に取得できた正常な版を使いながら、新しい版の取得を試みる(503は再試行がかなり頻繁になる)。キャッシュがない場合は、クロール制限なしとみなされる
- 30日たっても直らない場合:サイトが概ね利用可能なら、robots.txtがないものとして扱われる。サイト全体に可用性の問題があるなら、クロールが止まる
休止ガイドでも、robots.txtに503を返すとクロールが完全に止まってしまうため、返さないよう明記されています。
一方で、「クロールを止めたいから」と、全面Disallowの有効なrobots.txtを返すのも避けるべきです。サイトの内容や、場合によってはURLまでもが検索結果から消える可能性があるためです。
結論として、robots.txtは通常の内容のまま200で返すのが安全です。
4. 1〜2日を超えるなら、トップページを200で返す
停止が1〜2日を超える場合、公式が挙げている選択肢は、インデックス可能なトップページをプレースホルダーとして用意し、200で返すことです。検索したユーザーが、サイトの存在と状況を確認できる状態を保つためです。
ただし「メンテナンス中」だけのページは危ない
200を返しても、その中身が「空のページ」や「エラーメッセージ」のように見えると、Google Search Consoleではソフト404として扱われます。ソフト404は、ユーザーには「見つかりません」と見せながら、サーバーは404ではなく200を返している状態を指します。
公式が「メンテナンス中とだけ書いたページ」を名指ししているわけではありません。ただ、性質としては同じ種類のページなので、ソフト404と判定される可能性は十分あると考えておくのが安全です。
入れておきたい情報
ソフト404を避けるには、ページに「実際に役立つ内容」を載せます。公式が項目を指定しているわけではなく、ここは実務上の判断ですが、次のような内容が考えられます。
- 会社やサービスの概要(何をしているサイトか)
- 連絡先(問い合わせフォームやメールアドレス)
- 停止している理由と、復旧の目安
5. 実際の構成例:3つに分けて返す
ここまでを踏まえ、実務では次のように、対象ごとに返すステータスコードを分けました。
| 対象 | ステータス | 狙い |
|---|---|---|
| robots.txt | 200(通常の内容) | クロール停止や全面ブロックを避ける |
| トップページ | 200(会社情報・連絡先入り) | 検索結果での見え方を保つ |
| それ以外のURL | 503(Retry-After付き) | 一時停止であることを伝える |
この構成についての注意
この3層構成は、実務での落としどころとして採用したものです。公式ドキュメントがこの構成そのものを推奨しているわけではありません。
特に「それ以外のURLは503」の部分は、先に見たとおり、数日以上続けるとインデックスから外れる可能性があります。復旧の見込みが読めない場合は、期限を決めて、扱いを見直す前提で運用するのが現実的です。
設定後の確認方法
設定したら、ブラウザの表示だけで判断せず、実際に返っているステータスコードを確認します。
curl -I https://example.com/robots.txt
curl -I https://example.com/
curl -I https://example.com/any-page/
それぞれ、1行目のステータスが想定どおり(200・200・503)になっているかを確認してください。Google Search ConsoleのURL検査でも、Googleから見たときの状態を確かめられます。
まとめ
| 停止の見込み | 返すもの |
|---|---|
| 数時間〜1〜2日 | 全体を503(Retry-Afterを付ける)。robots.txtは200 |
| 1〜2日を超える | トップページを会社情報入りで200。robots.txtは200。それ以外のURLは、期限を決めて扱いを見直す |
| 共通 | robots.txtに503や全面Disallowを返さない |
503は「少しの間だけ使えない」ときの合図です。停止が長くなりそうなときこそ、何を200で残し、何を503で止めるかを、最初に設計しておくことが大切です。
参考にした公式ドキュメント:
- How Google interprets the robots.txt specification
- How HTTP status codes affect Google’s crawlers
- Reduce the Google crawl rate
- Temporarily pause or disable a website
- Page indexing report(Search Console ヘルプ)
サーバーの切り替え作業そのものについては、こちらの記事もあわせてどうぞ。
サーバー移管・ドメイン管理・セキュリティ対策など、インフラまわりのトラブル対応もお任せください。20年超のSIer経験をもとに、的確にサポートします。
▶︎ インフラ・技術相談はこちら(Smile Creations お問い合わせフォーム)
▶︎ MENTAでのスポット相談はこちら