XMLサイトマップの歴史|2005年誕生からGoogle標準化までの変遷を解説

XMLサイトマップの歴史|2005年誕生からGoogle標準化までの変遷を解説

XMLサイトマップは、2005年6月にGoogleが単独で提唱した「Sitemaps 0.84」を起点とし、2006年11月にGoogle・Yahoo・Microsoftの3社が共同で標準化した「sitemaps.org」(バージョン0.90)によって業界標準へと発展しました。その後、ニュース・動画・画像・多言語対応と仕様が拡張され、2023年にはping送信の廃止とlastmod重視への転換という大きな運用変化を迎えています。本記事では、この約20年にわたる歴史を、一次情報の出典とともに年表形式で通観し、現在のSEO運用にどうつながっているかまで解説します。

この記事でわかること
  • XMLサイトマップの誕生から標準化までの正確な年表

2005年6月のGoogle Sitemaps 0.84誕生から、2006年11月の3社共同標準化までの経緯を、出典に基づいて時系列で把握できます。

  • なぜXMLサイトマップが必要になったのかという背景

動的サイトの増加やクロールの限界という技術的課題、その源流にある学術論文まで理解できます。

  • 歴史が現在の運用にどう結びついているか

priority・changefreqの形骸化やlastmod重視、2023年のping廃止という変化の背景と、現在推奨される送信方法がわかります。

目次

XMLサイトマップの歴史をひとことで言うと?

XMLサイトマップの歴史をひとことで言うと?

XMLサイトマップの歴史は、2005年にGoogleが単独で始めた仕組みが、わずか1年半後に競合3社の共同標準へと発展し、その後20年近くかけて拡張と整理が繰り返されてきた歴史だと言えます。ここではまず全体像を年表で押さえ、そもそもXMLサイトマップとは何かという定義から確認します。

2005年誕生から2023年ping廃止までの早見年表

XMLサイトマップの歴史は2005年6月の誕生、2006年11月の標準化、2007年以降の拡張、2023年のping廃止という4つの転換点で整理できます。まずは主要な出来事を年表で一覧化し、後続の見出しで一つずつ詳しく解説していきます。

年月出来事意義
2005年6月Googleが「Sitemaps 0.84」を発表XMLサイトマップの誕生
2006年11月Google・Yahoo・Microsoftが共同標準化を発表sitemaps.org開設、0.90化
2006年11月Googleニュース向けサイトマップを導入コンテンツ種別ごとの拡張開始
2007年4月〜5月Ask.com・IBM対応、robots.txt自動検出、州政府採用採用範囲の急拡大
2007年12月動画サイトマップを導入マルチメディア対応
2010年4月画像サイトマップを導入画像検索への対応強化
2011年12月〜2012年5月hreflangのサイトマップ対応を発表多言語・多地域対応
2023年6月ping送信廃止を発表(約半年後に廃止完了)lastmod重視への転換

この年表からわかる通り、XMLサイトマップは単発の技術ではなく、検索エンジン各社の合意形成と仕様拡張が積み重なった結果、現在の形になっています(出典)。

そもそもXMLサイトマップとは何か

XMLサイトマップとは、サイト内のURLと更新日時などの情報をXML形式で記述し、検索エンジンのクローラーに伝えるためのファイルです。クロールを禁止するための「robots.txt」とは反対に、クロールしてほしいURLを能動的に知らせる「URL追加規約」として機能します。

このファイルには通常、loc(URL)、lastmod(最終更新日)、changefreq(更新頻度)、priority(優先度)といった要素が含まれ、検索エンジンはこれを参考にクロールの計画を立てます。ただし後述する通り、現在ではこれらの要素すべてが同じ重みで扱われているわけではありません。

XMLサイトマップの歴史は2005年誕生から標準化・拡張・ping廃止と続く一本の物語なんですね。

なぜXMLサイトマップは生まれたのか?

なぜXMLサイトマップは生まれたのか?

XMLサイトマップが生まれた最大の理由は、2000年代前半に急増した動的サイトや大規模データベース駆動型サイトを、クローラーが十分に発見・巡回できなくなったという技術的な限界にあります。この課題を解決するための学術的な土台があり、それがGoogleによる仕組み化につながりました。

動的サイトと大規模サイトの増加が招いたクロールの限界

2000年代前半は、ブログや掲示板、ECサイトなどデータベースから動的にページを生成するサイトが急増した時期です。これらのサイトでは、内部リンクだけでは深い階層のURLまでクローラーが到達しにくく、外部リンクが少ないページはさらに発見されにくいという課題が指摘されていました。

特に、相互リンクの少ない新規サイトや、AjaxやFlashなどリッチコンテンツを多用するページ、そしてURL数が膨大な大規模サイトは、通常のリンク巡回だけでは網羅的なクロールが難しいとされています(出典)。

学術的源流となった「Crawler-friendly Web Servers」論文

XMLサイトマップのプロトコルは、2000年に発表された学術論文「Crawler-friendly Web Servers」(Brandman, Cho, Garcia-Molina, Shivakumar)のアイデアに基づいているとされています。この論文は、Webサーバー側からクローラーに対して能動的にページ情報を提供する仕組みを提案したもので、後にGoogle Sitemapsの共著者となるShivakumar氏も名を連ねています。

XMLサイトマップは思いつきの仕様ではなく、クロール効率を改善するための学術研究を土台に実用化された技術です。この源流を知ると、後の標準化や拡張の流れも自然に理解できるようになります(出典)。

robots.txtとの違いと補完関係

robots.txtはクローラーに「巡回してほしくないURL」を伝える排除規約であるのに対し、XMLサイトマップは「巡回してほしいURL」を伝える追加規約です。両者は対立する仕組みではなく、互いを補完し合う関係にあります。

  • robots.txt:クロールを制限したいディレクトリやファイルを指定する
  • XMLサイトマップ:クロールしてほしいURLと更新情報を能動的に提示する
  • 両者ともHTTPリクエストで取得できる単純なテキスト・XMLファイルである

この補完関係があるからこそ、大規模サイトや新規サイトでは両方を適切に設定することが推奨されてきました。

XMLサイトマップ誕生の背景として押さえておきたい要点です。

  • 動的サイト・DB駆動サイトの急増でクロールが困難になった
  • 2000年発表の学術論文がプロトコルの理論的な土台になった
  • robots.txt(排除規約)とサイトマップ(追加規約)は補完関係にある

TechSuite株式会社の「AI検索パートナーズ」は、業種や規模、商材ごとに異なるクロール上の課題を個別に分析し、サイト構造のどこにボトルネックがあるのかを特定した上で、解決策の提示から実行までを伴走するコンサルティングを提供しています。XMLサイトマップが特定の課題解決のために生まれた歴史と同様に、現在のAI検索最適化においても、汎用的な施策ではなくサイトごとの構造を捉えた個別設計が重要だと考えています。

クロールの限界という現実の課題があったからこそ、標準規格が生まれたんですね。

AI検索パートナーズでは、
AIに”選ばれる”ための戦略設計から実行まで支援!

2005年6月:Google Sitemaps 0.84はどう誕生した?

2005年6月:Google Sitemaps 0.84はどう誕生した?

2005年6月、Googleはウェブ開発者がサイト内のURL一覧を検索エンジンに提供できる仕組みとして「Sitemaps 0.84」を発表しました。これはGoogle単独の取り組みとしてスタートしましたが、後の業界標準化の直接的な出発点となった重要な一歩です。

Sitemaps 0.84で何ができるようになったのか

Sitemaps 0.84では、ウェブマスターがXML形式のファイルでURLと合わせてlastmod(最終更新日)、changefreq(更新頻度)、priority(優先度)を記述し、Googleに提出できるようになりました。それまでリンクを辿ることに依存していたクロールに対し、ウェブマスター側から情報を能動的に提供する新しい経路が生まれたことになります。

Googleは、この仕組みによってウェブ開発者がサイト内のリンク一覧を公開できるよう、2005年6月にSitemaps 0.84を最初に導入したとされています(出典出典)。

提唱者とGoogleの狙い

Sitemaps 0.84の発表には、前述の学術論文にも関わったShiva Shivakumar氏らGoogleの技術者が携わったとされています。狙いは、クロールされにくいページの発見を助けることに加え、ウェブマスターがサイトの構造をより直接的に検索エンジンへ伝えられる「フレンドリーな窓口」を作ることにあったと考えられます。

Sitemaps 0.84は一企業の実験的な取り組みでしたが、この時点ではまだ他の検索エンジンには対応していない仕組みでした。この限定的なスタートが、翌年の業界標準化によって一変することになります。

項目2005年6月時点の状況
対応検索エンジンGoogleのみ
プロトコル名Sitemaps 0.84
主な要素loc / lastmod / changefreq / priority
提供方法Google宛にXMLファイルを提出

TechSuite株式会社の「AI検索パートナーズ」は、技術実装を担う専門人材とAIを活用したコンテンツ制作人材が一つのチームで連携し、戦略設計から効果測定・改善までを一気通貫で支援する体制を整えています。一つの企業の発案から始まった仕組みが業界全体に広がっていく過程は、単独の施策だけでなく多職種が連携して仕組みを育てることの重要性を示す好例だと言えます。

最初はGoogle単独の仕組みだったというのは意外なポイントですね。

AI検索パートナーズでは、AI検索の専門知識と支援実績を持つ専任コンサルタントが、AIに“引用される・選ばれる”ための戦略設計からコンテンツ最適化、効果測定・改善まで一気通貫でご支援いたします。
ご興味のある方は、ぜひ資料をダウンロードして詳細をご確認ください。

2006年11月の3社共同標準化はなぜ画期的だった?

2006年11月の3社共同標準化はなぜ画期的だった?

2006年11月16日、Google・Yahoo!・Microsoftの3社が共通のSitemapsプロトコルへの対応を発表したことが画期的だったのは、検索市場で競合する企業同士が同じ仕様を採用するという、当時としては珍しい業界協調の事例だったためです。この合意によって名前空間はsitemaps.orgへ移行し、バージョンも0.90へと引き上げられました。

なぜ3社共同が画期的だったか

検索エンジン各社は本来、独自のクロール技術やアルゴリズムを競争優位の源泉としています。その中で、URL提出という基盤部分だけを共通化することで、ウェブマスターが検索エンジンごとに異なる形式のファイルを用意する手間を省けるようにしたのが、この標準化の意義でした。

2006年11月16日、Google・Yahoo!・Microsoftが共通のSitemapsプロトコル対応を発表し、名前空間をwww.sitemaps.orgへ移行、バージョンを0.9へ引き上げました(内容自体の大きな変更はありません)(出典出典)。

Creative Commonsライセンスでの公開と普及戦略

このプロトコルは、Attribution-ShareAlike(表示-継承)のCreative Commonsライセンスで提供されました。これにより、Google・Yahoo・Microsoft以外の検索エンジンやツールも自由にプロトコルを採用・拡張できるようになり、事実上のオープンスタンダードとして普及する土台が整いました(出典)。

オープンライセンスでの公開という選択が、その後のAsk.comやIBMなど他社対応につながる広がりを生みました。sitemaps.orgはYahoo Small Businessがホストする計画で開設され、以後3社が共同で仕様を維持・拡張してきたとされています(出典)。

バージョン0.90への移行内容

0.84から0.90への移行は、内容面での大きな仕様変更ではなく、主に名前空間の統一とバージョン表記の変更が中心でした。要素の構成(loc・lastmod・changefreq・priority)はそのまま引き継がれています。

比較項目0.84(2005年)0.90(2006年)
対応検索エンジンGoogleのみGoogle・Yahoo・Microsoft
名前空間Google独自www.sitemaps.org
ライセンス非公開の内部仕様Creative Commons(表示-継承)
要素構成loc/lastmod/changefreq/priority同上(変更なし)

2006年の標準化がもたらした意義を整理します。

  • 競合3社が基盤仕様のみを共通化する業界協調が実現した
  • sitemaps.orgという中立的な仕様公開の場が生まれた
  • Creative Commonsライセンスにより他社の追随を促した

TechSuite株式会社の「AI検索パートナーズ」は、自社サイトにおいてAI Share of Voiceが高水準を維持しており、支援先でもAI Overviewへの引用率を改善した実績があります。複数の検索エンジンから同時に評価される仕組みを整えることの重要性は、3社共同標準化によってXMLサイトマップの信頼性が高まった歴史と重なる部分があると考えています。

競合3社の共同standard化は、検索業界史においても珍しい出来事なんです。

2007年以降、プロトコルはどう拡張された?

2007年以降、プロトコルはどう拡張された?

2007年以降のXMLサイトマップは、対応検索エンジンの拡大とrobots.txtによる自動検出の登場に加え、ニュース・動画・画像・多言語といったコンテンツ種別ごとの拡張仕様が段階的に整備されてきました。ここでは主要な拡張を時系列で整理します。

Ask.com・IBMの対応とrobots.txt自動検出

2007年4月にはAsk.comとIBMがサイトマップ対応を発表し、同時期にGoogle・Yahoo・MSはrobots.txtに「Sitemap:」と記述するだけでサイトマップの場所を自動検出できる仕組みを発表しました。翌5月には、アリゾナ・カリフォルニア・ユタ・バージニアの州政府がサイトマップの採用を表明しています(出典)。

この自動検出の登場によって、ウェブマスターは各検索エンジンへ個別にファイルを提出する手間を省き、robots.txtに1行追加するだけでサイトマップの存在を伝えられるようになりました。

Googleニュース・動画・画像サイトマップの追加

コンテンツ形式ごとの拡張も段階的に進みました。2006年11月にはGoogleニュース向けサイトマップが導入され、過去2日以内の記事URLを1ファイル最大1,000URLまで登録できる仕組みが整備されています。続いて2007年12月には動画サイトマップ、2010年4月には画像サイトマップがそれぞれ導入されました。

  • 2006年11月:Googleニュース向けサイトマップ(出典
  • 2007年12月:動画サイトマップ(出典
  • 2010年4月:画像サイトマップ(出典

コンテンツ種別ごとの拡張仕様は、検索エンジンが単純なテキストページ以外の資産もクロールしたいという需要に応じて生まれてきました。ニュースサイトマップの1,000URL上限のように、種別によって細かな制約が異なる点にも注意が必要です。

多言語hreflangサイトマップ対応(2011〜2012年)

多言語・多地域サイト向けの拡張として、rel=”alternate” hreflangをXMLサイトマップ内で指定する仕組みが2011年12月から2012年5月にかけてGoogleにより発表されました。これにより、HTMLの内にhreflangタグを直接書き込まなくても、サイトマップ経由で言語・地域バリエーションを一括管理できるようになりました(出典)。

この方式は、大規模な多言語サイトでページ数が多い場合に、個別ページの編集負担を減らせる点で実務的なメリットがあるとされています。

拡張タイプ導入時期主な用途
ニュースサイトマップ2006年11月直近2日以内の記事URL登録
動画サイトマップ2007年12月動画コンテンツのメタデータ提供
画像サイトマップ2010年4月画像検索向けの情報提供
hreflangサイトマップ2011年12月〜2012年5月多言語・多地域ページの関連付け

TechSuite株式会社の「AI検索パートナーズ」は、AIを活用した高度なコンテンツ制作の仕組みを「バクヤスAI記事代行」事業で培っており、その制作エンジンとナレッジをLLMO対策にも転用しています。ニュースや動画、多言語といったコンテンツ種別ごとに異なる最適化が求められてきた歴史と同様に、現在のAI検索対応でもコンテンツ形式や検索意図に応じた個別設計が欠かせないと考えています。関連して、LLMO対策の具体的なやり方も参考になります。

コンテンツの種類ごとに拡張仕様が積み重なってきた歴史がよくわかりますね。

2023年のping廃止など、現在の運用はどう変わった?

2023年のping廃止など、現在の運用はどう変わった?

2023年6月、Googleはサイトマップのping送信エンドポイントを廃止すると発表し、URL経由での送信を終了しました。これに伴い、priorityやchangefreqの形骸化とlastmodの重要性向上という、現在のXMLサイトマップ運用における大きな転換が進んでいます。

なぜpingが廃止されたのか

Googleは2023年6月にサイトマップpingエンドポイントの廃止を発表し、発表から約半年後の2023年後半に完全に廃止しました。これにより、URLにアクセスすることでサイトマップの更新をGoogleへ通知する方式は使えなくなっています(出典)。

廃止の背景として、ping送信が実際のクロール優先度に与える影響が限定的であったことや、スパム的な利用が見られたことなどが指摘されています。現在はrobots.txtでのSitemap指定と、Google Search Consoleからの手動送信が推奨される主な方法です。

priority・changefreqの形骸化とlastmod重視への転換

Googleはを使用しない(無視する)と公式に明言しています。これは、ウェブマスターが自己申告する更新頻度や優先度が、実際のクロールの意思決定材料としては信頼性が低いと判断されているためです(出典出典)。

その代わりに重視されているのがlastmodで、これは最後の重要な更新日を正確なISO8601形式で示す要素です。実態と一致した正確なlastmodを継続して提供すると、Googleが再クロールのスケジューリング信号として利用する可能性があるとされていますが、実際の更新と合っていない乱用が続くと、その信号自体が信用されなくなるとも説明されています(出典)。

現在推奨される送信方法と運用ポイント

現在のXMLサイトマップ運用では、ping送信に代わってrobots.txtへのSitemap記述と、Google Search Consoleからの送信が主な手段となっています。あわせて、1ファイルあたり非圧縮50MB・50,000URLという上限を超える場合は、サイトマップインデックスで分割することも従来通り重要です。

運用項目過去の主流現在の推奨
更新通知ping送信(URLアクセス)廃止済み・使用不可
優先度指定priority要素の記述Googleは無視・実質形骸化
更新頻度指定changefreq要素の記述Googleは無視・実質形骸化
更新日指定lastmod(任意項目扱い)正確な記述が重要な信号に
送信方法ping/robots.txt/Search Consolerobots.txt/Search Console

サイトマップの設置は検索順位を直接上げるものではなく、クロールやインデックスを保証するものでもありませんが、クローラビリティの改善を通じてSEO上有利に働くとされています(出典出典)。

2023年以降のXMLサイトマップ運用で押さえておきたいポイントです。

  • ping送信は廃止済み、robots.txtとSearch Consoleでの送信に切り替える
  • priority・changefreqは記述してもGoogleに使われない前提で運用する
  • lastmodは実際の更新と一致させ、正確なフォーマットで記述する
  • 50,000URL・50MBを超える場合はサイトマップインデックスで分割する

TechSuite株式会社の「AI検索パートナーズ」は、AI検索経由での受注率が従来のSEO経由の約3倍となっているという実績があり、露出や順位ではなく受注という成果に直結させる支援を行っています。XMLサイトマップの運用がping送信の有無や順位を追う指標から、正確な情報提供とクロール効率という本質的な目的へ回帰してきた歴史は、AI検索最適化においても表面的な露出だけでなく成果に結びつく施策設計が重要だという考え方と重なります。あわせて、AI検索対策の進め方LLMOとは何かについても整理しておくと理解が深まります。

ping廃止とlastmod重視は、順位ではなく実質的な効果を重んじる流れの象徴ですね。

よくある質問

XMLサイトマップとHTMLサイトマップの違いは何ですか?

XMLサイトマップは検索エンジンのクローラー向けに機械的な情報を提供するファイルで、通常はユーザーの目に触れません。一方HTMLサイトマップは人間の訪問者向けにサイト内のページ一覧をリンク集として表示するもので、ナビゲーション補助が主な目的です。両者は目的も対象読者も異なるため、多くのサイトでは併用が検討されます。

小規模サイトにもXMLサイトマップは必要ですか?

サイトマップは、外部リンクが少ない新規サイトやリンク構造が複雑な大規模サイトで特に有効とされています。ページ数が少なく内部リンクも整理された小規模サイトでは効果が限定的な場合もありますが、設置自体に大きな負担はないため、多くの解説記事でも設置が推奨されています。更新のたびに手動で送信し直す必要はなく、robots.txtに記載しておけば自動的に検出されます。

0.84と0.90(0.9)は何が違いますか?現在も0.9のままですか?

0.84は2005年にGoogle単独で使われていたバージョン、0.90は2006年の3社共同標準化にあわせて名前空間とバージョン表記を変更したものです。要素の構成自体に大きな違いはありません。プロトコルのバージョンは現在も0.90のまま大きな改版はされておらず、その後の拡張は動画・画像・ニュース・多言語といった別仕様の追加や、Google側の運用方針の変更(ping廃止など)によって行われています。

XMLサイトマップを送信すれば検索順位は上がりますか?

XMLサイトマップの送信自体は検索順位を直接上げるものではなく、クロールやインデックスそのものを保証するものでもありません。あくまでクローラーがURLを発見しやすくするための補助的な仕組みであり、コンテンツの質や内部リンク構造といった他の要素と組み合わせて、間接的にSEO上有利に働くと理解しておくことが大切です。

まとめ

XMLサイトマップの歴史は、2005年6月のGoogle Sitemaps 0.84誕生から始まり、2006年11月のGoogle・Yahoo・Microsoftによる共同標準化でsitemaps.orgとバージョン0.90が生まれるという、業界協調の転換点を経てきました。

その後もニュース・動画・画像・多言語対応といった拡張が段階的に加えられ、2023年のping送信廃止とlastmod重視への転換によって、現在の運用スタイルが形作られています。

この歴史を理解すると、priorityやchangefreqの形骸化、lastmodの正確な運用の重要性といった現在の実務上の判断基準を、単なるルールとしてではなく背景を伴って捉えられるようになります。

参考にした情報源

参考にした情報源
監修者情報

TechSuite株式会社
COO AI×マーケティング事業統括

倉田 真太郎

大学在学中よりWEBディレクターとして実務経験を開始。生成AI活用型SEO記事代行事業を立ち上げ、同カテゴリ内で市場シェアNo.1を獲得。同サービスで30,000記事超のAIライティング実績。0から1年間で月間300万PVのメディアを立ち上げ、月間1億円超の売上創出に寄与した経験を有する。

AI検索パートナーズでは、AI検索の専門知識と支援実績を持つ専任コンサルタントが、AIに“引用される・選ばれる”ための戦略設計からコンテンツ最適化、効果測定・改善まで一気通貫でご支援いたします。
ご興味のある方は、ぜひ資料をダウンロードして詳細をご確認ください。

Form CTA
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

製品・サービス

目次