llms.txt誕生の歴史|2024年の提案から普及までを年表で解説

llms.txt誕生の歴史|2024年の提案から普及までを年表で解説

llms.txtとは、2024年9月3日にAnswer.AI・fast.ai共同創業者のJeremy Howardが提案した、大規模言語モデル(LLM)が推論時にサイト情報を参照しやすくするためのMarkdownファイルです。誕生の動機はコンテキストウィンドウの制約とHTMLノイズ問題にありました。その後2024年11月のMintlify対応で急拡大し、SEO/GEO文脈へ流用される一方、Googleは不採用を明言。現在はエージェント用途(B2A)で再評価される二面性を持ちます。この記事では提案から普及、論争、再定義までを日付と出典付きの年表で整理し、導入是非を判断できるようにします。

この記事でわかること
  • llms.txtは誰が・いつ・なぜ作ったのか
  • 2024年提案から2026年までの普及と論争の流れ
  • 歴史を踏まえた現在地と導入判断の考え方

2024年9月3日にJeremy Howardが提案し、Mintlifyの一斉対応で広まりました。SEO用途では効果が乏しく、Googleは不採用を明言しています。一方でエージェント参照の窓口として再評価が進んでいます。

目次

llms.txtの歴史は年表でどう整理できる?

llms.txtの歴史は年表でどう整理できる?

結論から言えば、llms.txtの歴史は「2024年9月の提案→同年11月の急拡大→2025年のハイプと反動→2026年の再定義」という4段階で整理できます。まずは全体像を年表で押さえると、断片的に語られがちな情報が因果でつながります。

提案者はAnswer.AI・fast.ai共同創業者のJeremy Howardで、公開は2024年9月3日でした(Answer.AI)。その後の広がりと評価の変遷を、日付とともに追っていきます。

まず結論として誰がいつ作ったのか?

llms.txtは2024年9月3日にJeremy Howardが提案した、LLMの推論時参照を助けるMarkdown形式の案内ファイルです。誕生の起点は2024年9月3日、提案者はAnswer.AIのJeremy Howardという一次情報で確定しています。仕様の詳細は公式サイト(llmstxt.org)で公開され、リポジトリ(GitHub)でも管理されています。robots.txtやsitemap.xmlとは目的が異なる新しい提案規格です。

2024年から2026年までの年表は?

主要イベントを日付で並べると、ハイプと反動の流れが一望できます。提案から約2か月でMintlifyが一斉対応し、爆発的に拡散した点が最大の転換点でした。以下は一次情報と実測データに基づく年表です。

時期出来事
2024年9月3日Jeremy Howardが提案を公開(誕生)
2024年11月Mintlifyが全ホスト先で対応、数千ページに拡散
2024年12月〜llmstxt.site等のディレクトリ化が始動
2025年3月頃LangChain等が自社ドキュメントで公開
2025年7月Googleが不採用を明言
2026年5月Google公式ガイドが「不要」と説明/Chromeは監査項目に採用

TechSuite株式会社の「AI検索パートナーズ」は、自社サイトでAI Share of Voiceが高水準にあり、支援事例でAI Overviewの引用率を改善した実績をもとに、こうした年表的な変化を実データで追いながら施策へ反映しています。歴史を単なる知識でなく、現時点の打ち手に結びつける視点が重要です。

年表で見ると、たった2年で提案から論争、再評価まで駆け抜けたことがよくわかりますね。

そもそもllms.txtとは何を指すのか?

そもそもllms.txtとは何を指すのか?

llms.txtとは、サイトのルート直下に置き、LLMに「どのページを読めばよいか」をMarkdownで案内するファイルです。歴史を正しく理解するには、この定義と既存ファイルとの違いを先に押さえる必要があります。

基本フォーマットはH1(プロジェクト名=唯一の必須項目)、blockquoteの短い概要、任意の説明、H2セクションでのリンクと説明の列挙という構成です(llmstxt.org)。XMLでなくMarkdownを採用したのは、LLMやエージェント自身に読まれることを想定したためでした。

llms.txtとllms-full.txtの違いは?

Howardの提案は2種類のファイルを定義しました。/llms.txtは重要ページの案内インデックス、/llms-full.txtは全文を1ファイルに連結した詳細版です(reaudit.io)。案内役のllms.txtと、全文まとめのllms-full.txtは役割が明確に分かれています。用途に応じて片方だけ、あるいは両方を設置する運用が想定されました。

robots.txtやsitemap.xmlとどう違う?

robots.txtは数十年来の標準でアクセス制御が目的、sitemap.xmlは検索エンジンへのURL一覧提供が目的です。対してllms.txtは2024年に登場した新規格で、AI向けの内容案内が目的という違いがあります(cryptul)。歴史の長さも普及度もまったく異なる点が両者を区別する鍵です。LLMOの前提理解はLLMOとは何かの解説も参考になります。

項目robots.txtllms.txt
登場数十年前の標準2024年の提案規格
目的アクセス制御AIへの内容案内
普及度ほぼ全サイト約10%にとどまる

TechSuite株式会社の「AI検索パートナーズ」は、構造化データや意味的文脈、エンティティ認識といった生成AIが引用・推薦する仕組みを技術的に捉え、llms.txtを含む機械可読ファイルの位置づけを一次情報設計から検証しています。ファイルの役割を取り違えないことが、無駄な工数を避ける第一歩です。

目的が違うファイルを混同すると誤った期待につながるので、まず役割の切り分けが大切ですね。

AI検索パートナーズでは、
AIに”選ばれる”ための戦略設計から実行まで支援!

なぜllms.txtは生まれたのか?

なぜllms.txtは生まれたのか?

llms.txtが生まれた技術的動機は、LLMのコンテキストウィンドウが小さく、ナビや広告やJavaScriptを含むHTML全体を扱いにくいという問題でした。この原点を押さえると、後のSEO文脈への流用がなぜ誤解を生んだかが見えてきます。

HTMLをLLM向けプレーンテキストに変換するのは困難で不正確という課題があり、特に開発環境でプログラミングドキュメントやAPIへ素早くアクセスする用途が想定されていました(GitHub)。つまり誕生時点では、検索順位のための施策ではなかったのです。

原点にあった課題は何だったのか?

原点は、限られたトークン数の中に読ませる価値のある情報を凝縮したいという課題でした。コンテキストウィンドウの制約とHTMLノイズ問題こそがllms.txt誕生の直接の引き金です。ノイズを取り除いた要約をあらかじめ用意しておけば、LLMが効率よく正確に情報を扱えるという発想が出発点でした。RAGやトークン効率の観点からも合理的な着想だったといえます。

提案者Jeremy Howardは何者か?

Jeremy HowardはAnswer.AIおよびfast.aiの共同創業者で、機械学習教育や実装で知られる人物です。robots.txtという既存の案内ファイルの発想を、AI向けに応用したのがllms.txtの着想でした。長年ドキュメントとモデルの双方を扱ってきた背景が、この提案の説得力を支えています。開発者コミュニティで一定の信頼を持つ人物だった点も普及の後押しになりました。

なぜFastHTMLが参照実装になったのか?

リファレンス実装はHoward自身のPythonフレームワークFastHTMLで、技術ドキュメントを持つプロジェクトという想定ユースケースそのものでした(Medium)。本来は開発ドキュメント向けのツールだったことが歴史理解の要点です。この文脈がマーケティング用途と混同され、後の論争の火種になりました。

TechSuite株式会社の「AI検索パートナーズ」は、技術実装を担う人材とコンテンツ制作の人材が一つのチームで連携し、誕生の技術的動機まで踏まえた戦略設計から効果測定・改善までを一気通貫で伴走しています。背景を理解した上での判断が、流行に振り回されない運用につながります。

もともとは開発ドキュメント向けだった、という原点を知ると評価がぶれにくくなりますよ。

AI検索パートナーズでは、AI検索の専門知識と支援実績を持つ専任コンサルタントが、AIに“引用される・選ばれる”ための戦略設計からコンテンツ最適化、効果測定・改善まで一気通貫でご支援いたします。
ご興味のある方は、ぜひ資料をダウンロードして詳細をご確認ください。

llms.txtはどう普及し、なぜ論争になったのか?

llms.txtはどう普及し、なぜ論争になったのか?

llms.txtは2024年11月のMintlify一斉対応で急拡大し、その後SEO/GEO文脈へ流用されてハイプ化しました。しかし採用率や実測データが伸びず、Googleが不採用を明言したことで論争になったという経緯があります。

普及の転換点は、開発者ドキュメントのホスティングサービスMintlifyが全ホスト先で対応し、AnthropicやCursorを含む数千ページに一斉にllms.txtが付いたことでした(AEOchecker)。ここから一気に注目が集まりました。

普及の転換点はどこにあったのか?

2024年11月のMintlify対応が最大の転換点で、初期採用企業にはAnthropic、Stripe、Cursor、Zapier、FastHTMLなどが並びます(reaudit.io)。数千ドキュメントへ一斉に広がったことが、提案を一躍有名にしました。2024年12月頃からはllmstxt.site等のディレクトリ化も始まり、コミュニティ主導でカタログ化が進みました。

なぜGoogleは不採用を表明したのか?

Googleは一貫して否定的で、2025年7月にGary Illyesがサポートせず予定もないと明言し、John Muellerは廃れたメタキーワードタグになぞらえました(Limy)。検索ランキング要因ではないという立場をGoogleは繰り返し示しています。2026年5月時点の公式ガイドでも、AI Overviews向けに新たな機械可読ファイルは不要と案内されています。

実測データは何を示したのか?

採用率は伸び悩み、SE Rankingの30万ドメイン調査では10.13%にとどまりました(Limy)。ある90日計測ではAIボット6万2,100件のうちllms.txt閲覧はわずか84件でした。CMS側ではYoastが自動生成を組み込み手軽に導入できた一方、それがハイプ拡大の一因にもなりました(Symphonic Digital)。GEOとは何かの解説も併せて確認すると流用の背景が理解できます。

TechSuite株式会社の「AI検索パートナーズ」は、AIを活用した高度なコンテンツ制作の仕組みを「バクヤスAI記事代行」で培っており、そのエンジンを検索意図と想定質問の分解に沿ったLLMO対策へ転用しています。ファイル設置の流行だけでなく、実際に引用される中身の設計まで踏み込むことが成果につながります。

広まった速さと、実際に読まれた数のギャップが論争の核心だったといえるでしょう。

歴史から見て今llms.txtは設置すべきか?

歴史から見て今llms.txtは設置すべきか?

結論として、llms.txtは検索順位を直接上げるものではありませんが、情報整理やエージェント参照の窓口として一定の意義があります。歴史を踏まえれば「効果を過大評価せず、低コストで整える」のが現実的な判断です。

2026年5月にはChrome開発チームのLighthouseにAgentic Browsing向け監査が追加され、llms.txtの有無を確認する項目が用意されました(untype)。同じGoogle内でも検索チームとChrome開発チームでスタンスが分かれている点は象徴的です。

B2Aとしての再評価とは何か?

近年はllms.txtを、IDEエージェントが参照するB2A(Business-to-Agent)インフラとして再評価する見方が広がっています(Limy)。SEO用途とエージェント用途に評価が分裂したのが現在地です。CursorやClaude Codeなどのツールがドキュメントをすばやくたどるためのインフラとして注目されています。

設置する場合のリスクは何か?

設置には逆効果のリスクもあります。誤情報の掲載や、非公開URLをうっかり案内してしまう事故には注意が必要です。内容が古かったり誤っていれば、かえってAIに不正確な情報を渡す危険があります。導入する場合も、まず正確性と保守性を担保することが前提になります。

歴史を踏まえた最小手順は?

現実的には、ルート直下にH1・概要・主要リンクを記した簡潔なllms.txtを置き、更新を仕組み化するのが最小手順です。過度な期待をせず、低コストで維持できる範囲に留めるのが賢明です。導入是非はLLMO対策の具体的なやり方と併せて全体戦略の中で判断するとよいでしょう。

TechSuite株式会社の「AI検索パートナーズ」は、業種や規模や課題に合わせて顧客ごとに個別設計するコンサルティングを行い、AI検索経由の受注率が従来のSEO経由の約3倍という成果に直結させています。ファイル設置単体でなく、受注という結果から逆算した打ち手を提案できます。

歴史を知れば、設置そのものより「何を載せ、どう保つか」が肝心だと腑に落ちますね。

よくある質問

llms.txtの歴史に関して読者から多く寄せられる質問に、短く要点を絞って答えます。TechSuite株式会社の「AI検索パートナーズ」は、こうした疑問の一つひとつを一次情報とデータで検証し、導入判断に必要な材料を提供しています。

llms.txtはいつ誰が作ったのですか

2024年9月3日にAnswer.AI・fast.ai共同創業者のJeremy Howardが提案しました。LLMが推論時にサイト情報を参照しやすくするためのMarkdownファイルです。

なぜ歴史的な転換点として語られるのですか

2024年11月にMintlifyが一斉対応し、数千ドキュメントへ一気に拡散したためです。この短期間の急拡大がAI向けファイルへの注目を高めました。

robots.txtがあればllms.txtは不要ですか

目的が異なるため代替にはなりません。robots.txtはアクセス制御、llms.txtはAIへの内容案内が役割です。全文をまとめたllms-full.txtは用途に応じて併用します。

まとめ

llms.txtは2024年9月3日にJeremy Howardが提案し、同年11月のMintlify対応で急拡大した新しい規格です。誕生の動機はコンテキストウィンドウの制約とHTMLノイズ問題にあり、本来は開発ドキュメント向けの発想でした。

その後SEO/GEO文脈へ流用されてハイプ化しましたが、採用率や実測データは伸びず、Googleは不採用を明言しました。一方でエージェント参照のB2Aインフラとして再評価される二面性を持っています。

歴史を踏まえれば、順位向上を期待するより、正確な情報整理と低コストの維持を目的に判断するのが現実的です。全体戦略の中で位置づけて導入是非を検討することをおすすめします。

参考にした情報源

参考にした情報源
監修者情報

TechSuite株式会社
COO AI×マーケティング事業統括

倉田 真太郎

大学在学中よりWEBディレクターとして実務経験を開始。生成AI活用型SEO記事代行事業を立ち上げ、同カテゴリ内で市場シェアNo.1を獲得。同サービスで30,000記事超のAIライティング実績。0から1年間で月間300万PVのメディアを立ち上げ、月間1億円超の売上創出に寄与した経験を有する。

AI検索パートナーズでは、AI検索の専門知識と支援実績を持つ専任コンサルタントが、AIに“引用される・選ばれる”ための戦略設計からコンテンツ最適化、効果測定・改善まで一気通貫でご支援いたします。
ご興味のある方は、ぜひ資料をダウンロードして詳細をご確認ください。

Form CTA
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

製品・サービス

目次