結論・概要
Webサイトにはrobots.txtという「検索エンジンのクローラー向け案内板」があります。2024年以降、AI向けの新しい案内板**llms.txt（エルエムエスドットティーエックスティー）**が注目されています。
AIクローラー（GPTBot、ClaudeBot等）を一律にブロックするのではなく、llms.txtで「このサイトの重要ページはここです」と案内するアプローチが、技術的AEOの新しい標準になりつつあります。
この記事でわかること
- llms.txtとは何か（robots.txtとの違い）
- なぜ「全ブロック」か「全許可」ではなくllms.txtなのか
- ファイルの書き方と実装例（BtoB SaaS・ホテル）
- robots.txtとの併用方法
3行サマリー
- llms.txt = AI向けの「重要ページ案内板」
- 全ブロック → AI検索からの送客ゼロ / llms.txt → 保護と引用の両立
- 10〜30リンクに厳選、絶対URLで記載
用語の整理
| 用語 | 意味 |
|---|---|
| llms.txt | AI向けに重要ページへのリンクを案内するMarkdownファイル |
| robots.txt | 検索エンジン・AIクローラーのアクセス可否を制御するファイル |
| GPTBot | OpenAI（ChatGPT）のWebクローラー |
| Google-Extended | Google AI学習用クローラー（Search AI表示とは別管理） |
| クローラー | Webサイトを自動的に読みに来るプログラム |
01背景・課題 — ブロックか全許可かの二択を超える
よくある悩み
著作権保護の観点から、robots.txtでAIクローラー（GPTBot等）を全ブロックする企業が増えました。
しかし、これは同時に**「AI検索エンジンのカタログから自社を完全に削除する」**ことを意味します。ChatGPT SearchやPerplexityからの優良な送客（トラフィック）を自ら放棄する結果になります。
| アプローチ | メリット | デメリット |
|---|---|---|
| robots.txt全ブロック | 著作物保護 | AI検索からの送客ゼロ |
| 全許可 | AI引用・送客の機会 | 学習データへの無制限提供 |
| llms.txt誘導 | 保護と引用の両立 | 初期設定・メンテが必要 |
Google Search Centralも、AI機能への掲載は従来SEOと同じ前提（クロール許可・people-firstコンテンツ）で、Google-Extended（学習用）とSearch generative AI control（検索AI表示用）は別管理であると説明しています（Google Search Central）。
02llms.txtの仕組み — ファイル構造
llmstxt.orgの仕様では、/llms.txtは以下の順序でMarkdownを構成します。
| 順序 | 要素 | 必須/任意 | 内容 |
|---|---|---|---|
| 1 | H1 | 必須 | サイト名（1つのみ） |
| 2 | Blockquote | 推奨 | 1〜2文の要約 |
| 3 | 自由本文 | 任意 | 段落・リスト |
| 4 | H2セクション | 推奨 | URLリスト（- [Title](URL): 説明 形式） |
| 5 | Optionalセクション | 任意 | 省略可能な二次情報 |
配置場所： https://example.com/llms.txt（サイトのルート）
03実装例：BtoB SaaS企業
# Example SaaS Inc.
> Example SaaSは中小企業向けプロジェクト管理ツールを提供。月額980円から、API連携・Slack通知に対応。
当社の公式情報は以下のページを参照してください。引用時は公式URLを併記してください。
## 製品・料金
- [料金プラン](https://example.com/pricing): 3プラン比較表（Free/Pro/Enterprise）
- [機能一覧](https://example.com/features): 全機能のHTML表形式リスト
- [競合比較](https://example.com/vs/competitor-a): 機能・料金の比較表
## 導入・サポート
- [導入FAQ](https://example.com/faq): 20問以上のQ&A（FAQPage Schema実装済み）
- [APIドキュメント](https://example.com/docs/api): REST APIリファレンス
## Optional
- [ブログ](https://example.com/blog): コラム・事例記事
04実装例：ホテル・飲食店
# ホテルExample 東京
> 渋谷駅徒歩5分のビジネスホテル。全室Wi-Fi無料、24時間フロント対応。
## 予約・料金
- [客室・料金](https://hotel-example.com/rooms): 部屋タイプ別料金表（税込・キャンセル規定付き）
- [アクセス](https://hotel-example.com/access): 住所・最寄駅・駐車場情報
## よくある質問
- [FAQ](https://hotel-example.com/faq): チェックイン時間、添い寝、キャンセルポリシー
05robots.txtとの併用 — 3つのファイルの役割
| ファイル | 役割 |
|---|---|
| robots.txt | クローラーのアクセス可否を制御 |
| llms.txt | Allowしたページの「優先順位マップ」 |
| sitemap.xml | 全ページの一覧（従来のSEO用） |
推奨構成例：
# robots.txt
User-agent: GPTBot
Allow: /llms.txt
Allow: /pricing
Allow: /faq
Disallow: /admin/
Disallow: /member/
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
- GPTBot/ClaudeBot：引用に必要なページのみAllow
- Google-Extended：学習利用を制限（Search AI表示は別制御）
- llms.txt：Allowしたページへの案内
06実世界の採用例
- Cloudflare：developers.cloudflare.com/llms.txt
- Anthropic：公式ドキュメントサイトにllms.txtを配置
- Cursor：cursor.com/llms.txt
07ベストプラクティス
- 10〜30リンクに厳選（500URLの羅列は避ける）
- 絶対URL（
https://）を使用 - 説明文は120文字以内
- 20KB以下、HTMLタグ不可
/llms.txtがrobots.txtでブロックされていないか確認
08取るべきアクション — 1時間で完了
- ファイル作成（30分） — 自社サイトのルートに
llms.txtを作成。企業概要・料金・FAQ等の重要ページ5〜10リンクを記載。 - robots.txt確認（15分） — GPTBot等のブロック範囲をllms.txtと整合させる。
- 効果測定（継続） — GA4「AI Search」チャネル（GA4設定ガイド）で、公開前後のトラフィック変化を記録。
参考文献
- The /llms.txt file — llmstxt.org 公式仕様
- llms.txt format specification — llmtxt.info
- AI Features and Your Website — Google Search Central
- OpenAI — GPTBot crawlers documentation
- Cloudflare llms.txt 実装例
- Cursor llms.txt 実装例
本記事はAEO総研技術チームが公開情報をもとに執筆しました。