ECFreakECの改善を、比較から実装まで。
メニュー閉じる

AIのクローラーと案内ファイル（llms.txtなど）

M08 対象: Shopify店舗 課題: 検索・AIへ正しい情報を出す 提案

Shopifyは/agents.md、/llms.txt、/llms-full.txtを標準で提供しています。有料アプリは要りません。最初にするのは、今の応答と、テーマにある独自のテンプレートとの違いの確認で、robots.default_groupsは残します。

店舗側の対策です。 対象は、読者のShopifyの店の設定・テーマ・商品データです。今の状態を確かめ、変える所を最小にし、使い勝手が落ちていないかを確かめてから、店の持ち主が決めて本番に反映します。

どのモジュールも手順の提案です。本番に反映する前に、テーマのコピーや例のデータで試します。

1. 何を確認するか

今のrobots.txt、3つの案内ファイルのURL、独自のテンプレート、学習についての方針を確かめる

  • 店の/agents.md、/llms.txt、/llms-full.txtの今の応答を記録し、テーマに独自のテンプレートがあるかを見ます。
  • 今のrobots.txt.liquidとdefault_groupsの中身、学習用のbotと検索用のbotの扱いを確かめます。
  • 店の持ち主の学習の方針（許可・不許可・まだ決めていない）を先に聞きます。決まるまで、今の設定は変えません。

2. 何を変えるか

Shopifyの標準の提供を残し、要る違いだけを反映して、robots.default_groupsを残す

  • 標準で提供されるファイルはそのまま使います。違いが要る場合だけagents.md.liquidかURLごとのテンプレートを直し、3つのURLの応答を確かめ直します。
  • default_groupsを残したまま、robots.txtには違いだけを足します。検索用のbot（OAI-SearchBot、Claude-SearchBot）と学習用のbot（GPTBot、ClaudeBot）は別々に設定します。
  • 商品ごとの価格・在庫はCatalogと商品情報で管理し、AI向けの案内ファイルへ手で写しません。

3. 使い勝手を守ること

AI向けの対策で、お客さんの普段の閲覧や店内検索を妨げない

  • AI向けの設定で、お客さんの普段の閲覧や店内検索を妨げません。
  • 公開しない情報がAI向けの案内ファイルに入っていないことを、公開の前に確かめます。

4. テスト

3つのURLの応答、検索用のbotと学習用のbotを別々に設定できていること、公開しない情報が入っていないことの3点を確かめます。

  1. agents.md・llms.txt・llms-full.txtの応答
  2. 検索用のbotと学習用のbotを別々に設定する
  3. 公開しない情報が入っていない

試した環境と日付を記録し、PC・スマートフォン・キーボード操作での違いを残します。

5. できあがるもの

botの方針の一覧、3つのURLの違い、変える手順と戻す手順。llms.txtを作るだけで終わらせない

  • botの方針の一覧。botの名前・用途（検索・学習・利用者の操作）・今の設定・決めた日をまとめます。
  • 3つのURLの変更の前後の違いと、元に戻す手順。

標準で提供される案内ファイルとrobots.txtの関係

Shopifyの店では/agents.md、/llms.txt、/llms-full.txtが標準で提供されます。新しいアプリを入れたりテーマで上書きしたりする前に、まず3つのURLの応答と、テーマにある独自のテンプレートとの違いを確かめます。有料アプリは要りません。

クローラーをrobots.txtで止めても、Catalogの配信は止まりません。Catalogは、AIが商品を扱うときの主な経路で、公開のWebを巡回する仕組みや、案内用のMarkdownとは別に管理されています。Catalogの配信を、robots.txtだけで止めたとは考えません。

検索用のbot（OAI-SearchBot、Claude-SearchBot）と学習用のbot（GPTBot、ClaudeBot）、利用者の操作で動くbot（ChatGPT-User、Claude-User）は、用途が違います。学習を許可すれば検索の順位が上がる、という説明はしません。

無料・標準機能で足りる場合

Shopifyの標準の機能と今の設定で足りる場合は、アプリを追加しません。足りるなら、それで終わりです。入れているアプリが同じ役割を持つなら、そのアプリが出しているものを確かめてから、重なっている分を外します。

このモジュールで扱わないこと

  • llms.txtを作るだけの対策は扱いません。Google検索はllms.txtを順位や掲載に使いません。

店の持ち主が決めてから行う操作

次の操作は、店の持ち主が対象と範囲を確かめて決めてから行います。それまではテーマのコピーやプレビューで作業を続け、本番の設定・テーマ・データには触れずに、差分と戻す手順だけをそろえておきます。決めるのは一件ずつです。

  • robots.txt.liquidを変える
  • agents.md.liquidやURLごとのテンプレートを足す・変える
  • 学習用のbotを許可するかどうかを決めて本番へ反映する
どのモジュールでも店の持ち主が決める操作
  • テーマの変更を本番に反映して公開する
  • 商品データやメタフィールドを本番でまとめて更新する
  • サイトマップ・robots.txt・AI向けの案内ファイル（/llms.txtなど）を変える
  • 販売チャネルやAI向けのチャネルを有効にする
  • 入れているアプリを止める・削除する

作業の順番

  1. 本番の管理権限は使わず、書き出したデータ・テーマのコピー・例のデータで、今の状態を一覧にします。
  2. テーマの版を控え、標準の機能で足りることと足りないことを分けます。
  3. 変える所を最小にした差分、テスト用のデータ、元に戻す手順をそろえます。
  4. PC・スマートフォン・キーボード操作で、表示とデータの変化を記録します。
  5. 店の持ち主が変更を決めてから、本番に反映します。

進め方とおすすめのサービス

どの方法で進めますか

運営者に相談する（有料）

スポット相談 60分 10,000円で進め方を運営者に相談でき、ほかの相談は内容を伺って見積もります（申し込みの受付は準備中）。

相談の料金と流れを読む

ほかの進め方を見る（1件）
  • アプリ・サービスを入れる 店の条件を選ぶと、何から比べればよいかが分かります。 条件を比べる
  • 運営者に相談する（有料） スポット相談 60分 10,000円で進め方を運営者に相談でき、ほかの相談は内容を伺って見積もります（申し込みの受付は準備中）。 相談の料金と流れを読む

出典と確認日