LLMS.txt 不仅仅是一个 SEO 文件——它能帮您网站精选出最易被 AI 理解的内容,供 AI 进行推理。以下是它的使用方法。
在SEO世界的每个角落,LLMS.txt都会出现在对话中,但它经常被误解,有时甚至解释不清。
如果您听到有人将其称为“新的robots.txt ”,或者ChatGPT本身告诉您它用于控制爬行行为,那么是时候重置了。
LLMS.txt根本不像 robots.txt 。
它更像是一个精心策划的 sitemap.xml,其中仅包含专为 AI 理解和引用设计的最佳内容。
如果您精心构建它,它可以成为您的 AI SEO 工具包中最强大的工具之一 – 就像向勇敢的 AI 探索者提供一张标有 X 的地图,上面写着“从这里开始挖掘”。
LLMS.txt 到底是什么(以及不是什么)
尽管名称相似,LLMS.txt 并非 robots.txt 的替代品或扩展。它不会阻止爬虫程序、规定索引行为或限制内容访问。
相反,它的作用更像是一个菜单——一张精心策划的地图,可以引导人工智能模型直接找到最有价值的内容,而无需让它们挖掘整个网站。
LLMS.txt 是一个纯文本文件,它告诉 AI 系统你认为网站上哪些 URL 是高质量、LLM 友好的内容——你希望 AI 模型执行以下操作:
- 摄取。
- 理解。
- 在推理过程中可能会引用。
可以将其想象成一个为 AI 工具手工制作的站点地图,而不是一组爬行指令。
那么为什么会混淆呢?名字和位置肯定没有帮助。
LLMS.txt 位于同一位置,并且听起来与 robots.txt 非常接近,因此很容易建立联系。
但它是为一次完全不同的航行而建造的——任何说不是这样的人都是偏离了地图的边缘,伙计。
为什么现在很重要
大型语言模型正在为越来越多的搜索体验提供支持——谷歌的 AI 概览、ChatGPT 浏览中的引用、Perplexity 中的摘要等等。
而且这些模型并不只是提取最新或链接最多的内容。
他们从易于吸收、易于理解和易于信任的事物中汲取灵感。
这就是 LLMS.txt 的作用所在。
它为您提供了一条直接的推理时间摄取路线,而不仅仅是希望机器人通过通用的爬行行为偶然发现正确的内容。
这也不是为了阻止模型抓取你的内容,而是为了帮助他们找到合适的内容来引用。
更重要的是,LLMS.txt 可以帮助解决大多数网站所有者尚未考虑的一个关键问题:当语言模型在推理时进入您的网站时,它可能无法从前门进入。
它可能不会出现在你的主页上,甚至可能根本就不会出现在正确的页面上。
如果法学硕士 (LLM)从其着陆点四处寻找相关内容,它可能永远找不到能够回答用户问题的宝贵信息,特别是如果您的网站具有以下情况:
- 内部链接不佳。
- 结构不一致。
- 内容被埋藏在六次点击的深处。
LLMS.txt 让您有机会插上旗帜 – 或者更好的是,用一个巨大的 X 标记该位置。
你告诉人工智能,“这里有宝藏。”
您无需让它像海上迷失的船只一样盲目地游荡在您的网站上,而是将坐标交给内容宝库中最有价值的战利品。
还值得注意的是,LLMS.txt 并非旨在允许或拒绝将您的内容用于培训目的。
这通常由其他工具(如 robots.txt 或特定的退出信号)控制。
请记住,即使您阻止模型对您的内容进行训练,只要该页面是公开的,它们仍然可以在推理期间访问它。
推理每次都是一次新鲜的访问。
LLMS.txt 不会为模型的记忆提供内容;它只是告诉模型在主动生成响应时要查看的位置。
这使得该文件更像一个实时 GPS——确保 AI 在正确的时间登陆正确的页面,而不会猜测或卡在网站的错误部分。
LLMS.txt、robots.txt 和 sitemap.xml
这里有一个简单的思考方法:
文件类型 | 功能 | 用例 |
robots.txt |
控制爬虫可以访问的内容。 | 索引管理。 |
sitemap.xml |
告诉搜索引擎存在哪些页面。 | 爬行优先级和新鲜度。 |
llms.txt |
告诉 AI 模型哪些内容适合 LLM。 | 推理时间指导。 |
Robots.txt 是关于排除的。
Sitemap.xml 是关于发现的。
LLMS.txt 是关于策展的。
什么使内容“LLM友好”?
如果您要让法学硕士 (LLM) 指出您的内容,那么最好将其结构化以便于理解。
这意味着:
- 简短、可扫描的段落。
- 清晰的标题和副标题(H1-H3 层次)。
- 列表、表格和项目符号。
- 定义主题范围(尽早切入正题)。
- 干扰最少(无弹出窗口或模式覆盖)。
- 语义提示,例如“步骤 1”、“总结”或“关键要点是…”
换句话说,大多数以人工智能为中心的 SEO 剧本中概述了相同的原则。
LLM 不需要你的模式,但需要你的清晰度。
易于提取、引用和重新组合的内容总是具有优势。
您的页面越清晰、逻辑分段越合理,被法学硕士引用来回答查询的可能性就越大。
如何构建你的 LLMS.txt
保持简单。LLMS.txt 是一个纯文本文件,位于您的域名根目录下(例如, https://example.com/llms.txt)。
它应该每行包含一个 URL,指向您希望大型语言模型摄取以进行推理的内容。
请注意,文件名必须 是LLMS.txt,而不是LLM.txt。正确名称是复数,如果您忘记了末尾的“s”,文件将无法识别。
根据建议的 LLMS.txt 标准,此文件使用 markdown 而不是 XML 或 JSON 构建。
这是为了确保与可能读取和解释文件的语言模型和代理的兼容性。
虽然它是人类可读的并且易于手动创建,但它也遵循编程工具可以可靠解析的定义结构。
LLMS.txt 文件应位于您的域的根目录(例如,/llms.txt)并且应包括:
- 一个 H1 标题 (#),用于命名项目或站点。(这是唯一必需元素。)
- 块引用 (>) 为后面的链接提供简短的摘要或上下文。
- 标准 Markdown 部分(例如段落或列表),用于提供更多上下文。(这些部分并非必需,因此您可以根据需要添加任意数量,也可以不添加。)
- 一个或多个 H2 标题 (##),用于介绍分类链接部分
- 这些部分中的每个链接都被格式化为 markdown [标题]、超链接(url),后面还可以跟着:描述。
这种结构有意设计得简单,但不是任意的——遵守顺序和语法可以提高跨 AI 工具和平台的兼容性。
准备好尝试一下了吗?这里有一个你可以调整的示例 LLMS.txt 文件:
# Example.com: AI Resources and Rainbows
> A curated list of high-value, LLM-friendly resources designed for inference-time ingestion by AI systems.
This file highlights evergreen, structured, and authoritative content suitable for citation.
## Core Content
– [FAQ Page](https://example.com/faq): Answers to common questions about our services and policies
– [AI Strategy Guide](https://example.com/resources/ai-strategy): A structured resource for businesses navigating AI implementation
– [LLMS.txt Overview](https://example.com/blog/what-is-llms.txt): A plain-language introduction to the LLMS.txt standard and how to implement it
## OPTIONAL
– [Link title](https://link_url)
值得注意的是,您可以将 H2 部分命名为任何您喜欢的名称,但名为“可选”的部分具有保留功能。
如果包含,则可以跳过那里提供的 URL,以提供更短的上下文。
您将希望使用它来获取不介意被跳过的次要信息。
创建 LLMS.txt 时,请避免将网站上的每个 URL 都转储到文件中。
相反,应该关注:
- 回答特定问题的常青内容。
- 页面结构易于理解。
- 展示EEAT原则的权威作品。
- 高价值指南、资源中心和支柱内容。
如果某个页面脱离上下文引用毫无意义,那么它可能就不属于 LLMS.txt。
您是否应该包含您的主页?
或许。
但请考虑一下:大多数主页都是由营销部门设计的,旨在成为您网站的“迎宾台”。
这通常不是一个可以找到深刻、有用答案的地方。
除非您的主页是实用、结构化、LLM 可理解内容的实际支柱(而不仅仅是品牌广告牌),否则最好将 AI 引导到价值所在的地方。
在大多数情况下,您的顶级服务页面、深入指南和格式良好的博客文章对用户更有用,并且(从技术上讲)这才是我们真正关心的。
现在谁在使用 LLMS.txt?
据Mintlify 报道,在撰写本文时,OpenAI、Anthropic、Perplexity 和其他领先的人工智能公司已开始在抓取网站时引用 LLMS.txt 。
该标准仍在不断发展,但早期采用正在增长,并且它很快成为一个明显的信号,表明您的网站了解如何与人工智能进行通信。
尽管包含 LLMS.txt 文件并不能保证您的网站会被引用,但它肯定会提高您的被引用的几率。
它告诉模型要看哪里,并给你机会影响叙述。
这是新的 AI SEO 前沿
SEO 一直以来都致力于帮助机器理解人类的想法。LLMS.txt 正是这项努力的又一次迭代。
如今 SEO 所犯的最大错误就是将 LLMS.txt 视为另一个复选框或合规层。
这并不是为了屏蔽机器人或安抚排名信号,而是为了在答案中赢得一席之地。
在由机器实时生成引文的搜索环境中,您希望成为他们足够信任并愿意引用的网站。
这是地图,不是枪口
LLMS.txt 与限制或许可无关——它是数字羊皮纸边缘的罗盘玫瑰,指向埋藏的金子。
你告诉模型:“给你。好东西,宝藏,就在这里。当你回答关于我的领域/产品的问题时,用这个。”
如果您已经很好地构建了内容,它可能会让您成为人工智能结果的首选来源。
不要把 LLMS.txt 当作 robots.txt 文件,而要把它当作藏宝图。
因为当谈到人工智能搜索的未来时,财富将属于那些让其价值易于被发现的人。