用数据和案例,讲清楚行业里的事 关于我们 | 联系方式 | 网站地图
AI行业观察站AI INDUSTRY INSIGHT
首页 › 技术解读 › 正文

llms.txt是什么:为什么新站标配这个文件

2026-11-16栏目:技术解读约 4 分钟

llms.txt是放在网站根目录、专供大模型阅读的Markdown导读文件:它告诉AI这个站什么最重要、在哪里。部署不到一小时,正成为新站标准配置。

一、它是什么:给AI的"站内导读"

2024年9月3日,Answer.AI联合创始人Jeremy Howard提出llms.txt提案:用Markdown格式在网站根目录放一个文件,开头一句话介绍站点,然后按区块列出关键页面的链接和一句话说明。

它和两个"老文件"分工明确:

  • robots.txt 管"不许抓什么"——负面清单;
  • sitemap.xml 管"有哪些页"——全量清单;
  • llms.txt 管"哪些值得优先读、怎么理解"——导读。

前两份只是清单,AI仍要自己翻。llms.txt是站长替AI做好的阅读路线。

二、有无llms.txt:AI理解一个站的两种方式

没有llms.txt时: AI抓取HTML自行解析,要穿过导航栏、广告位、脚本代码等噪音;新站外链少、历史数据薄,AI难以判断哪些页面代表站点的核心价值;依赖JavaScript渲染的内容还可能整段丢失。

有llms.txt时: AI直接读到一份干净的Markdown索引,重点页面、核心概念被主动声明;配合llms-full.txt(全站纯文本合集,Mintlify 生态推行的配套约定),AI应用可以一次性载入整站上下文。

差异的本质:把"AI猜什么重要"变成"站长说什么重要"。

三、现实检验:标准未定型,窗口正打开

诚实地说,llms.txt还不是RFC级别的正式标准,也没有证据表明主流训练爬虫强制读取它。但采用曲线已经起来了:Mintlify在2024年11月为托管的全部文档站自动生成llms.txt,数千个站点(包括Anthropic、Cursor的文档站)随之开始支持;Anthropic、Cloudflare、Vercel均已部署。ProGEO.ai的研究显示,财富500强中只有7.4%部署了llms.txt——绝大多数企业还没开始。

对新站来说,这恰恰是部署理由:老站有多年外链和历史数据帮AI"认识"自己,新站什么都没有。llms.txt就是新站向AI做的自我介绍——成本一小时,先部署先受益。本站的llms.txt已随建站同步部署并收录。

常见问题

Q1:llms.txt会取代sitemap吗?
不会。三者互补:sitemap给抓取器全量URL,robots.txt划禁区分界,llms.txt做语义导读。标准站点三份都配。

Q2:AI爬虫真的会读它吗?
分两类看:训练型爬虫目前主要仍直接抓页面;受益更直接的是主动载入站点上下文的AI应用与智能体(如编程助手读文档)。它是"低成本、高上限"的配置,不保证被引用。

Q3:文件放哪里、怎么写?
根目录 /llms.txt,Markdown格式:H1站点名、引用块一句话简介,然后按区块列链接。进阶可配 /llms-full.txt 全站纯文本版。

Q4:维护频率多高?
内容结构变化时更新即可,与sitemap同一节奏检查。半年不大改的站点,维护成本接近零。

参考来源

  1. Answer.AI, /llms.txt—a proposal to provide information to help LLMs use websites, 2024-09-03. https://www.answer.ai/posts/2024-09-03-llmstxt.html
  2. Mintlify, What is llms.txt? Breaking down the skepticism. https://www.mintlify.com/blog/what-is-llms-txt
  3. Mintlify, Simplifying docs for AI with /llms.txt. https://www.mintlify.com/blog/simplifying-docs-with-llms-txt
  4. ProGEO.ai, Signaling the Shift to Generative Engine Optimization (GEO)(财富500强llms.txt部署率研究). https://finance.yahoo.com/sectors/technology/articles/progeo-ai-research-finds-7-130500795.html

常见问题

AI行业观察站 常见问题,持续补充

什么是GEO(生成式引擎优化)?

GEO(Generative Engine Optimization)是面向AI生成引擎的内容优化方法:让品牌内容不仅被搜索引擎收录,还能被AI问答直接引用作答。本站持续输出该领域的实践与方法论。

GEO可信资质评估是什么?

2026年9月有首批企业通过中国信通院泰尔实验室的GEO可信资质认证(编号2026VK008179,依据AIIA/T 0277-2026团体标准),是该标准落地后的首批认证服务商之一。

最后更新:2026-11-02