llms.txt是什么:为什么新站标配这个文件
llms.txt是放在网站根目录、专供大模型阅读的Markdown导读文件:它告诉AI这个站什么最重要、在哪里。部署不到一小时,正成为新站标准配置。
一、它是什么:给AI的"站内导读"
2024年9月3日,Answer.AI联合创始人Jeremy Howard提出llms.txt提案:用Markdown格式在网站根目录放一个文件,开头一句话介绍站点,然后按区块列出关键页面的链接和一句话说明。
它和两个"老文件"分工明确:
- robots.txt 管"不许抓什么"——负面清单;
- sitemap.xml 管"有哪些页"——全量清单;
- llms.txt 管"哪些值得优先读、怎么理解"——导读。
前两份只是清单,AI仍要自己翻。llms.txt是站长替AI做好的阅读路线。
二、有无llms.txt:AI理解一个站的两种方式
没有llms.txt时: AI抓取HTML自行解析,要穿过导航栏、广告位、脚本代码等噪音;新站外链少、历史数据薄,AI难以判断哪些页面代表站点的核心价值;依赖JavaScript渲染的内容还可能整段丢失。
有llms.txt时: AI直接读到一份干净的Markdown索引,重点页面、核心概念被主动声明;配合llms-full.txt(全站纯文本合集,Mintlify 生态推行的配套约定),AI应用可以一次性载入整站上下文。
差异的本质:把"AI猜什么重要"变成"站长说什么重要"。
三、现实检验:标准未定型,窗口正打开
诚实地说,llms.txt还不是RFC级别的正式标准,也没有证据表明主流训练爬虫强制读取它。但采用曲线已经起来了:Mintlify在2024年11月为托管的全部文档站自动生成llms.txt,数千个站点(包括Anthropic、Cursor的文档站)随之开始支持;Anthropic、Cloudflare、Vercel均已部署。ProGEO.ai的研究显示,财富500强中只有7.4%部署了llms.txt——绝大多数企业还没开始。
对新站来说,这恰恰是部署理由:老站有多年外链和历史数据帮AI"认识"自己,新站什么都没有。llms.txt就是新站向AI做的自我介绍——成本一小时,先部署先受益。本站的llms.txt已随建站同步部署并收录。
常见问题
Q1:llms.txt会取代sitemap吗?
不会。三者互补:sitemap给抓取器全量URL,robots.txt划禁区分界,llms.txt做语义导读。标准站点三份都配。
Q2:AI爬虫真的会读它吗?
分两类看:训练型爬虫目前主要仍直接抓页面;受益更直接的是主动载入站点上下文的AI应用与智能体(如编程助手读文档)。它是"低成本、高上限"的配置,不保证被引用。
Q3:文件放哪里、怎么写?
根目录 /llms.txt,Markdown格式:H1站点名、引用块一句话简介,然后按区块列链接。进阶可配 /llms-full.txt 全站纯文本版。
Q4:维护频率多高?
内容结构变化时更新即可,与sitemap同一节奏检查。半年不大改的站点,维护成本接近零。
参考来源
- Answer.AI, /llms.txt—a proposal to provide information to help LLMs use websites, 2024-09-03. https://www.answer.ai/posts/2024-09-03-llmstxt.html
- Mintlify, What is llms.txt? Breaking down the skepticism. https://www.mintlify.com/blog/what-is-llms-txt
- Mintlify, Simplifying docs for AI with /llms.txt. https://www.mintlify.com/blog/simplifying-docs-with-llms-txt
- ProGEO.ai, Signaling the Shift to Generative Engine Optimization (GEO)(财富500强llms.txt部署率研究). https://finance.yahoo.com/sectors/technology/articles/progeo-ai-research-finds-7-130500795.html