01
llms.txt 不是正式标准,别指望立竿见影,它是提高被理解概率的名片,不是保证。
技术文章库TECH NOTES / 方法论
AI 爬虫比人类读者更早到达你的站点,这是日志里可以验证的事实。通过站点根目录的 llms.txt 和每篇文章的 .md 版本,把内容对机器无损耗地敞开,就能在传统 SEO 之外建立第二条入口,而成本不到一天工时。
问题QUESTION
个人网站如何进入 AI 问答这条新入口,而不只依赖传统 SEO?
先说结论:我把个人网站改造成 AI 可读的结构,不是赶时髦,而是因为日志里能翻出证据。从 9 月 14 日到 11 月 8 日,13 万行访问日志里,ClaudeBot 来了 423 次,GPTBot 48 次,ChatGPT-User 14 次,PerplexityBot 和 OAI-SearchBot 各 14 次,CCBot 8 次,合计 521 次。当人们越来越多地通过 ChatGPT、Claude、Perplexity 获取信息,你的内容能不能被这些系统干净地读懂,决定了它有没有机会出现在答案里。这是传统 SEO 之外的第二条入口,而且现在入场的人还不多。
读数KEY FIGURES
AI 爬虫 · 2026-09-15 至 11-08
AI 爬虫总访问量
521次
9-15 至 11-08,6 种爬虫合计
Googlebot 抓取
1149次
同期搜索引擎,约 AI 的 2.2 倍
最长连续断档
21天
10-09 至 10-29,一次都没有
访问日志总量
13万行
9-14 至 11-08 全量统计
分布DAILY ACTIVITY
55 天
约 157 字
但真正值得记下来的是断档。这 521 次访问集中在 9 月中旬到 10 月上旬,几乎每天都来,9 月 15 日高峰那天来了 109 次。然后从 10 月 9 日到 10 月 29 日,整整 21 天,一次都没有。10 月 30 日回来抓了 16 次,之后到现在又断了 9 天。
同期 Googlebot 来了 1149 次,是 AI 爬虫合计的两倍多。所以别把它误读成「AI 比搜索引擎先到」——至少在抓取量上不是。真正的结论要冷静得多:AI 爬虫是抓完就走,你不更新,它就不回来。
约 204 字
第一个动作是提供 llms.txt。它放在站点根目录,作用类似 robots.txt,但服务对象是语言模型。文件用 Markdown 写,介绍站点是什么、有哪些核心内容、每篇文章的地址。AI 系统抓到这个文件,就能低成本地理解你的站点结构和内容地图,而不必在 HTML 里费力抽取。
第二个动作是给每篇文章提供 .md 版本。网页的 HTML 里混着导航、样式、脚本,机器要从中提取正文并不轻松。而一个干净的 Markdown 文件,标题就是标题,正文就是正文,AI 拿到就能直接用。对静态站点生成器来说,这是顺手的事——同一份内容源,同时输出 HTML 和 Markdown,成本几乎为零。
约 191 字
传统 SEO 是一条拥挤的路,个人站点很难在大平台和内容农场之间抢到排名。但 AI 问答是一条新通道:AI 引用来源时,更在意内容本身是否清晰、结构是否干净,而不是你的域名权重和外链数量。同样一份内容,在搜索结果里可能排在第三页,在 AI 的答案里却可能被直接引用。对小站点来说,这是难得的平权机会。
而且这件事的成本极低。llms.txt 是一个文本文件,.md 版本是一次构建配置,加起来不到一天的工时。用极低的成本,换取一条正在增长的入口,这笔账怎么算都划算。
约 230 字
第一,llms.txt 目前还不是正式标准,只是社区提议。别指望放上它就立刻被所有 AI 引用,它更像一张递出去的名片,提高被理解的概率,而不是保证。
第二,别在 robots.txt 里顺手屏蔽 AI 爬虫。很多人出于内容保护的考虑屏蔽了 GPTBot、ClaudeBot,这完全合理,但要清楚:屏蔽的同时也关闭了这条入口。开放和防抓取只能二选一,先想清楚你更想要哪个。
第三,.md 的生成必须自动化。用静态站点生成器在同一次构建里输出两个版本,一旦需要手工维护第二份文件,这件事就坚持不下去。
第四,别为 AI 堆砌关键词。AI 读的是语义,不是关键词密度。把内容写清楚、结构理干净,比任何优化技巧都有效。
约 93 字
最后要泼一盆冷水:AI 可读只是把门打开,门打开之后有没有人进来,取决于内容本身有没有被引用的价值。llms.txt 和 .md 版本解决的是机器能不能读懂,解决不了值不值得读。先写出值得引用的东西,再把它对机器敞开,顺序不能反。
注意PITFALLS
5 条
01
llms.txt 不是正式标准,别指望立竿见影,它是提高被理解概率的名片,不是保证。
02
屏蔽 AI 爬虫和开放入口只能二选一,在 robots.txt 里防抓取的同时也关闭了这条通道,先想清楚要哪个。
03
.md 一旦需要手工维护第二份文件就注定失败,必须走构建自动化。
04
别为 AI 堆关键词,它读语义不读密度,堆砌反而稀释内容。
05
门打开后有没有人进来,还是看内容值不值得引用,顺序不能反。
洞察INSIGHT
“只有真去看过日志才知道,AI 爬虫不是偶尔来,而是天天来,而且经常比搜索爬虫和人类读者都早。AI 完全不在乎页面设计多好看,只在乎文本干不干净。同样一份内容,在搜索结果里排第三页,却可能被 AI 直接引用——这对个人站点是罕见的平权机会,因为 AI 引用时看的是内容清晰度,不是域名权重。