robots.txt与llms.txt是否指向同一文件?
订阅
robots.txt规范搜索引擎爬虫访问权限,llms.txt则为AI大模型提供网站内容说明,二者用途不同、适用对象各异。
不是同一个文件,两者也不一样。
robots.txt:管能不能爬
主要是给搜索引擎爬虫用的。作用就是告诉爬虫,网站哪些页面可以抓取、哪些页面不要抓取,相当于网站的 “访客准入规则”。
llms.txt:管看懂什么内容
专门面向AI大模型。相当于给AI准备的网站说明书,告诉AI网站主要讲什么、重点页面有哪些,帮助AI读懂网站内容。
阅读全文

请先 登录后发表评论 ~