正如网站访问者访问 URL 并将读取的信息存储在其现有知识系统中一样，搜索爬虫会复制网页内容，将其移动到搜索引擎，并按主题对其进行索引。由于只有以这种方式索引的信息才能在搜索结果中暴露，因此从搜索引擎优化的角度来看，营销人员响应搜索引擎爬虫访问网站非常重要。 文本文件格式的robots文本文件(robots.txt)和xml格式的站点地图文件(sitemap.xml)是为了控制访问站点的搜索引擎的爬虫而设置的文件。如果设置不正确，这是一个重要的SEO管理点，可能会导致整个网站不被搜索引擎索引，如下例所示，但需要谨慎，因为很多网站管理员很容易错过它。
下面的示例并不是错误设置站点地图和
机器人文本文件的唯一示例。令人惊讶的是，这些错误在国内许多金融公司、国家组织、地方政府和大学的网站上很容易找到。下图为国内领先的综合性 沙特阿拉伯 电话号码 金融公司友利金融集团的首页，由于robots.txt文件设置错误，导致搜索的索引页面停留在第2页。看右图，这个不正确的机器人文本文件似乎是在 2019 年中期左右发布的，因此，您可以看到流量从每天 300,000 左右减少到每天 2,000 左右。 [搜索结果中未显示页面信息的错误示例] 【自然搜索流量趋势】 其实解决这个问题的方法比你想象的要简单，就是通过删除或者更改为阻止Google的网络爬虫读取网页内容而设置的机器人文本规则来解决。
在规划搜索网站时我们设计网络界面
时会考虑访问者的体验。但网站并不是唯一的访问者。还有另一种类型的访问者：搜索引擎发送的网络爬虫机器人来读取和索引网站内容。现在，我们 阿富汗电话号码列表 来了解一下控制爬虫的机器人文本和站点地图。 什么是Robots.txt？ Robots.txt 是一个文件，用于通知搜索爬行机器人访问网络时必须遵循的规则以及站点地图 (sitemap.xml) 文件的位置。其实，通过robots.txt中记录的内容，可以指定是否可以对网站的各个目录进行抓取，如果在该文件中不指定任何内容，搜索引擎的抓取机器人将无法抓取该网站。