robots.txt是什么？
什么是robots.txt的？它是一个对页的一部分？
网站所有者使用/ robots.txt文件提供有关其网站的网络机器人的指示;这就是所谓的机器人排除协议。喜欢它的工作原理是：机器人要vists一个网站的网址，说在此之前这样做，它首创支票，发现：
User-agent: *用户代理：*
该文件名称中使用的机器人排除协议。网络机器人从服务器下载的文档根目录这个文件，并解析了什么指示，索引，而不是指数。 该文件名称的大小写并不重要，但它必须存在于文档的根。
机器人txt文件是文本文件，用于向搜索引擎发出指示由网站所有者spiders.This文件告诉搜索引擎哪些网页应该抓取，哪些网页不应该抓取。网络机器人（也就是网站漫游者，爬虫或蜘蛛已知），是程序自动遍历网页。 如谷歌搜索引擎利用它们来索引Web内容，垃圾邮件发送者利用它们来扫描电子邮件地址，他们有很多其他用途。是的robots.txt是一个八页的优化。
大多数的网站包含不应该被搜索引擎索引的网页。 管理页面，例如，ABC的“联系”页面有没有必要将它编入索引，所以我们使用了robots.txt文件告诉搜索引擎蜘蛛（机器人）忽略它。 嘿... robot.txt是一个在网站上申请文件。它通常是用来告诉搜索有关的页面无法抓取引擎。 可惜的是，在网站上，告诉搜索引擎这个网页不需要被抓取应用的代码。它是有用的，当有一些客户的私人信息，或本公司客户网站上的，我们不想让他们公开。
Robots.txt文件包含有关的网站，所要遵循的履带式或没有提到的页面状态信息“做遵循的”或“不跟随”。 主要设计为履带式爬行的网站，它应该在每一个网站包括... 为“robots.txt”是一个普通的文本文件，通过它的名字，有特殊意义的“光荣”在网络上的机器人占大多数。 通过定义在这个文本文件中的一些规则，你可以指示机器人无法抓取和索引某些文件，在您的网站目录，或任何赔偿。 例如，您可能不希望谷歌抓取/图像的网站目录，因为它的意义都对您和您的网站的带宽浪费。为“robots.txt”，您可以告诉谷歌这一点。随着EasyPLR.com你只选择你需要的内容。 没有更多的成员资格得到锁定让你从各种主题的每月文章。如果您需要有关卫生与健康PLR的文章，您可以选择从我们的健康的PLR文章包。 如果你需要婴儿PLR的，只是抓住你需要的文章。 您现在的完全控制。
(责任编辑：卓想动画http://www.zxgzs.com)
