设置 Robots 让网站禁止搜索引擎收录的方法

网站搭建前期，网站还没有完善好的时候，不希望被搜索引擎收录，如：百度 谷歌等

我们通过设置robots文件来进行告知搜索引擎不要收录我的网站

设置方法 ：

新建文件名：robots.txt
放到网站根目录下

禁止代码：

User-agent: *
Disallow: /

代码解释：

User-agent:*表示和所有搜索引擎协议适用；
Disallow:/表示禁止抓取收录全站；