1. 通过 robots.txt 文件屏蔽

robots.txt 文件是一种能和搜索引擎进行通讯的渠道,方式如下:

User-agent: Baiduspider

Disallow: /

User-agent: Googlebot

Disallow: /

如果只是禁止某一个搜索引擎抓取收录网站的某一个目录,比如要禁止百度抓取收录jinzhi目录,则如图设置。

2. 在网页代码里面设置。

在网页<head></head>之间加入<meta name="robots" content="noarchive">代码。表示紧致所有搜索引擎抓取网站和显示快照。
如果要针对某一个搜索引擎禁止抓取,
在网页<head></head>之间加入
<meta name="baidspider" content="noarchive">代码,表示禁止百度抓取,
<meta name="googlebot" content="noarchive">表示禁止谷歌抓取。
其他的搜索引擎一样原理。
我 秦始皇 打钱