百度支持nofollow、noarchive两种种meta标签。
要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的<HEAD> 部分:
<meta name="robots" content="noarchive">
如果您不想搜索引擎追踪此网页上的链接,且不传递链接的权重,请将此元标记置入:
<meta name="robots" content="nofollow">
Baiduspider对站点的抓取方式和普通用户访问一样,只要普通用户能访问到的内容,我们就能抓取到。不管是用什么技术,只要能保证用户能流畅的访问网站,对搜索引擎就没有影响。
我们建议尽量选择有实力的服务商和成熟的技术,不成熟的技术容易导致访问不稳定,这就有可能影响搜索引擎的抓取了。
百度对海外站点没有歧视。但Baiduspider服务器在国内,国内普通用户访问受限的内容,Baiduspider一样会搞不定,只要国内能正常访问,我们就会一视同仁。
如果是内容发生根本性变化,则理论上会被视为一个全新网站,旧有超链失效。
搜索引擎策略会对已收录的站点站点综合表现进行自动评价,对符合一定标准的站点,会自动提取网站中的favicon作为展现logo。同时,这个机制是自动运行,定期更新的,没有人工干预的接口。
百度从未提供过网站权重信息数据以及对外查询服务。第三方站长工具的数据并非百度官方数据,不代表真实的网站情况,百度对使用此类数据而造成的困扰不负任何责任。请网站管理员不要将这些“百度权重”数值当成真实数值来参考使用。
中文互联网上,Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即为冒充,建议您使用DNS反查方式来确定抓取来源的ip是否属于百度。
例如,在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
在windows平台下,可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。
点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:\Documents and Settings\wangtao>nslookup 123.125.66.120
Name: baiduspider-123-125-66-120.crawl.baidu.com
Address: 123.125.66.120