华为搜索还在内测，但营销黑料已经到来

robots 协议不是法律意义上的合同，属于商业道德
robots 协议本身也不能不合理的限制特定爬虫。就像 360 提出百度的 robots 协议允许谷歌、微软必应、雅虎、搜狗等搜索引擎抓取，但却不允许 360 抓取内容，同样属于不正当竞争与限制。
robots 协议是双赢，网站能被搜索找到，搜索有更多内容吸引流量。

每个搜索前期都要大量爬取网络上的资源，去年今日头条的搜索就是这样

而目前华为搜索是针对国外服务，影响没那么大。更何况国外法律更严苛

总之就是，大家都这么干的时候，你却拿着业界见怪不怪的行为，大肆批评一通，国外倒是没见有相关官司，这边却变本加厉。
说句难听点，有些小站更希望自己排名能上前，能被收录，甚至花钱买排名，毕竟能被搜索到才有流量


这种搜索前期大量爬取是很正常的，也是不涉及法律问题的，因为爬取你网站的内容，你才有流量才有钱，国外也没人发官司，真搞不懂这些营销号带的什么节奏，去年头条搜索大量爬取导致小站崩溃也没人敢说，更何况华为搜索是针对国外的。真的是黑上瘾了