华为的 AspiegelBot 或者说 Petalbot

华为的 AspiegelBot 或者说 Petalbot的配图
前些日子,屏蔽了一些 IP ,在做了一些研究后,发现这些都是来自华为。一直以来,都认为华为只是做硬件,做软件,还没想到它们还要做搜索。可惜的是,他们一如既往的不按规矩来,过度的抓取,以及完全不考虑被抓取的网站的性能影响。打开 http://aspiegel.com/en/about/ 网页,可以看到写着。Aspiegel: The HUAWEI Mobile Services (international) are provided by Aspiegel Limited.如果继续,打开 http://aspiegel.com/en/how-petal-search-works/ 网页,可以看……