The crawlers are innocuous and cause no harm to an owner's site or servers.
爬虫是无害的并且不引起伤害到一位主人的地点或服务者.
互联网
This is actually a natural defense reflex to avert us of little creepy crawlers.
这实际上是由于有小小蠕动物的警觉而产生的一种自然的对抗反射.
互联网
They must be indexed by search engine crawlers, to get beyond our own little specialized indexes.
他们必须能被搜索引擎爬虫索引, 以超过我们自己特有的小索引.
互联网