TechTarget云计算 > 百科词汇

爬虫:crawler

爬虫(crawler)是一个访问网站并且读取网站的页面和其它信息,以创建搜索引擎索引的程序。互联网上主要的搜索引擎都有这些程序,它们也被称作“蜘蛛”或“机器人”。爬虫程序访问向它们提交的网站主的网站,或者是新加网站,或者是更新网站。整个网站或者特殊的页面能够被选择性的访问和索引。爬虫的名字就来源于它们在某时爬过整个网站,跟踪连接到网站的其它页面,指导所有页面都被读取。  

    AltaVista搜索引擎的爬虫和它的网站被称作Scooter(滑行车),滑行车遵循在机器人排除标准(Standard for Robot Exclusion,SRE)定义的网络爬虫礼貌规则,它会高速所有的服务器,哪个文件将被排斥在索引之外,它不通过(或者不能通过)防火墙。它使用特殊的算法在成功的服务器请求之间等待,不会对其它用户的访问造成影响。

最近更新时间:2008-10-14 EN

相关推荐

  • 云团队需要的6个IT软技能

    软技能对云团队来说至关重要,但很难学习。一个糟糕的团队成员可以打倒整个团队和项目。此外,缺乏软技能可能会导致错 […]

  • AI和云存储如何协同工作

    人工智能是一种变革性技术,可帮助企业节省时间、降低成本并提高运营效率。首席信息官和其他技术领导者可能会想知道, […]

  • 提升云团队技能以取得成功

    IT 环境正在以惊人的速度变化。软件供应商和客户正在迫使企业跟上步伐,无法跟上则会过时。现在的问题变成:你的云 […]

  • 云原生战略将购买决策推到IT之外

    现在企业越来越多地转向分布式云生态系统,这需要整合本地和云技术。 根据 TechTarget 企业战略小组 ( […]