首先请明确 搜索引擎和分类目录的区别:
1)搜索引擎(Search Engine):
通过运行一个软件,该软件不断在网络上通过域名扫描和各种链接,自动获得大量站点页面的信息,并按照一定规则归类整理,从而形成数据库,以备查询。这样的站点(获得信息==>整理建立数据库==>提供查询)我们就称之为“搜索引擎”。而所使用的软件一般叫做“Spider”、“Robot”、“crawlers”等,中文名称“搜索机器人”。
平时我们在检查站点访问统计时,在“浏览器简报”中看到的Baiduspider、Googlebot、MSNBOT就是搜索机器人留下的记录,分别代表 百度、Google和MSN搜索机器人。