世界各大搜索引擎的蜘蛛名称列表

本文记录了全世界比较出名的Robots.txt 列表需要设置的搜索蜘蛛。如何设置那个目录不想被搜索引擎收录的可参照下去设置。

当然也必须从Robots.txt 去设置

下列为比较出名的搜索引擎蜘蛛名称：

Google的蜘蛛： Googlebot

百度的蜘蛛：baiduspider

Yahoo的蜘蛛：Yahoo Slurp

MSN的蜘蛛：Msnbot

Altavista的蜘蛛：Scooter

Lycos的蜘蛛： Lycos_Spider_(T-Rex)

Alltheweb的蜘蛛： FAST-WebCrawler/

INKTOMI的蜘蛛： Slurp

如需要参考的可以参照本文：

User-agent（用户代理设置）：(蜘蛛名字)

拒绝：(文件名字)

User-agent: Black Hole

Disallow: /

User-agent: Titan

Disallow: /

User-agent: WebStripper

Disallow: /

User-agent: NetMechanic

Disallow: /

User-agent: CherryPicker

Disallow: /

User-agent: EmailCollector

Disallow: /

User-agent: EmailSiphon

Disallow: /

User-agent: WebBandit

Disallow: /

User-agent: EmailWolf

Disallow: /

User-agent: ExtractorPro