相关文章
网站建设极疯坚信：创造新名词“色诱”百度蜘蛛收录网站［案例］
北京网站设计对搜索引擎友好的网页设计制作
网页设计轻轻松松提高百度排名-优化篇
网页设计谈谈网站速度的优化技巧
网页设计Google Dancing的观察
网站制作交换链接的基本原则和策略
网站设计知识搜索应运而生 引领搜索的新方向
北京网站制作SEO之增加外链方法和增加外链需注意事项
北京网站制作2007年SEO的优化趋势
北京网站设计Google搜索技巧(10)：缩小搜索范围
品牌理念
北京网站建设最佳合作伙伴
北京网站建设专家企通互联
竭诚为您提供网站建设服务!
友好连接
文章搜索
你的位置：首页 >> seo >> 北京网页设计北京网页设计世界各大搜索引擎的蜘蛛名称列表
北京网页设计北京网页设计世界各大搜索引擎的蜘蛛名称列表
本文记录了全世界比较出名的Robots.txt 列表需要设置的搜索蜘蛛。如何设置那个目录不想被搜索引擎收录的可参照下去设置。
当然也必须从Robots.txt 去设置
下列为比较出名的搜索引擎蜘蛛名称：
Google的蜘蛛： Googlebot企通互联
百度的蜘蛛：baiduspider北京网站制作
Yahoo的蜘蛛：Yahoo Slurp网页设计
MSN的蜘蛛：Msnbot北京网站设计
Altavista的蜘蛛：Scooter网站设计
Lycos的蜘蛛： Lycos_Spider_(T-Rex) 网站设计
Alltheweb的蜘蛛： FAST-WebCrawler/ 北京网站设计
INKTOMI的蜘蛛： Slurp
如需要参考的可以参照本文：网站建设
User-agent（用户代理设置）：(蜘蛛名字)网站设计
拒绝：(文件名字)
User-agent: Black Hole 网站制作
Disallow: /
User-agent: Titan 北京网页设计
Disallow: /
User-agent: WebStripper 企通互联
Disallow: /
User-agent: NetMechanic 北京网站设计
Disallow: /
User-agent: CherryPicker 网站建设
Disallow: /
User-agent: EmailCollector 网站建设
Disallow: /
User-agent: EmailSiphon 北京网站制作北京网站设计
Disallow: /
User-agent: WebBandit 北京网页设计
Disallow: /
User-agent: EmailWolf 北京网站设计
Disallow: /
User-agent: ExtractorPro 网页设计
Disallow: /
User-agent: CopyRightCheck 网页设计
Disallow: /
User-agent: Crescent 企通互联
Disallow: /
User-agent: NICErsPRO 网站制作
Disallow: /
User-agent: Wget 网站建设
Disallow: /
User-agent: SiteSnagger 网页设计
Disallow: /
User-agent: ProWebWalker 北京网页设计
Disallow: /
User-agent: CheeseBot 网站制作
Disallow: /
User-agent: mozilla/4 北京网页设计
Disallow: /
User-agent: mozilla/5 北京网站制作
Disallow: /
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows NT) 企通互联
Disallow: /
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 95) 网站建设
Disallow: /
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 9 北京网站建设
Disallow: /
User-agent: ia_archiver 北京网站制作
Disallow: /
User-agent: ia_archiver/1.6 北京网站制作
Disallow: /
User-agent: Alexibot 北京网页设计
Disallow: /
User-agent: Teleport 网站制作
Disallow: /
User-agent: TeleportPro 网站设计
Disallow: /
User-agent: Wget 企通互联
Disallow: /
User-agent: MIIxpc 北京网站建设
Disallow: /
User-agent: Telesoft 网站制作
Disallow: /
User-agent: Website Quester 网站制作
Disallow: /
User-agent: WebZip 网站设计
Disallow: /
User-agent: moget/2.1 北京网站建设
Disallow: /
User-agent: WebZip/4.0 北京网站制作
Disallow: /
User-agent: WebStripper 企通互联
Disallow: /
User-agent: WebSauger 网站设计
Disallow: /
User-agent: WebCopier 北京网站建设
Disallow: /
User-agent: NetAnts 北京网站设计
Disallow: /
User-agent: Mister PiX 北京网站设计
Disallow: /
User-agent: WebAuto 网页设计
Disallow: /
User-agent: TheNomad 北京网站建设
Disallow: /
User-agent: WWW-Collector-E 北京网页设计
Disallow: /
User-agent: RMA 网站建设
Disallow: /
User-agent: libWeb/clsHTTPDisallow: /
User-agent: asterias 网站建设
Disallow: /
User-agent: turingos 北京网页设计
Disallow: /
User-agent: spanner 网站建设
Disallow: /
User-agent: InfoNaviRobot 北京网站设计
Disallow: /
User-agent: Harvest/1.5 北京网站制作
Disallow: /
User-agent: ExtractorPro 北京网站建设
Disallow: /
User-agent: Bullseye/1.0 网站制作
Disallow: /
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95) 北京网站制作
Disallow: /
User-agent: Crescent Internet ToolPak HTTPOLE Control v.1.0 网站制作
Disallow: /
User-agent: CherryPickerSE/1.0 企通互联
Disallow: /
User-agent: CherryPickerElite/1.0 北京网站制作
Disallow: /
User-agent: WebBandit/3.50 网站建设
Disallow: /
User-agent: NICErsPRO 北京网站设计
Disallow: /
User-agent: Microsoft URL Control - 5.01.4511 北京网站设计
Disallow: /
User-agent: DittoSpyder 北京网站建设
Disallow: /
User-agent: Foobot 北京网页设计
Disallow: /
User-agent: WebmasterWorldForumBot 网页设计
Disallow: /
User-agent: SpankBot 北京网站设计
Disallow: /
User-agent: BotALot 北京网站制作
Disallow: /
User-agent: lwp-trivial/1.34 网站设计
Disallow: /
User-agent: lwp-trivial 北京网站制作
Disallow: /
User-agent: BunnySlippers 北京网页设计
Disallow: /
User-agent: Microsoft URL Control - 6.00.8169 企通互联
Disallow: /
User-agent: URLy Warning 网页设计
Disallow: /
User-agent: Wget 北京网站设计
Disallow: /
User-agent: Wget/1.5.3 网站设计 www.qitongnet.com
Disallow: /
User-agent: LinkWalker 北京网页设计
Disallow: /
User-agent: cosmos 北京网页设计
Disallow: /
User-agent: moget 企通互联
Disallow: /
User-agent: hloader 企通互联
Disallow: /
User-agent: humanlinks 北京网页设计
Disallow: /
User-agent: LinkextractorPro 网页设计
Disallow: /
User-agent: Offline Explorer 企通互联
Disallow: /
编辑：Windear北京网页设计
首发：SEO、 企通互联SEM密谋、站长资源信息网 网站设计网站设计
地址：http://www.seoplot.com，/北京网页设计
转载请出处和保留连接！否则必究
User-agent: Mata Hari 网站制作
Disallow: /
User-agent: LexiBot 北京网站制作
Disallow: /
User-agent: Offline Explorer 北京网站制作
Disallow: /
User-agent: Web Image Collector 网站制作
Disallow: /
User-agent: The Intraformant 北京网站建设
Disallow: /
User-agent: True_Robot/1.0 网站设计
Disallow: /
User-agent: True_Robot 网页设计
Disallow: /
User-agent: BlowFish/1.0 北京网页设计
Disallow: /
User-agent: JennyBot 企通互联
Disallow: /
User-agent: MIIxpc/4.2 北京网站建设
Disallow: /
User-agent: BuiltBotTough 北京网站设计
Disallow: /
User-agent: ProPowerBot/2.14 北京网站制作
Disallow: /
User-agent: BackDoorBot/1.0 网页设计
Disallow: /
User-agent: toCrawl/UrlDispatcher 企通互联
Disallow: /
User-agent: WebEnhancer 企通互联
Disallow: /
User-agent: TightTwatBot 网站制作
Disallow: /
User-agent: suzuran 北京网页设计
Disallow: /
User-agent: VCI WebViewer VCI WebViewer Win32 北京网站制作
Disallow: /
User-agent: VCI 北京网站设计
Disallow: /
User-agent: Szukacz/1.4 网站制作
Disallow: /
User-agent: QueryN Metasearch 北京网站制作
Disallow: /
User-agent: Openfind data gathere 网站制作
Disallow: /
User-agent: Openfind 北京网站制作
Disallow: /
User-agent: Xenu's Link Sleuth 1.1c 网站制作
Disallow: /
User-agent: Xenu's 北京网站建设
Disallow: /
User-agent: Zeus 网站建设
Disallow: /
User-agent: RepoMonkey Bait & Tackle/v1.01 企通互联
Disallow: /
User-agent: RepoMonkey 北京网站建设
Disallow: /
User-agent: Zeus 32297 Webster Pro V2.9 Win32 北京网站设计
Disallow: /
User-agent: Webster Pro 北京网页设计
Disallow: /
User-agent: EroCrawler 北京网站建设
Disallow: /
User-agent: LinkScan/8.1a Unix Disallow: /
User-agent: Kenjin Spider 北京网站制作
Disallow: /
User-agent: Keyword Density/0.9 网页设计
Disallow: /
User-agent: Kenjin Spider 网页设计
Disallow: /
User-agent: Cegbfeieh 网站建设
Disallow: / 网站建设
北京网站建设
Different:网站设计
网站制作
User-agent: larbin北京网站建设
Disallow: /
User-agent: b2w/0.1网站设计
Disallow: /
User-agent: Copernic北京网站设计
Disallow: /
User-agent: psbot北京网站建设
Disallow: /
User-agent: Python-urllib北京网站制作
Disallow: /
北京网站设计
User-agent: NetMechanic网页设计
Disallow: /
User-agent: URL_Spider_Pro北京网站建设
Disallow: /
User-agent: CherryPicker网页设计
Disallow: /
编辑：Windear网站制作
首发：SEO、SEM密谋、站长资源信息网 网站制作
地址：http://www.seoplot.com，/网站设计
转载请出处和保留连接！否则必究
User-agent: EmailCollector网站设计
Disallow: /
User-agent: EmailSiphon企通互联
Disallow: /
User-agent: WebBandit企通互联
Disallow: /
User-agent: EmailWolf网页设计
Disallow: /
User-agent: ExtractorPro企通互联
Disallow: /
User-agent: CopyRightCheck北京网页设计
Disallow: /
User-agent: Crescent网页设计
Disallow: /
User-agent: SiteSnagger网站建设
Disallow: /
User-agent: ProWebWalker北京网站建设
Disallow: /
User-agent: CheeseBot北京网站制作
Disallow: /
User-agent: LNSpiderguy网页设计
Disallow: /
User-agent: Mozilla网页设计
Disallow: /
User-agent: mozilla网站建设
Disallow: /
User-agent: mozilla/3网页设计
Disallow: /
User-agent: mozilla/4北京网站制作
Disallow: /
User-agent: mozilla/5网站设计
Disallow: /
User-agent: WebAuto网站制作
Disallow: /
User-agent: TheNomad北京网站建设
Disallow: /
User-agent: WWW-Collector-E网站设计
Disallow: /
User-agent: RMA北京网站建设
Disallow: /
User-agent: libWeb/clsHTTP企通互联
Disallow: /
User-agent: httplib北京网站制作
Disallow: /
User-agent: turingos北京网站制作
Disallow: /
User-agent: InfoNaviRobot北京网站设计
Disallow: /
User-agent: Harvest/1.5北京网页设计
Disallow: /
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0企通互联
Disallow: /
User-agent: CherryPickerSE/1.0北京网站建设
Disallow: /
User-agent: CherryPickerElite/1.0北京网页设计
Disallow: /
User-agent: WebBandit/3.50北京网站建设
Disallow: /
User-agent: NICErsPRO企通互联
Disallow: /
User-agent: DittoSpyder网站设计
Disallow: /
User-agent: Foobot网站设计
Disallow: /
User-agent: BotALot北京网站制作
Disallow: /
User-agent: lwp-trivial/1.34网页设计
Disallow: /
User-agent: lwp-trivial企通互联
Disallow: /
User-agent: URLy Warning网站设计
Disallow: /
User-agent: hloader北京网页设计
Disallow: /
User-agent: humanlinks网站设计
Disallow: /
User-agent: LinkextractorPro北京网站制作
Disallow: /
User-agent: Offline Explorer北京网站设计
Disallow: /
User-agent: Mata Hari网页设计
Disallow: /
User-agent: LexiBot北京网站设计
Disallow: /
User-agent: Web Image Collector网站制作
Disallow: /
User-agent: The Intraformant网站制作
Disallow: /
User-agent: True_Robot/1.0北京网站设计
Disallow: /
User-agent: True_Robot北京网站制作
Disallow: /
User-agent: BlowFish/1.0网站建设
Disallow: /
User-agent: JennyBot网页设计
Disallow: /
User-agent: MIIxpc/4.2网页设计
Disallow: /
User-agent: BuiltBotTough北京网站建设 网站建设
Disallow: /
User-agent: ProPowerBot/2.14北京网页设计
Disallow: /
User-agent: BackDoorBot/1.0网站建设
Disallow: /
User-agent: toCrawl/UrlDispatcher北京网站设计
Disallow: /
User-agent: WebEnhancer企通互联
Disallow: /
User-agent: suzuran企通互联
Disallow: /
User-agent: VCI WebViewer VCI WebViewer Win32北京网站建设
Disallow: /
User-agent: VCI网站建设
Disallow: /
User-agent: Szukacz/1.4 网站制作
Disallow: /
User-agent: QueryN Metasearch北京网站制作
Disallow: /
User-agent: Openfind data gathere企通互联
Disallow: /
User-agent: Openfind 北京网站建设
Disallow: /
User-agent: Xenu's Link Sleuth 1.1c北京网站制作
Disallow: /
User-agent: Xenu's网站制作
Disallow: /
User-agent: Zeus企通互联
Disallow: /
User-agent: RepoMonkey Bait & Tackle/v1.01网页设计
Disallow: /
User-agent: RepoMonkey网页设计
Disallow: /
User-agent: Openbot北京网页设计
Disallow: /
User-agent: URL Control网站建设
Disallow: /
User-agent: Zeus Link Scout网站建设
Disallow: /
User-agent: Zeus 32297 Webster Pro V2.9 Win32北京网站制作
Disallow: /
User-agent: EroCrawler北京网站制作
Disallow: /
User-agent: LinkScan/8.1a Unix北京网页设计 网页设计
Disallow: /
User-agent: Keyword Density/0.9企通互联
Disallow: /
User-agent: Kenjin Spider北京网页设计
Disallow: /
User-agent: Iron33/1.0.2网站设计
Disallow: /
User-agent: Bookmark search tool网站建设
Disallow: /
User-agent: GetRight/4.2北京网站建设
Disallow: /
User-agent: FairAd Client网站建设
Disallow: /
User-agent: Gaisbot网站制作
Disallow: /
User-agent: Aqua_Products北京网站建设
Disallow: /
User-agent: Radiation Retriever 1.1北京网站制作
Disallow: /
User-agent: WebmasterWorld Extractor北京网站建设
Disallow: /
User-agent: Flaming AttackBot北京网站制作
Disallow: /
User-agent: Oracle Ultra Search北京网站制作
Disallow: /
User-agent: MSIECrawler网站制作
Disallow: /
User-agent: PerMan北京网站制作
Disallow: /
User-agent: searchpreview北京网站制作
Disallow: /网站制作
北京网站制作
User-agent: naver网站建设
Disallow: /
User-agent: dumbot网站设计
Disallow: /
User-agent: Hatena Antenna企通互联
Disallow: /
User-agent: grub-client北京网站设计
Disallow: /
User-agent: grub网站建设
Disallow: /
User-agent: larbin网页设计
Disallow: /
User-agent: b2w/0.1网站建设
Disallow: /
User-agent: Copernic网页设计
Disallow: /
User-agent: psbot网站设计
Disallow: /
User-agent: Python-urllib网站制作
Disallow: /
User-agent: EmailWolf北京网站制作
Disallow: /
User-agent: ExtractorPro北京网页设计
Disallow: /
User-agent: CopyRightCheck北京网站建设
Disallow: /
User-agent: Crescent网站设计
Disallow: /
User-agent: SiteSnagger网站设计
Disallow: /
User-agent: ProWebWalker网站制作
Disallow: /
User-agent: CheeseBot网站设计
Disallow: /
User-agent: LNSpiderguy北京网页设计
Disallow: /
User-agent: Mister PiX网站制作
Disallow: /
User-agent: WebAuto网站制作
Disallow: /
User-agent: TheNomad北京网页设计
Disallow: /
User-agent: WWW-Collector-E北京网页设计
Disallow: /
User-agent: RMA北京网站设计
Disallow: /
User-agent: httplib网站制作
Disallow: /
User-agent: turingos网站制作
Disallow: /
User-agent: InfoNaviRobot网站制作
Disallow: /
User-agent: Harvest/1.5北京网站设计
Disallow: /
User-agent: Bullseye/1.0网站设计
Disallow: /
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)北京网站设计
Disallow: /
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 北京网站设计北京网页设计
Disallow: /
User-agent: CherryPickerSE/1.0北京网站制作
Disallow: /
User-agent: CherryPickerElite/1.0网站制作
Disallow: /
User-agent: NICErsPRO网页设计
Disallow: /
User-agent: URLy Warning北京网站设计
Disallow: /
User-agent: humanlinks网页设计
Disallow: /
User-agent: Web Image Collector网站制作
Disallow: /
User-agent: The Intraformant网站制作
Disallow: /
User-agent: True_Robot/1.0北京网站制作
Disallow: /
User-agent: True_Robot网页设计
Disallow: /
User-agent: BlowFish/1.0北京网站建设
Disallow: /
User-agent: JennyBot网页设计
Disallow: /
User-agent: MIIxpc/4.2企通互联
Disallow: /
User-agent: BuiltBotTough网站建设
Disallow: /
User-agent: ProPowerBot/2.14北京网页设计
Disallow: /
User-agent: BackDoorBot/1.0北京网站设计
Disallow: /
User-agent: toCrawl/UrlDispatcher网站建设
Disallow: /
User-agent: WebEnhancer北京网站制作
Disallow: /
User-agent: suzuran北京网页设计
Disallow: /
User-agent: VCI WebViewer VCI WebViewer Win32网站制作
Disallow: /
User-agent: VCI北京网站设计
Disallow: /
User-agent: Szukacz/1.4 网页设计
Disallow: /
User-agent: QueryN Metasearch网站制作
Disallow: /
User-agent: Openfind data gathere北京网站设计
Disallow: /
User-agent: Openfind 网站建设
Disallow: /
User-agent: Xenu's Link Sleuth 1.1c网站制作
Disallow: /
User-agent: Xenu's北京网页设计
Disallow: /
User-agent: Zeus网站设计
Disallow: /
User-agent: RepoMonkey Bait & Tackle/v1.01北京网页设计
Disallow: /
User-agent: RepoMonkey网站制作
Disallow: /
User-agent: Microsoft URL Control北京网站建设
Disallow: /
User-agent: Openbot企通互联
Disallow: /
User-agent: URL Control北京网站建设
Disallow: /
User-agent: Zeus Link Scout网站设计
Disallow: /
User-agent: Zeus 32297 Webster Pro V2.9 Win32网站制作
Disallow: /
User-agent: Webster Pro网站设计
Disallow: /
User-agent: EroCrawler北京网页设计
Disallow: /
User-agent: LinkScan/8.1a Unix网站设计
Disallow: /
User-agent: Keyword Density/0.9网站制作
Disallow: /
User-agent: Kenjin Spider网站设计
Disallow: /
User-agent: Iron33/1.0.2网站设计
Disallow: /
User-agent: Bookmark search tool北京网站设计
Disallow: /
User-agent: GetRight/4.2北京网页设计
Disallow: /
User-agent: FairAd Client网页设计
Disallow: /
User-agent: Gaisbot网站设计
Disallow: /
User-agent: Aqua_Products网站设计
Disallow: /
User-agent: Radiation Retriever 1.1北京网站建设 网站制作
Disallow: /
User-agent: WebmasterWorld Extractor北京网页设计
Disallow: /
User-agent: Flaming AttackBot企通互联
Disallow: /
User-agent: Oracle Ultra Search企通互联
Disallow: /
User-agent: MSIECrawler网站建设
Disallow: /
User-agent: PerMan北京网站建设
Disallow: /
User-agent: searchpreview北京网站建设
Disallow: /
User-agent: sootle企通互联
Disallow: /
User-agent: es北京网站建设
Disallow: /
User-agent: Enterprise_Search/1.0网站设计
Disallow: /
User-agent: Enterprise_Search北京网站建设
Disallow: /
编辑：Windear网站建设
首发：SEO、SEM密谋、站长资源信息网 北京网站设计
地址：http://www.seoplot.com，/北京网页设计
转载请出处和保留连接！否则必究