在網(wǎng)站運(yùn)維過程中，需明確區(qū)分正常搜索引擎蜘蛛與惡意爬蟲的差異。正常蜘蛛（如百度蜘蛛、Googlebot等）對網(wǎng)站收錄及搜索引擎排名至關(guān)重要，隨意屏蔽可能導(dǎo)致網(wǎng)站權(quán)重下降、流量流失，甚至造成客戶資源損失。若當(dāng)前服務(wù)器資源面臨壓力，建議優(yōu)先考慮升級虛擬主機(jī)套餐以提升流量配額，或遷移至云服務(wù)器架構(gòu)（支持不限流量配置），從硬件層面優(yōu)化訪問承載能力。更多服務(wù)器升級方案可參考：http://www.west.cn/faq/list.asp?unid=626。

針對需要屏蔽特定蜘蛛的場景，需先完成偽靜態(tài)組件的配置部署。若使用網(wǎng)站管理助手搭建環(huán)境，請參照指南啟用偽靜態(tài)組件：http://www.west.cn/faq/list.asp?unid=650；對于Windows Server 2003 + IIS手工建站環(huán)境，可參考：http://www.west.cn/faq/list.asp?unid=639 完成組件加載。完成前置配置后，需根據(jù)服務(wù)器操作系統(tǒng)類型，在對應(yīng)配置文件中添加屏蔽規(guī)則。

Linux環(huán)境（Apache/Nginx）

在站點(diǎn)根目錄創(chuàng)建`.htaccess`文件，添加如下規(guī)則：

```apache

RewriteEngine On

#Block spider

RewriteCond %{HTTP_USER_AGENT} "SemrushBot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu" [NC]

RewriteRule !(^robots\.txt$) - [F]

```

Windows Server 2003 + IIS環(huán)境

在`httpd.conf`文件中配置規(guī)則：

```apache

#Block spider

RewriteCond %{HTTP_USER_AGENT} (SemrushBot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu) [NC]

RewriteRule !(^/robots.txt$) - [F]

```

Windows Server 2008 + IIS環(huán)境

在`web.config`文件中添加規(guī)則：

```xml

```

Nginx環(huán)境

在站點(diǎn)配置文件的`server`段內(nèi)添加規(guī)則：

```nginx

if ($http_user_agent ~ "Bytespider|Java|PhantomJS|SemrushBot|Scrapy|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|perl|Python|Wget|Xenu|ZmEu|^$")

{

return 444;

}

```

注：上述規(guī)則默認(rèn)屏蔽部分非必要蜘蛛，如需擴(kuò)展屏蔽范圍，可根據(jù)規(guī)則格式添加目標(biāo)蜘蛛特征標(biāo)識。

附：常見搜索引擎蜘蛛名稱參考

- Google：googlebot

- 百度：baiduspider、baiduboxapp（移動端）

- Yahoo：slurp

- Alexa：ia_archiver

- Bing：bingbot

- 有道：YodaoBot、OutfoxBot

- 搜狗：sogou spider

- SOSO：sosospider

- 360：360spider

來源：西部數(shù)碼