相信大家還記得 360 搜索引擎剛出來(lái)時(shí)，因?yàn)椴蛔裱?robots 協(xié)議而被百度抓到吊打的事件吧，誰(shuí)對(duì)誰(shuí)錯(cuò)我們不作評(píng)判，今天我們要討論的是怎么禁止這些不遵循 robots 協(xié)議的搜索引擎抓取我們不想讓他們抓取的內(nèi)容。
前不久，WordPress 官方插件目錄中新增了一款叫 Blackhole for Bad Bots 的插件，這個(gè)插件就是用來(lái)收拾這些不守規(guī)矩的搜索引擎蜘蛛的。該插件的原理很有意思，在robots.txt 文件中增加一個(gè)虛擬的鏈接，一旦有蜘蛛試圖訪問(wèn)，插件就禁止這個(gè)蜘蛛訪問(wèn)網(wǎng)站中的其他頁(yè)面了。守規(guī)矩的蜘蛛自然不會(huì)去訪問(wèn)這個(gè)鏈接，可以暢通無(wú)阻的抓取網(wǎng)站允許搜索引擎收錄的頁(yè)面。
這相當(dāng)于設(shè)了一個(gè)巧妙的陷阱，你守規(guī)矩，我自然歡迎你，你不守規(guī)矩的踏進(jìn)我布下的陷阱了，呵呵，真不好意思，這里不歡迎你。更棒的是，正常用戶看不到這個(gè)隱藏鏈接，遵循 robots 協(xié)議的搜索引擎也不受影響。
功能特色
- 設(shè)置簡(jiǎn)便
- 代碼干凈
- 基于 WordPress API 開(kāi)發(fā)
- 功能簡(jiǎn)單專一，不啰嗦
- 輕量級(jí)、高性能、高靈活性
- 可以很方便地重置屏蔽的蜘蛛列表
- 可以刪除單個(gè)被屏蔽的蜘蛛
- 插件通過(guò)設(shè)置頁(yè)面設(shè)置，不給后臺(tái)增加
- 安靜的在后臺(tái)工作，不會(huì)影響正常用戶的訪問(wèn)
- Optionally receive an email c-alert with WHOIS lookup for blocked bots
- 所有主流搜索引擎已被加入白名單，不會(huì)被屏蔽
- 自定義顯示給被屏蔽的搜索引擎的消息
- 一鍵重置插件設(shè)置
如果你的網(wǎng)站不是基于 WordPress 建設(shè)的，沒(méi)關(guān)系，只要你使用的變成語(yǔ)言是 PHP，就可以通過(guò) Blackhole 的獨(dú)立PHP版實(shí)現(xiàn)同樣的功能！
白名單
默認(rèn)情況下，插件不封鎖以下任何一個(gè)主流的搜索引擎，下面的搜索引擎默認(rèn)被添加到了插件的白名單中，插件也允許我們?cè)谠O(shè)置中手動(dòng)添加其他搜索引擎到白名單。
- AOL.com
- Baidu
- Bingbot/MSN
- DuckDuckGo
- Googlebot
- Teoma
- Yahoo!
- Yandex
如果你的網(wǎng)站不是基于 WordPress 構(gòu)建的，也可以使用該插件的 PHP 版本。
