我不太清楚你的網(wǎng)站日志里是否有不常見的CC蜘蛛。訪問名稱為“CCBot/2.0”。下面具體看一下CCbot是什么樣的蜘蛛。
1.CC bot是什么蜘蛛？
Common Crawl Bot(通用爬網(wǎng))是一個(gè)開放的存儲(chǔ)庫，它提供了非盈利性基金會(huì)所有人都可以訪問和分析的web爬網(wǎng)數(shù)據(jù)。
第二，如何處理CCbot蜘蛛？
方法1 .使用robots.txt
使用Robots.txt文件允許或禁止蜘蛛訪問頁面。Robots.txt位于網(wǎng)站根目錄中，蜘蛛訪問時(shí)，首先查找并查看Robots.txt文件，遵守robots協(xié)議訪問站點(diǎn)的內(nèi)容，如果允許訪問，就訪問，如果不能訪問蜘蛛，就離開。
沒有蜘蛛能訪問網(wǎng)站的任何部分
用戶代理：*
Disallow:/
所有蜘蛛都能訪問網(wǎng)站的任何部分。
用戶代理：*
Disallow:
。CCbot蜘蛛不能訪問網(wǎng)站的任何部分。
用戶代理：ccbot
Disallow:/
允許CCbot蜘蛛訪問網(wǎng)站的所有部分
用戶代理：ccbot
Disallow:
。CCbot蜘蛛可以訪問站點(diǎn)，而CCbot不能訪問“wp-admin”文件夾
用戶代理：ccbot
Disallow:/WP-admin
方法2 .使用元標(biāo)記
您可以在頁面上使用元標(biāo)記控制搜索引擎蜘蛛對(duì)網(wǎng)站的訪問。如果對(duì)所有頁面使用模板，則可以在和之間添加元標(biāo)記。牙齒標(biāo)簽將應(yīng)用于使用該模板的所有頁面。要控制特定頁面，可以向和之間的每個(gè)頁面添加元標(biāo)簽。
允許所有蜘蛛訪問頁面
讓所有蜘蛛訪問你的網(wǎng)頁，跟蹤頁面上的鏈接
允許所有蜘蛛訪問你的網(wǎng)站，但是他們不能追蹤鏈接。
沒有蜘蛛可以訪問你的網(wǎng)頁。
允許cc bot訪問網(wǎng)頁
CCbot引導(dǎo)無法訪問頁面
允許CCbot引導(dǎo)訪問頁面和跟蹤指向更多頁面的鏈接
如果在網(wǎng)站日志中發(fā)現(xiàn)CCbot，請(qǐng)不要驚慌。接下來要做的是允許爬行還是禁止爬行？梅個(gè)人認(rèn)為這種蜘蛛沒有什么意義，一旦發(fā)現(xiàn)這種蜘蛛爬得更頻繁，最好的方法就是禁止牙齒蜘蛛繼續(xù)訪問我們的網(wǎng)站。
原創(chuàng)：MAY的SEO博客/share/ccbot.html未經(jīng)允許不要轉(zhuǎn)載！