Block AI Crawlers 插件告訴人工智能爬蟲（如 OpenAI ChatGPT）不要抓取你的網(wǎng)站內(nèi)容用來(lái)訓(xùn)練 AI。具體做法是更新網(wǎng)站的robots.txt，以阻止常見(jiàn)的人工智能爬蟲。人工智能爬蟲會(huì)讀取網(wǎng)站的robots.txt來(lái)檢查是否有不索引的請(qǐng)求。
它可以阻止這些人工智能爬蟲和機(jī)器人：
- ChatGPT 和 GPTBot– OpenAI 使用的爬蟲和網(wǎng)絡(luò)瀏覽器
- Google Extended– 用于谷歌雙子座（前身為 Google Bard）人工智能訓(xùn)練的爬蟲
- FacebookBot– 用于 Facebook 人工智能培訓(xùn)的爬蟲
- CommonCrawl– 編譯用于訓(xùn)練人工智能模型的數(shù)據(jù)集的爬蟲
- Anthropic AI / Claude– Anthropic 使用的爬蟲
- Omgili– Omgili 用于人工智能訓(xùn)練的爬蟲
- Bytespider– TikTok 用于人工智能訓(xùn)練的爬蟲
- PerplexityBot– 被 Perplexity 用于其人工智能產(chǎn)品中
- Applebot– Apple 用于訓(xùn)練其人工智能產(chǎn)品
- Cohere– Cohere 用于人工智能培訓(xùn)的爬蟲
- DiffBot– Diffbot 用于人工智能訓(xùn)練的爬蟲
- Imagesift– Imagesift 用于圖像的爬蟲
實(shí)驗(yàn)性元標(biāo)簽
該插件還會(huì)在網(wǎng)站的元標(biāo)簽中添加 「noai, noimageai 」標(biāo)簽。這些標(biāo)簽會(huì)告訴人工智能機(jī)器人不要將您的內(nèi)容作為其數(shù)據(jù)集的一部分。這些都是試驗(yàn)性的，尚未標(biāo)準(zhǔn)化。
免責(zé)聲明
注意：雖然插件添加了這些標(biāo)記，但是否遵守這個(gè)標(biāo)記要求取決于爬蟲本身。
