許多優(yōu)化新手不知道怎么用robots,乃至不大白robots文件到底是為何物，許多網(wǎng)站就是沒有配置好這個文件導(dǎo)致了排名不抱負(fù)，因此這個文件對網(wǎng)站優(yōu)化長短常重要的，以下就是具體先容：

 

　　robots對SEO重要性

 

　　一、robots文件是什么

 

　　這個文件是一種協(xié)議,全部的搜索引擎蜘蛛進(jìn)入網(wǎng)站的時辰第一個會見的就是這個文件，詳細(xì)的浸染就是用來自由配置哪些文件可以抓取，哪些不能抓取。

 

　　二、robots文件配置的名目：

 

　　User-agent：界說搜索引擎的范例；

 

　　Crawl-delay：界說抓取耽誤

 

　　Disallow：界說榨取搜索引擎收錄的地點(diǎn)

 

　　Allow：界說應(yīng)承搜索引擎收錄的地點(diǎn)

 

　　三、為什么robots很是重要

 

　　1.網(wǎng)站優(yōu)化切忌的就是一再頁面，可是不少人沒有重視，此刻的主流網(wǎng)站措施都很輕易自動發(fā)生一些沒用的頁面，好比緩存頁面，搜索頁面，等等，這些頁面內(nèi)容每每和主體內(nèi)容相一再，并且沒有什么用，假如被蜘蛛抓到，那么對網(wǎng)站排名會有很是嚴(yán)峻的負(fù)面影響。

 

　　2.搜索引擎喜畛丨創(chuàng)內(nèi)容，而這一方面并不是單單是指文章的原創(chuàng)度，另一方面網(wǎng)站模板的原創(chuàng)度也長短常重要的評分點(diǎn)，以是假如本身網(wǎng)站的模板不是原創(chuàng)，最好要屏障css目次和模板目次。

 

　　3.操作robots文件可以用來屏障一些沒有效的頁面，好比隱私頁面，靠山登岸頁面，圖片目次等內(nèi)容。

 

　　4.可以大大的加強(qiáng)蜘蛛網(wǎng)站的爬取服從，輔佐搜索引擎領(lǐng)略哪些才是網(wǎng)站最重要的內(nèi)容，不再揮霍到其余的那些無用的頁面上。