国产又爽又猛又粗的视频a片-国产精品亚洲一区二区三区-亚洲精品久久久口爆吞精-午夜无码人妻av大片色欲

當(dāng)前位置: 網(wǎng)站首頁(yè) >>云狐動(dòng)態(tài) >>互聯(lián)網(wǎng)百科

鄭州網(wǎng)站建設(shè):Robots在優(yōu)化中的作用是什么?   

時(shí)間:2022-05-30 10:05:51 點(diǎn)擊:459次

     百度,360,搜狗等搜索引擎在訪問(wèn)一個(gè)網(wǎng)站的時(shí)候,開(kāi)始做的動(dòng)作是檢查該網(wǎng)站的根域名下是否有一個(gè)叫robots.txt的純文本文件,該文件用于指定搜索引擎蜘蛛在網(wǎng)站上的抓取范圍。由于很多網(wǎng)站的一些頁(yè)面存在隱私或者是敏感內(nèi)容,因此需要告訴搜索引擎蜘蛛網(wǎng)站中的哪些頁(yè)面是不允許抓取的,這就是Robots文件的作用。

  

  一、Robot指令:

  

  1,User-agent: 該指令定義了此指令下面的內(nèi)容對(duì)哪些蜘蛛有效。默認(rèn)所有蜘蛛都允許抓取,如果此指令指定了特定的蜘蛛,那么此指令下跟的內(nèi)容就對(duì)特定蜘蛛有效。

  

  2,Disallow: 該指令定義了禁止蜘蛛抓取哪些頁(yè)面,有些人可能認(rèn)為,做網(wǎng)站當(dāng)然都希望被抓取了。但是如果是后臺(tái)或是隱私文件,相信誰(shuí)都不愿意被抓取的。

  

  3,Allow: 該指令定義了允許蜘蛛抓些哪些內(nèi)容,如果是某些內(nèi)容允許,其它全部拒絕,則可以用這個(gè)指令,大多數(shù)網(wǎng)站只用到禁止指令。

  

  4,Sitemap:就是我們常說(shuō)的網(wǎng)站地圖了,把站點(diǎn)地圖放在Robots下面,可以方便蜘蛛直接在訪問(wèn)Robots時(shí)就訪問(wèn)到你的地圖位置。

  

  二、robots的作用:

  

  1、屏蔽死鏈接。由于改版等原因,我們網(wǎng)站會(huì)產(chǎn)生死鏈接,那么這個(gè)時(shí)候我們就需要通過(guò)robots來(lái)屏蔽這些死鏈接。我們可以通過(guò)下載網(wǎng)站日志來(lái)查看我們的404頁(yè)面,用txt打開(kāi)網(wǎng)站日志,通過(guò)搜索“404”,如果你網(wǎng)站有404頁(yè)面,并且被訪問(wèn)到了,那么這個(gè)時(shí)候就會(huì)被網(wǎng)站日志給記錄。

  

  2、把沒(méi)有價(jià)值的頁(yè)面屏蔽掉。很多網(wǎng)站都有一些沒(méi)有價(jià)值的頁(yè)面,比如說(shuō)指導(dǎo)中心的用戶個(gè)人中心頁(yè)面,這個(gè)個(gè)人中心頁(yè)面不會(huì)對(duì)網(wǎng)站產(chǎn)生價(jià)值,在百度上面的展現(xiàn)也不會(huì)給網(wǎng)站帶來(lái)權(quán)重。因此我們需要利用robots來(lái)屏蔽這樣的頁(yè)面。又比如說(shuō):一個(gè)企業(yè)網(wǎng)站的聯(lián)系我們頁(yè)面,這種頁(yè)面不會(huì)給網(wǎng)站帶來(lái)權(quán)重,用戶也不會(huì)去搜索“聯(lián)系我們”來(lái)找他想要的產(chǎn)品。因此我們需要把這種頁(yè)面同時(shí)屏蔽。

  

  3、把重復(fù)路徑屏蔽掉。當(dāng)你網(wǎng)站出現(xiàn)重復(fù)路徑的時(shí)候,百度將會(huì)對(duì)我們的網(wǎng)站進(jìn)行直接降分,比如說(shuō):一個(gè)網(wǎng)站做了偽靜態(tài),同時(shí)他的動(dòng)態(tài)頁(yè)面也可以訪問(wèn),這個(gè)時(shí)候就會(huì)出現(xiàn)重復(fù)路徑。因此我們需要通過(guò)robots屏蔽這些重復(fù)路徑。

  

  鄭州網(wǎng)站建設(shè)公司河南云狐是一家專業(yè)的互聯(lián)網(wǎng)整合營(yíng)銷(xiāo)公司,專業(yè)從事網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣、微信開(kāi)發(fā)與代運(yùn)營(yíng)、微信小程序代理/開(kāi)發(fā)、聯(lián)通400電話、APP開(kāi)發(fā)、EC營(yíng)客通銷(xiāo)售管理軟件、教育培訓(xùn)、廣告制作、朋友圈廣告等諸多服務(wù),歡迎大家來(lái)河南云狐參觀咨詢了解。

  

  


我們已經(jīng)準(zhǔn)備好了,你呢?

我們與您攜手共贏,為您的企業(yè)形象保駕護(hù)航!

在線客服
聯(lián)系方式

熱線電話

18603867163

上班時(shí)間

周一到周六

公司電話

0371-69138578

二維碼
在線留言