尤物视频在线观看|国产尤物视频在线观看|99热在线获取最新地址,久久频这里精品99香蕉久,国产色婷婷精品综合在线,亚洲欧美日韩高清在线看

robots協(xié)議

作者：笑面佛 瀏覽：399次 發(fā)布時間：2017-12-09
編輯 分享 評論 贊0

　　Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是“網(wǎng)絡爬蟲排除標準”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。


　　是搜索引擎的一部分來定位和索引互聯(lián)網(wǎng)上的每個可能回答搜索請求的網(wǎng)頁，通常只在討論 robots的HTML標簽或者robots.txt文件的時候使用。


詞條統(tǒng)計

  • 瀏覽次數(shù)：399次
  • 編輯次數(shù)：0次歷史版本
  • 最近更新：2017-12-11
  • 創(chuàng)建者：笑面佛

    • 相關詞條

    相關問答

    相關百科

    相關資訊