• <rp id="ss9sy"></rp>

    1. <th id="ss9sy"><track id="ss9sy"><dl id="ss9sy"></dl></track></th>
        <rp id="ss9sy"></rp>

          1. <rp id="ss9sy"><acronym id="ss9sy"><input id="ss9sy"></input></acronym></rp>
          2. 咨詢
            點擊這里給我發消息
            技術
            點擊這里給我發消息
            吉林網絡公司,吉林市網站建設,吉林網站制作,吉林市網頁設計,吉林網站推廣,吉林市手機網站,吉林網站優化,吉林市軟件開發,吉林市微信公眾號,吉林市小程序開發,吉林市響應式網站,吉林市做網站哪家好
            吉林市柏霖網絡公司
            地址:吉林大街309號新東廣場商務中心B座8樓
            電話:0432-64678108
            網址:100lin.com
            郵箱85680811@qq.com
          3. 咨詢:      85680811
          4. 技術:      1053718
          5. SEO優化網站推廣
             您當前的位置:  首頁 > 幫助中心 > SEO優化網站推廣
            吉林市柏霖網絡公司專業從事網站建設、網站制作、吉林市網站推廣優化、網頁設計、及一體的網站建設公司,為您完美打造一流網站,做吉林市最好的網站。 咨詢電話:043264678108

            吉林市利用百度蜘蛛referer找到報錯頁面入口

            作者:柏霖網絡公司 發布于:2020/2/20 12:58:21 點擊量:


            什么是百度百度蜘蛛的referer


            百度百度蜘蛛的referer,是指當百度蜘蛛抓取某一個URL的時候,在HTTP頭中帶的Referer字段。請注意,這個定義和百度最近聲明去除Referer中關鍵詞數據沒有任何關系。這次講的是spider發起的HTTP請求,百度而去除的是用戶發起的。如果百度蜘蛛抓取百度首頁的logo,會發起這樣的請求:

            上面Referer字段很明確的表示了他是從www.baidu.com這個頁面上發現并抓取了www.baidu.com/img/bd_logo1.png。而大家在服務器訪問日志中也應該能看到相應的記錄。目前發現只有當百度抓取一個網頁的同時,又抓取了網頁中的:img、js和css才會帶上referer字段。這部分額外的抓取量,應該不會占用百度分配的抓取配額,屬于“買1送1”。


            jilin 02.jpg


            如果你發現有一批URL(僅限于img,js,css)報錯(4xx或者5xx),但是一直找不到入口在哪,也就是說你不明白百度蜘蛛是從哪里發現這些錯誤URL的。這個字段可以幫助你迅速定位。


            比如我們的SEO日志分析系統中可以看到,符合下面這種URL Pattern的路徑每天有6萬到10萬的抓取而且全部報404。

            從發現問題至今過了1個月,查遍整個網站我也沒找到入口。今天偶然仔細查了一下日志,想起了百度蜘蛛的referer,馬上就能定位問題了。這些404的URL來自于一套沒人維護也沒人關注的頁面(往往是這樣)。收錄流量都不錯。由于最近公司圖片系統更新。


            如果站點沒有記錄referer怎么辦


            iis請在這里勾選“cs(Referer)”:

            apache請參考:

            apache log配置“Combined Log Format”章節

            apache log配置的官方鏈接


            Nginx請參考:

            nginx log配置

            nginx log配置的官方鏈接



            · 很多SEO問題并不是立即致命的,所以沒有及時解決。流量就像螞蟻啃大象一樣一點一點啃掉了。

            · 系統性的知識積累還是會在關鍵時刻發揮作用的。





            上一篇:網站建設建站方案之教育培訓類網站建設

            下一篇:網絡營銷:如何獲取有效客戶?

            評論加載中...
            內容:
            評論者: 驗證碼:
              

          6. <rp id="ss9sy"></rp>

            1. <th id="ss9sy"><track id="ss9sy"><dl id="ss9sy"></dl></track></th>
                <rp id="ss9sy"></rp>

                  1. <rp id="ss9sy"><acronym id="ss9sy"><input id="ss9sy"></input></acronym></rp>