SEO培訓中心提供免費SEO公開課,SEO技術問題解答,SEO培訓教程下載和系統SEO培訓及技術指導。SEO課程,SEO教程應有盡有。
SEO優化培訓
打印 上一主題 下一主題

Robots.txt 文件應放在哪里?robots.txt文件有什么必要?

[復制鏈接]
查看: 1532|回復: 0

261

主題

261

帖子

847

積分

管理員

Rank: 9Rank: 9Rank: 9

積分
847
跳轉到指定樓層
樓主
發表于 2018-12-20 18:01:16 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
Robots.txt 文件應放在哪里?

  Robots.txt 文件必須放在網站的根目錄。放在子目錄的 Robots.txt 文件搜索引擎不能爬取到,所以不會起任何作用。


  如果你不能控制根目錄的 robots.txt,則你可以通過在子目錄網頁中使用標簽阻止網頁被收錄。


robots.txt文件有什么必要?

  什么是robots.txt文件?

  搜索引擎機器人通過鏈接抵達互聯網上的每個網頁,并抓取網頁信息。搜索引擎機器人在訪問一個網站時,會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文本文件。當我們的網站有一些內容不想被搜索引擎收錄,我們可以通過設置robots.txt文件告知搜索引擎機器人。

  如果網站上沒有禁止搜索引擎收錄的內容,則不用設置robots.txt文件,或設置為空。


  從SEO的角度,robots.txt文件是一定要設置的,原因:

 、 網站上經常存在這種情況:不同的鏈接指向相似的網頁內容。這不符合SEO上講的“網頁內容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。

 、 網站改版或URL重寫優化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。

 、 一些沒有關鍵詞的頁面,比如本站的這個頁面http://www.796518.live/home.php?mod=space&uid=1&do=profile,屏蔽掉更好。

 、 一般情況下,站內的搜索結果頁面屏蔽掉更好


回復

使用道具 舉報

SEO優化培訓教程

要做好網站優化,需要從哪幾方面入手,又該

主講:SEO老師 日照

百度SEO教程-SEO培訓課程課件大綱,共十一

主講:SEO大學校長 日照

面對B2C商城類型網站,我們該如何優化,又

主講:SEO老師 菏澤

我們在做SEO的時候,應該怎么樣去布局關鍵

主講:SEO顧問 吉安

SEO新手在進行網站優化時應該避免進入的12

主講:SEO老師 大連

SEOer在做SEO優化的時候有哪些實用的技巧?

主講:SEO顧問 南昌

網站SEO優化的時候外鏈建設應該注意什么事

主講:SEO大學校長 山東

網站SEO優化對于用戶分析我們應該從哪些細

主講:SEO大學校長 山東

商務合作

SEO培訓學院電話:400-050-4004
SEO課程,SEO教程

關注SEO培訓公眾號

Robots.txt 文件應放在哪里?robots.txt文件有什么必要 ...

SEO教程,SEO課程 SEO教程,SEO課程 SEO課程,SEO教程 SEO課程,SEO教程 SEO課程,SEO教程
深圳帝國網絡服務有限公司;  ©2006-2018  專業網站優化學校  技術支持:SEO培訓學院  
山西麻将游戏大全