最近，我們的一位讀者向我們詢問了有關如何優化robots.txt文件以改進SEO的提示。Robots.txt文件告訴搜索引擎如何抓取您的網站，這使其成為一個非常強大的SEO工具。在本文中，我們將向您展示如何為SEO創建完美的robots.txt文件。
什么是robots.txt文件？
Robots.txt是一個文本文件，網站所有者可以創建該文件來告訴搜索引擎機器人如何在其網站上抓取和索引頁面。
它通常存儲在根目錄中，也稱為您網站的主文件夾。robots.txt文件的基本格式如下所示：
|
1
2
3
4
5
6
7
8
|
User-agent: [user-agent name]Disallow: [URL string not to be crawled]User-agent: [user-agent name]Allow: [URL string to be crawled]Sitemap: [URL of your XML Sitemap] |
您可以使用多行說明來允許或禁止特定URL并添加多個站點地圖。如果您不禁止URL，則搜索引擎機器人會假定他們可以抓取它。
以下是robots.txt示例文件的外觀：
|
1
2
3
4
5
6
|
User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Sitemap: https://example.com/sitemap_index.xml |
在上面的robots.txt示例中，我們允許搜索引擎在我們的WordPress上傳文件夾中抓取和索引文件。
之后，我們禁止搜索機器人抓取插件和索引插件以及WordPress管理員文件夾。
最后，我們提供了XML站點地圖的URL
你需要一個針對你的WordPress網站的Robots.txt文件嗎？
如果您沒有robots.txt文件，那么搜索引擎仍會抓取您的網站并將其編入索引。但是，您將無法告訴搜索引擎他們不應抓取哪些頁面或文件夾。
當您第一次創建博客并且沒有大量內容時，這不會產生太大影響。
但是，隨著您的網站不斷增長并且您擁有大量內容，您可能希望更好地控制網站的抓取和編制方式。
搜索機器人每個網站都有一個抓取配額。
這意味著他們在爬網會話期間抓取一定數量的頁面。如果他們沒有完成對您網站上的所有網頁的抓取，那么他們將返回并在下一個會話中繼續抓取。
這可能會降低您的網站索引速度。
您可以通過禁止搜索機器人嘗試抓取不必要的頁面（如WordPress管理頁面，插件文件和主題文件夾）來解決此問題。
通過禁止不必要的頁面，您可以保存爬網配額。這有助于搜索引擎抓取您網站上的更多網頁，并盡快為其編制索引。
使用robots.txt文件的另一個好理由是，您希望阻止搜索引擎索引您網站上的帖子或頁面。
這不是向公眾隱藏內容的最安全方式，但它可以幫助您防止它們出現在搜索結果中。
什么是理想的Robots.txt文件應該是什么樣的？
許多流行的博客使用非常簡單的robots.txt文件。它們的內容可能會有所不同，具體取決于特定網站的需求：
|
1
2
3
4
5
|
User-agent: *Disallow: Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml |
此robots.txt文件允許所有機器人索引所有內容，并為其提供指向網站的XML站點地圖的鏈接。
對于WordPress網站，我們建議在robots.txt文件中使用以下規則：
|
1
2
3
4
5
6
7
8
9
|
User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Disallow: /readme.htmlDisallow: /refer/Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml |
這告訴搜索機器人索引所有WordPress圖像和文件。不允許機器人搜索索引WordPress插件文件，WordPress管理區域，WordPress自述文件。
通過將站點地圖添加到robots.txt文件，您可以輕松地讓百度和Google機器人找到您網站上的所有網頁。
既然你知道了一個理想的robots.txt文件是什么樣子，那么讓我們來看看你如何在WordPress中創建一個robots.txt文件。
如何在WordPress中創建Robots.txt文件？
有兩種方法可以在WordPress中創建robots.txt文件。您可以選擇最適合您的方法。
方法1：使用Yoast SEO編輯Robots.txt文件
如果你使用的是Yoast SEO插件，那么它附帶了一個robots.txt文件生成器。
您可以使用它直接從WordPress管理區域創建和編輯robots.txt文件。
只需轉到WordPress管理員中的SEO?工具頁面，然后單擊文件編輯器鏈接。
在下一頁，Yoast SEO頁面將顯示您現有的robots.txt文件。
如果您沒有robots.txt文件，那么Yoast SEO將為您生成robots.txt文件。
默認情況下，Yoast SEO的robots.txt文件生成器會將規則添加到您的robots.txt文件中：
刪除默認文本后，您可以繼續添加自己的robots.txt規則。我們建議使用上面分享完美的robots.txt格式。
完成后，請不要忘記點擊“保存robots.txt文件”按鈕來存儲您的更改。
方法2.使用FTP手動編輯Robots.txt文件
對于此方法，您將需要使用FTP客戶端 來編輯robots.txt文件。
只需使用FTP客戶端連接到您的WordPress主機帳戶即可。
進入后，您將能夠在網站的根文件夾中看到robots.txt文件。
如果您沒有看到，那么您可能沒有robots.txt文件。在這種情況下，您可以繼續創建一個。
Robots.txt是一個純文本文件，這意味著您可以將其下載到您的計算機并使用任何純文本編輯器（如Notepad或TextEdit）進行編輯。
保存更改后，您可以將其上傳回網站的根文件夾。
最后總結
優化robots.txt文件的目的是阻止搜索引擎抓取不公開的網頁。例如，wp-plugins文件夾中的頁面或WordPress管理文件夾中的頁面。
我們建議您按照上述robots.txt格式為您的網站創建robots.txt文件。
