user@dailytools:/robots-generator
robots.txt 產生器
$ templates:
規則設定 (1)
User-Agent
Disallow(禁止路徑)
Allow(允許路徑)
Crawl-delay
Sitemap
robots.txt 內容
User-agent: *
Disallow:
使用說明

視覺化產生 robots.txt 檔案,設定搜尋引擎爬蟲的存取規則。

robots.txt 是網站根目錄下的純文字檔案,用於告知爬蟲哪些頁面可以或不可以存取。可設定多個 User-Agent 規則、Allow/Disallow 路徑、Crawl-delay 爬取間隔、Sitemap 網站地圖位置等。點擊上方「常用範本」快速套用設定,或自行新增規則。

$ cat /etc/author.conf

喜歡這個專案嗎?

您的支持能幫助我持續開發更多實用工具!

-- 廣告 --