user@dailytools:/robots-generator█
robots.txt 產生器
規則設定 (1)
User-Agent
Disallow(禁止路徑)
Allow(允許路徑)
Crawl-delay秒
Sitemap
robots.txt 內容
User-agent: * Disallow:
使用說明
視覺化產生 robots.txt 檔案,設定搜尋引擎爬蟲的存取規則。
robots.txt 是網站根目錄下的純文字檔案,用於告知爬蟲哪些頁面可以或不可以存取。可設定多個 User-Agent 規則、Allow/Disallow 路徑、Crawl-delay 爬取間隔、Sitemap 網站地圖位置等。點擊上方「常用範本」快速套用設定,或自行新增規則。