檔案語法簡單，每個區塊以 User-agent 開頭，指定針對哪個爬蟲，接著是 Disallow 或 Allow 規則。例如：

makefile Copy Edit User-agent: * Disallow: /admin/ 上述語法代表禁止所有爬蟲進入 /admin/ 資料夾。

最佳實踐包括：

只阻擋不希望被索引的頁面。

使用 robots.txt 配合 meta 標籤控制索引。

測試 robots.txt 設定是否正確，可用 Google Search Console 工具。

避免阻擋重要的 CSS 或 JavaScript 資源，否則可能影響搜尋引擎對頁面內容的理解。

總結來說，Robots.txt 雖簡單，卻是網站 SEO 策略中不可忽視的一環。