一句話總結：Google 的爬蟲時間有限，這叫「檢索預算」。技術 SEO 的核心就是「跟爬蟲交朋友」，讓它爬得快、爬得順、不迷路，重要頁面才收得進去。
什麼是檢索預算？
Google 再強大，也沒有無窮資源同時爬全世界每一頁。所以它會分配時間和資源給不同網站，這就叫「檢索預算」，也叫爬蟲預算。它會把資源優先給權重高、品質好的網站。分配多寡，通常看這幾件事：
- 內容品質：爬蟲更願意花時間在高品質內容上，因為那更能滿足使用者。
- 網站架構與動線：結構清楚、內部連結順，爬蟲爬起來輕鬆，抓取效率高。
- 頁面狀況：太多重複內容、無效頁面、無意義轉址，會浪費爬蟲的時間。
- 網站速度：載入慢，爬蟲抓起來吃力又耗時，會拖累重要頁面的檢索。
怎麼知道爬蟲有沒有來？看 GSC
這時候你非用 Google Search Console 不可（我把新手架站遇到的坑都寫在「Google Search Console 操作紀錄，從 Day 1 開始」，歡迎看看）。
進 GSC，點左下角「設定」，進「檢索統計資料」，就能看到「檢索要求總次數」。記得這裡的時間區間是過去 90 天。
舉例，我的產品先生網站目前「已編入索引的網頁」大約 29 頁，過去一段時間發生了 818 次檢索要求，你就能用這個看爬蟲來你網站的頻率。
一、讓爬蟲爬得夠快
怎麼知道你網站夠不夠快？到 PageSpeed Insights，輸入網址，就看得到 Google 怎麼判斷你的速度。
為什麼分 Mobile 跟 Desktop？因為 Google 從 2020 年 9 月起改採「行動版內容優先索引」，也就是先被索引的是行動版網頁。所以你手機版的速度越快越好。
速度變數很多，能找工程師確認最好。沒工程師的話，記住兩個原則：版型套件越簡單越好、別放沒壓縮的大圖，這些都拖慢手機載入。
二、網站架構要扁平，別讓爬蟲迷路
還有一點很重要：你的內容「層級」不要太深。就好比你的手機放在隨身包、隨身包放在後背包、後背包放在後車箱、車又停在停車塔裡。每天要看手機訊息還得穿過這麼多層，是不是很花時間又難找？爬蟲來你網站也一樣。
架構的原則是越扁平越好，盡量讓爬蟲和使用者在 4 到 5 次點擊內，就能從首頁到達任何一個重要深層頁面。實務上可以這樣做：
- 導航用 HTML 文字連結：主導航千萬別用 JavaScript、Flash 或純圖片生成，爬蟲可能讀不到。以我為例，導航列只有兩層，就是要讓爬蟲輕鬆透過超連結到我的頁面。導航做得好，搜尋結果還可能顯示「sitelink」，比只有一行標題好看得多。
- 加麵包屑導航（Breadcrumbs）：幫搜尋引擎判斷當前頁面在整個網站結構裡的位置。
- 正文放內部連結：文章裡自然提到相關頁面時，順手放上超連結，一篇放 2 到 4 個就好，記得一定要「自然地提到、順便放連結」。
順便避開「蜘蛛陷阱」
有些設計會讓爬蟲卡住或讀不到，要避免：整站 Flash、框架結構（Frame）、強制登入才能看的內容，還有會在網址自動生成 Session ID 的動態追蹤（會產生無限多重複網址）。
三、重複內容會搞混爬蟲
什麼叫重複內容？當你這頁的內容，在世界上別的頁面也存在，Google 就會啟動一連串「腦補」機制，怎麼腦補我們管不了，所以要主動讓它知道你的內容是獨一無二的。
不要一文多貼。很多人以為內容散播越廣越好，但對 Google 來說，就像老師出題「我的媽媽」，結果全班一半人媽媽都姓劉、還住同一個地方，老師改作業時根本分不出誰抄誰。Google 有自己一套判斷「根源」的機制，但有些黑帽手法會讓它誤判。所以你的文章只在你自己網站出現最安全；真要授權別站，建議最多給三分之一內容，附上「全文請至原始頁面」加超連結。
技術性的重複也要注意，這幾種很常見：
- 帶 www 與不帶 www（pagerank.ing 與 www.pagerank.ing）：會分散權重、品牌混淆。解法：選一個主網域，另一個用 301 轉過去。
- HTTP 與 HTTPS：HTTP 不安全、影響信任與排名，也分散權重。解法：用 301 把 HTTP 全部導到 HTTPS。
- 內容幾乎一樣的多頁（例如同款鞋不同尺寸各一頁，只差尺寸文字）：會混淆索引。解法：用 canonical 標籤把其他頁指向「唯一」的那頁。
這些技術問題不建議自己硬處理，找工程師或委外人員，但你要留心它存在。
四、直接給爬蟲一張 sitemap
一秒就懂：把你網站所有網址列成一張清單交給爬蟲。它就像給爬蟲的「全站重要道路導航圖」，能大幅提升爬取效率。
怎麼產生？我通常用 Sitemap Generator 網站產生後上傳到根目錄；如果你用 WordPress，裝個 SEO 外掛就會自動生成。搞不定就找工程師。而且要請工程師讓 sitemap.xml「自動更新」，不然每次有新舊網址變動都手動處理，累死。
怎麼確認爬蟲爬過了？
- 搜你的網頁標題看有沒有出現（前提是這個字沒被業界大老洗榜，你搜「SEO」大概找不到自己）。
- 直接搜你的網址，通常就會出現，代表這頁走完了檢索、索引、呈現的流程。
- 大絕招用 site 指令：例如
site:pagerank.ing/seo看這頁在不在；用site:pagerank.ing還能看整站總共有幾頁被收錄。
當然，SEO 老手招式很多，最常用的還是回 GSC 確認這頁有沒有被正確檢索索引，多半是為了心安和向客戶交代：你的頁面我處理好了。
最後一句話
技術 SEO 講穿了就是「跟爬蟲交朋友」：爬得快、路好走、不重複、給張地圖。把這四件事顧好，你重要的頁面才進得了 Google 的名單，後面談排名才有意義。
要深入了解 SEO，請參考我們的詳細指南：SEO 是什麼？就是一套方法，向 Google 證明：我的內容，就是這個問題的最好答案。
幾個容易被忽略的實務重點
- 抓取預算由兩件事決定：抓取需求（Google「想」抓多少，看你網站規模、更新頻率、整體品質與權重）與抓取性能限制（Google「能」抓多少，看你伺服器回應速度與頻寬，它絕不想因為過度抓取拖垮你的站）。
- 所以優化方向很清楚：降 TTFB、加快下載（壓縮圖片用 WebP、精簡 CSS/JS、開 GZIP、上 CDN），蜘蛛才能在同樣時間抓更多頁。
- 另一手是用 robots.txt 擋掉沒搜尋價值的冗餘頁（電商的過濾篩選頁、動態排序頁、Session ID 網址、站內搜尋結果頁、萬年曆），把預算省給真正重要的頁面。
延伸閱讀
搭配一份 XML Sitemap，可以讓爬蟲更不容易漏掉你的頁面。
再往下看：爬蟲怎麼決定先爬誰
爬蟲不是隨機亂逛。它背後有一個「地址庫」在調度：把已知網址排隊，依重要性（被連結多寡、更新頻率、權重）決定先爬哪個。你的網站被連得越多、更新越勤，它來得越勤。它也會踩到「蜘蛛陷阱」，像無限的日曆頁、參數組合爆炸的篩選頁，這些會讓爬蟲鬼打牆、白白燒掉你的檢索預算。做法：用 robots 擋掉這些無意義的參數頁，把重要頁面的內部連結加強。