從 0 建設個人網站
Google 搜尋不到我的網站?2026 個人網站收錄排查與上線檢查清單
網站上線了 Google 卻搜不到?用 site: 和 Search Console 網址檢查,分清楚是還沒被找到還是沒被收錄,照索引報表逐項處理,附上線檢查清單。
Kelvin Wang · · 17 分鐘閱讀
重點整理
- 新網站搜尋不到通常只是太新:Google 說新網頁或新網站大約要一週左右才開始被檢索和收錄,沒有辦法強迫它加快。
- Search Console 的網址檢查會說出原因:「Google 無法辨識的網址」「已找到,目前尚未建立索引」多半是等,noindex、robots.txt 封鎖、403 要自己修。
- 自己造成的原因,最常見的是測試站的 noindex 沒拿掉、robots.txt 整站封鎖、AI 架站工具做的單頁應用 HTML 是空的、canonical 指錯網址。
- 被收錄只代表有資格出現,不保證排名;Google 的 AI 摘要也不需要額外的檔案或標記,llms.txt 是選用的。
網站搜尋不到,不是 Google 還沒找到那一頁,就是找到了但沒收錄。Search Console 會直接告訴你是哪一種情況,所以先看那裡,標題和內容晚點再改。
我的網站 kelvinwang.info 是 Astro 做的中英雙語網站,2026 年 11 月 16 日 sitemap 裡有 238 個網址。排查的例子都是它真的遇過的狀態,上線清單也附上它用的檔案。
網站上線了,Google 還是搜尋不到?先做這三個檢查
- 在 Google 搜尋
site:你的網域。有出現任何頁面,代表網站已經在索引裡,問題在個別頁面。Google 也說site:不一定列出所有已收錄的網址1,所以只拿來看有沒有,不拿來數。 - 算一下上線多久。Google 的說法是:新網頁或新網站大約要一週左右才開始被檢索和收錄2;新網站或網站上的改動,可能要幾週才會被注意到1。網站沒被收錄,最常見的原因就是太新3。
- 到 Search Console 用網址檢查工具查那一頁。結果會是「網址在 Google 服務中」或「網址不在 Google 服務中」,後者附上原因。
Search Console 要怎麼設,sitemap 才不會白送?
資源類型和網址對不上,sitemap 會被拒
Search Console 有兩種資源4:
- 網域資源(
example.com):涵蓋所有子網域和 http/https,要用 DNS 的 TXT 記錄驗證。DNS 記錄怎麼加,可以看網域與 DNS 設定。 - 網址前置字元資源(
https://www.example.com/):只管這個開頭底下的網址。
sitemap 是跟著資源走的:送在一個資源裡的 sitemap,換到另一個資源就看不到,而且要有該資源的擁有者權限才能提交5。最常見的錯是網域對不上:sitemap 檔案放在 https://www.example.com/,裡面列的卻是 https://example.com/…,或 http 和 https 混用。Sitemap 報表會把這種情況標成網址不允許或路徑不符,sitemap 裡的網址要和 sitemap 所在的網域完全一致5。用網域資源可以少掉大部分這類問題。
Sitemap 報表的三種狀態
| 狀態 | 意思 | 怎麼做 |
|---|---|---|
| 成功(Success) | sitemap 讀取並處理完成,網址排進檢索佇列 | 不用做事 |
| 發生錯誤(Has errors) | 有部分錯誤,能解析的網址仍會排進佇列 | 點進去看錯誤細節,修好後重新提交 |
| 無法擷取(Couldn't fetch) | Google 抓不到這個檔案 | 常見原因是 robots.txt 擋住、404、伺服器暫時出錯;修好後重新提交 |
- 「系統探索到的網頁」是從 sitemap 解析出的網址數,不是已收錄的數量。Google 寫明 sitemap 裡的網址不保證會被檢索或收錄5。
- 要知道 sitemap 裡的網址收了幾個,到網頁索引報表用 sitemap 篩選。
- 「上次讀取時間」是 Google 最後一次成功抓這個 sitemap 的時間。
網址檢查和「要求建立索引」
網址檢查工具預設顯示的是 Google 索引裡的版本,不是你網站現在的樣子;按「測試線上網址」才會即時抓一次現在的頁面,兩個結果可以不同6。
- 「要求建立索引」每天有數量上限。通常一天左右,有時要一到兩週,而且不保證收錄6。
- 線上測試判定不能收錄的頁面,沒辦法要求建立索引。先修好原因。
- 頁面很多就送 sitemap,不用一頁一頁按6。
- 線上測試通過只代表 Google 進得來,不代表會收錄6。
我自己的例子:有一篇文章 Google 最後檢索時間是 11 月 3 日,我 11 月 11 日改了內容,網址檢查顯示的還是舊版本。Google 收錄的是它上次抓到的那一份,網站改了,索引不會跟著自動更新。
網頁索引報表的每個狀態是什麼意思?
Search Console 左側的「網頁」就是網頁索引報表,列出沒收錄的網址和原因。Google 說不用期待每個網址都被收錄,大部分網站都有一些未收錄的網頁,但重要的網頁應該要收2。
| 狀態 | 意思 | 怎麼做 |
|---|---|---|
| Google 無法辨識的網址(URL is unknown to Google) | Google 從沒看過這個網址,出現在網址檢查工具 | 確認它在 sitemap 裡、有站內連結,可以要求建立索引 |
| 已找到,目前尚未建立索引(Discovered – currently not indexed) | Google 知道這個網址但還沒檢索;通常是怕網站負荷過重而延後,所以沒有上次檢索日期 | 多半是等;重要頁面確認有站內連結 |
| 已檢索 - 目前尚未建立索引(Crawled – currently not indexed) | 抓過了,這次沒收;Google 說很多網站都會看到 | 重要頁面才用網址檢查找原因 |
| 網址含有「noindex」標記 | Google 要收錄時看到 noindex | 想被收錄就拿掉 noindex |
| 網址遭到 robots.txt 封鎖 | robots.txt 不讓 Google 抓 | 想被收錄就解除封鎖;想把頁面排除在索引外,用 noindex 而不是 robots.txt |
| 這是重複網頁;Google 選擇的標準網頁和使用者的選擇不同 | 你宣告了 canonical,Google 認為另一個網址更適合 | 用網址檢查比對兩個 canonical,看內容是不是真的重複 |
| 替代頁面(有適當的標準標記) | 這頁正確指向已收錄的標準網頁 | 不用做事 |
| 頁面會重新導向 | 會轉址的網址本身不收錄 | 正常;確認轉址目標有收錄 |
| 重新導向錯誤 | 轉址鏈太長、轉址迴圈、網址太長,或轉址鏈裡有錯誤或空白的網址 | 改成一次轉到最終網址 |
| 轉址式 404 錯誤(Soft 404) | 網頁回應 200,內容卻像錯誤頁或幾乎是空的 | 不存在的頁面回應真正的 404;單頁應用改用伺服器端渲染或預先渲染,讓 HTML 裡有內容 |
| 找不到(404) | 網址回應 404 | 只修自己有連結或列在 sitemap 的;搬家的頁面用 301 轉到新網址 |
| 因拒絕存取(403)而遭到封鎖 | 伺服器拒絕 Googlebot | 檢查防火牆、機器人防護、密碼保護 |
| 伺服器錯誤(5xx) | 抓的時候伺服器出錯 | 看伺服器紀錄;一直出錯的網址會被移出索引 |
狀態的意思和處理方式整理自 Google 的網頁索引報表與網址檢查工具說明26,名稱照 Search Console 說明中心的繁體中文版。修好之後在原因的詳細資料頁按「驗證修正後的項目」,Google 說驗證通常會在兩週內完成,有時更久2。
我的網站遇過的三個狀態
- Google 無法辨識,持續好幾週。2026 年 10 月 26 日上線的交易所頁面,有一些一直列在 sitemap 裡,好幾週後網址檢查仍顯示 Google 無法辨識。sitemap 只是讓 Google 知道有這些網址,什麼時候去抓由它排。
- Googlebot 抓舊網址拿到 404。文章從資料庫搬成檔案時有些網址改了,另外還有一個拼錯的網址,Googlebot 都還會回來抓。2026 年 11 月 16 日我把這些舊網址加上 301 轉到現在的文章;Google 把 301 當成「該處理轉址目標」的強烈訊號7,讀者從舊連結點進來也不會看到錯誤頁。
- 上次檢索日期停在改版之前。就是上面那篇 11 月 3 日之後沒再被抓的文章:網站改了,索引裡還是舊的。
最常見的自己造成的原因有哪些?
等了很久都沒收,或報表出現要自己修的狀態,多半是下面其中一個:
- 測試站的 noindex 帶上正式站。開發時加的
<meta name="robots" content="noindex">或X-Robots-Tag標頭,上線忘了拿掉。用 JavaScript 在載入後移除 noindex 也不可靠:Google 看到 noindex 可能直接跳過渲染,不執行那段 JavaScript8。 - robots.txt 整站封鎖。
Disallow: /擋掉全部,很多架站工具在「開發中」模式會自動加。 - 內容只靠 JavaScript 產生。AI 架站工具常做出單頁應用(SPA),伺服器回的 HTML 幾乎是空的,內容要等瀏覽器執行 JavaScript 才出現。Google 會把頁面排進渲染佇列,但只看得到渲染後 HTML 裡的內容;它也建議用伺服器端渲染或預先渲染,因為不是所有爬蟲都會執行 JavaScript8。錯誤頁如果回應 200,還會被判成轉址式 404 錯誤(soft 404)7。
- canonical 指錯。每一頁的
<link rel="canonical">都指向首頁或測試網域,Google 會把它們當成重複頁。canonical、轉址和 sitemap 都是給 Google 的訊號,最後選哪個網址由 Google 決定9。 - 被收錄的是預覽網域。託管平台給的預設網址沒加 noindex,又被別處連到,Google 可能收的是它而不是你的網域。預設網址加 noindex,或用 301 轉到正式網域。
- 沒有任何連結指向這一頁。Google 主要靠已經抓過的頁面上的連結找到新頁面10。只在 sitemap 裡、站內沒有任何連結的頁面,少了這條路。
- 防火牆或機器人防護擋到 Googlebot。報表出現 403 或 5xx 就要查。Google 說 403、404 這類錯誤會讓已收錄的網址被移出索引,一直回 5xx 或 429 也會;也不要用 401、403 來限制檢索速度7。要放行 Googlebot,用反向 DNS 確認來源是
googlebot.com,或比對 Google 公布的 IP 範圍;解析到google.com或googleusercontent.com的是 Google 其他的爬蟲和使用者觸發的擷取工具,不是 Googlebot11。User-Agent 誰都能填,只看它不夠。
哪些事沒辦法強迫 Google,什麼時候只能等?
- 收錄和排名是兩件事。網址在 Google 服務中,只代表有資格出現在搜尋結果,不保證出現6;Google 也不保證任何網站會被收錄10。
- 沒辦法強迫 Google 更新3。要求建立索引有每日上限,sitemap 也只是提示。同一個網址重複要求,不會比較快被檢索21。
- 改動要幾小時到幾個月才會反映,Google 建議等幾週再判斷改動有沒有效10。
- 該等的情況:線上測試正常、沒有 noindex 和封鎖,狀態是「Google 無法辨識的網址」或「已找到,目前尚未建立索引」,sitemap 已經送出、頁面有站內連結。能做的都做了。
- 不該等的情況:noindex、robots.txt 封鎖、403、5xx、重新導向錯誤,或
site:搜尋出現的是預覽網域。這些不會自己好。
還沒上線?上線當天要設好的八件事
| 項目 | 做什麼 | 我網站的檔案 |
|---|---|---|
| robots.txt | 允許爬蟲,指出 sitemap 位置 | public/robots.txt |
| sitemap | 列出所有公開網址 | src/pages/sitemap.xml.ts |
| Search Console | 驗證網站、送出 sitemap | PUBLIC_GSC_VERIFICATION 變數 → meta 標籤 |
| 標題與說明 | 每頁獨立的 title、description、canonical | src/layouts/PublicLayout.astro |
| 分享圖 | 每篇文章的 og:image | src/integrations/og-images.ts |
| 結構化資料 | JSON-LD:Person、WebSite、BlogPosting、BreadcrumbList | src/lib/seo.ts、src/pages/[lang]/blog/[...slug].astro |
| hreflang | 中英版本互相指向 | src/i18n/config.ts 的 hreflangLinks |
| llms.txt | 給 AI 工具看的網站目錄(選用) | src/pages/llms.txt.ts |
第一步:確認爬蟲進得來
robots.txt 和 noindex 會怎麼擋住 Google,見前面的自己造成的原因。我網站放在根目錄的 robots.txt:
User-agent: *
Allow: /
Disallow: /go/
Sitemap: https://kelvinwang.info/sitemap.xml
- 全站允許,只擋
/go/(推薦連結的轉址網址,本身沒有內容,回應也帶 noindex 標頭)。 - 最後一行告訴爬蟲 sitemap 在哪。Google 文件寫明可以用這行提交 sitemap12。
- 沒有針對 AI 爬蟲另外寫規則,所以 Googlebot、OAI-SearchBot 這些都允許。
我的 staging 環境是另一個子網域,Worker 會在回應加上 noindex 標頭,避免測試頁被收錄。
第二步:產生 sitemap
sitemap 是一份 XML,列出你希望被收錄的網址。Google 的規則12:
- 一個檔案最多 50,000 個網址或 50 MB(未壓縮),超過要拆成多個,用 sitemap index 串起來。
- 網址要寫完整的絕對網址,含
https://。 <lastmod>只有在「一直都準」的時候 Google 才會用。主要內容、結構化資料、連結改了才算修改,改版權年份不算。<priority>和<changefreq>Google 會忽略,不用寫。- 送出 sitemap 只是提示,Google 不保證會照著爬。
Astro 有官方的 @astrojs/sitemap 套件,新手裝這個就好。我的網站自己寫了 src/pages/sitemap.xml.ts,原因有兩個:
- 每個網址附上它的語言版本。 每一筆
<url>裡用xhtml:link列出中英兩個版本,這是 Google 支援的三種 hreflang 寫法之一13。 lastmod只放真的有改的時間。 文章用 frontmatter 的updatedAt;交易所頁面原本用資料同步時間,但同步每 4 小時跑一次、頁面不一定有變,所以 2026 年 11 月 5 日拿掉了,這類頁面不放lastmod。
簡化後的核心:
export const prerender = true;
export const GET: APIRoute = async () => {
const entry = (loc, alts, lastmod) =>
`<url><loc>${loc}</loc>${lastmod ? `<lastmod>${lastmod.toISOString()}</lastmod>` : ''}`
+ hreflangLinks(alts).map((a) => `<xhtml:link rel="alternate" hreflang="${a.hreflang}" href="${a.href}"/>`).join('')
+ '</url>';
const all = await getPublishedPosts();
const posts = all.map((p) => entry(pageUrl(postPath(p)), alternatesOf(p, all), p.data.updatedAt));
return new Response(
`<?xml version="1.0" encoding="UTF-8"?><urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xhtml="http://www.w3.org/1999/xhtml">${posts.join('')}</urlset>`,
{ headers: { 'content-type': 'application/xml; charset=utf-8' } },
);
};
prerender = true 讓它在建置時產生成靜態檔。草稿(frontmatter 有 draft: true)不會出現在 sitemap。
第三步:Google Search Console 驗證與送出
Search Console 是 Google 的免費工具,告訴你哪些頁面被收錄、搜尋什麼字會看到你、有什麼錯誤。
選資源類型。 兩種資源的差別見前面的資源類型,新手用網域資源,一次涵蓋 www 和非 www。
網域資源只能用 DNS 記錄驗證;HTML 標籤是給網址前置字元資源用的。我的網站用的是 HTML 標籤:驗證碼放在建置變數 PUBLIC_GSC_VERIFICATION,PublicLayout.astro 有值時才輸出:
{gscVerification && <meta name="google-site-verification" content={gscVerification} />}
驗證碼不寫死在程式碼裡,換帳號或重新驗證只要改變數。
送出 sitemap。 驗證後,左側選單 Sitemap → 輸入 sitemap.xml → 提交。報表會顯示 Google 上次讀取的時間和錯誤12。
要求建立索引。 個別新文章可以在網址檢查工具要求建立索引,限制見前面的網址檢查。
第四步:每頁的標題和說明
<title>:Google 的建議是描述清楚、簡潔、每頁不同,不要塞重複的關鍵字,品牌名可以放在開頭或結尾用符號隔開。Google 沒有限制標題長度,只是搜尋結果會依裝置寬度截斷14。
meta description:Google 主要從頁面內容自動產生摘要,覺得 meta description 更準確時才會用它。每頁寫獨立的說明、用完整句子摘要這頁在講什麼,不要只寫一串關鍵字15。
我網站的做法:
- 文章的
<title>是seoTitle加上名字:沒有seoTitle就用title,後面接「 — 我的名字」。 - 說明依序用
seoDescription、description,都沒有才從內文開頭截一段。所以新文章一定要寫description。 - 每頁都有
<link rel="canonical">,網址統一帶結尾斜線(pageUrl()處理),避免同一頁有兩個網址。 - 每篇文章在建置後自動產生一張 1200×630 的分享圖,當作
og:image,貼到社群時有預覽圖。
標題怎麼寫,我自己的規則是用搜尋的人實際會打的字:寫品牌名、能放年份就放 2026、把文章回答的問題寫進標題。
第五步:結構化資料
結構化資料是用 schema.org 的格式,在頁面裡用機器讀得懂的方式說明「這是一篇文章、作者是誰、什麼時候發布」。Google 用它來理解頁面,部分類型可以在搜尋結果顯示成複合式結果。
文章用 Article、NewsArticle 或 BlogPosting 其中一種,Google 沒有必填欄位,建議填 headline、image、datePublished、dateModified、author(含 name 和 url),日期要用 ISO 8601 並帶時區16。
我網站的文章頁(src/pages/[lang]/blog/[...slug].astro)輸出的 JSON-LD(欄位節錄):
const jsonLd = {
'@context': 'https://schema.org',
'@type': 'BlogPosting',
headline: d.seoTitle ?? d.title,
description: summary,
datePublished: d.publishedAt.toISOString(),
dateModified: d.updatedAt.toISOString(),
author: personRef(site.person.name),
image,
url: canonical,
inLanguage: bcp47(lang),
};
其他頁面的結構化資料,和共用的 personRef()、jsonLd(),都在 src/lib/seo.ts:
- 首頁:一個
Person和一個WebSite。Person有固定的@id(https://kelvinwang.info/#person),全站每篇文章的author都指向同一個@id和關於頁網址,Google 能把所有文章連到同一個人。 - 關於頁:
ProfilePage。 - 文章列表:
CollectionPage,裡面是文章的ItemList。 - 每一種公開頁面:
BreadcrumbList,跟畫面上的麵包屑來自同一個元件。 - 中英文章互相連結:原文用
workTranslation指向譯文,譯文用translationOfWork指回原文。
一個安全細節:JSON-LD 放在 <script type="application/ld+json"> 裡,如果文章標題含有 </script> 這種字串會把標籤提早關掉,所以 jsonLd() 把 < 轉成 \u003c 再輸出。
寫完用 Google 的複合式搜尋結果測試(Rich Results Test)檢查16。
第六步:多語言網站的 hreflang
hreflang 告訴 Google「這一頁還有其他語言版本」,讓台灣的使用者看到中文版、美國的使用者看到英文版。Google 的規則13:
- 三種寫法擇一,效果一樣:
<head>裡的<link rel="alternate" hreflang>、HTTP 標頭、sitemap 的xhtml:link。 - 每個版本都要列出自己和所有其他版本,而且必須互相指向。A 指向 B、B 沒指回 A,這組標記會被忽略。
- 網址要寫完整,含
https://。 x-default給語言都不符合的使用者,適合語言選擇頁或會自動導向的首頁。
我網站中文文章的 <head>:
<link rel="alternate" hreflang="zh-Hant" href="https://kelvinwang.info/zh-hant/blog/xxx/" />
<link rel="alternate" hreflang="zh-TW" href="https://kelvinwang.info/zh-hant/blog/xxx/" />
<link rel="alternate" hreflang="zh-HK" href="https://kelvinwang.info/zh-hant/blog/xxx/" />
<link rel="alternate" hreflang="en" href="https://kelvinwang.info/en/blog/xxx/" />
<link rel="alternate" hreflang="x-default" href="https://kelvinwang.info/en/blog/xxx/" />
英文版有一模一樣的一組。這組標記同時寫在 <head> 和 sitemap 裡,都由 hreflangLinks() 產生,不會兩邊不一致。
網址結構用語言前綴:/zh-hant/… 和 /en/…,每個語言版本有自己的網址,這是 Google 建議的做法17。
有一點我的做法和 Google 的建議不同:我的網站首頁 / 會依 cookie 和瀏覽器語言轉到 /zh-hant/ 或 /en/。Google 建議不要在語言版本之間自動轉址,因為 Googlebot 多半從美國爬、不送 Accept-Language,可能看不到其他版本17。我這樣做的前提是:/ 本身不是任何語言版本,兩個語言版本的網址都不會再被轉走,畫面上也有語言切換連結,sitemap 和 hreflang 都列出了兩邊。
第七步:中文網站要多注意的事
繁體、簡體要分開
- Google 從頁面上看得到的文字判斷語言,不看
lang屬性或網址17。一頁只放一種語言,正文、選單都一致,不要繁簡混排。 - hreflang 代碼:繁體用
zh-Hant、簡體用zh-Hans,也可以用zh-TW這種語言加地區的寫法,Google 會從地區推斷字體13。不能只寫地區(例如只寫TW)。 <html lang>照樣要寫對(zh-Hant),雖然 Google 不靠它判斷語言,螢幕閱讀器和瀏覽器的字型選擇會用到。- 要做簡體版,就給它獨立的網址(例如
/zh-hans/),加進 hreflang。字形轉換只換字、不換用語:台灣的「軟體」「影片」,對岸說「软件」「视频」,直接轉字讀起來仍然是台灣用語,要另外調整。
我的網站目前只有繁體中文和英文。zh-TW 和 zh-HK 都指向繁體版,是因為這兩個地區的讀者都用繁體。
中文網路字型很大
英文字型一個檔案幾十 KB,中文字型因為字數多,大上很多。2026 年 11 月 7 日我抓 Google Fonts 的 Noto Sans TC(只取 400 一種字重):它被切成 108 個檔案,全部加起來約 2.3 MB。Google Fonts 用 unicode-range 切片,瀏覽器只下載頁面用到的字所在的分片。但一篇中文文章用到的字分散在很多分片裡,還是會下載不少;字型載入前文字可能先用系統字顯示、之後跳一下。
選擇:
- 用系統字型(我的做法):
font-family列-apple-system、"PingFang TC"、"Noto Sans TC"、sans-serif,Mac 和 iPhone 會用蘋方,不下載任何字型檔。我的設計規範寫明公開站不載入網路字型。 - 一定要用網路字型:用 Google Fonts 這類有切片的服務,加
font-display: swap,只載入一到兩種字重。 - 只有標題要特殊字型:可以只把標題用到的字做成子集字型,檔案會小很多。
字型影響的是載入速度和版面穩定度,這些都算在 Google 的網頁體驗裡。
第八步:AI 搜尋與 llms.txt
Google 的 AI 摘要和 AI 模式
Google 的官方說法很直接18:
- 頁面要被收錄、能在搜尋結果顯示摘要,就符合出現在 AI 摘要和 AI 模式的資格。
- 沒有額外的技術要求,不需要新的機器可讀檔案、AI 文字檔或標記,也不需要特別的 schema.org 結構化資料。
- 建議的還是一般 SEO 基本功:允許爬取、內部連結、重要內容用文字呈現、結構化資料要和頁面上看得到的內容一致、在 Search Console 驗證網站。
所以前面七步做好,AI 搜尋的準備也就做好了。
ChatGPT 搜尋
OpenAI 的說明19:
- OAI-SearchBot 決定你的網站能不能出現在 ChatGPT 的搜尋結果。要出現,
robots.txt要允許它。 - GPTBot 是收集訓練資料用的,可以單獨擋掉,不影響搜尋。
- ChatGPT-User 是使用者在 ChatGPT 裡要求讀某個網址時才會來,不是自動爬蟲。
- 改了
robots.txt約 24 小時後生效。
只想出現在搜尋、不想被拿去訓練:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
我的網站沒有分開設定,全部允許。
llms.txt
llms.txt 是 Jeremy Howard 在 2024 年 9 月提出的提案:在網站根目錄放一份 Markdown 檔,讓 AI 工具快速知道網站有什麼。必要的只有一個寫網站名稱的 H1,其他像引言摘要、用 H2 分段的連結清單都是選用20。提案頁說,他們預期它主要用在 AI 回答問題的當下(inference)讀取,而不是拿來訓練模型20。
所以它是選用的:Google 已經說 AI 搜尋不需要 AI 文字檔18。做起來成本很低,我的網站有一份,由 src/pages/llms.txt.ts 在建置時產生:
const lines = [
`# ${en.person.name}`, '',
`> ${en.person.description}`, '',
en.person.about, '',
...sections, // 每個語言一段:首頁、文章列表、關於、RSS、實驗室頁,再列出每篇文章的標題、網址和摘要
];
文章清單直接從文章資料產生,新增文章不用手動改這個檔。
上線後每週看什麼?
- Search Console 的「網頁」報表:有沒有新的「未編入索引」原因。
- 「成效」報表:哪些字開始有曝光、哪些頁面點擊率低(標題或說明可以改)。
- 改標題時一次改一篇,記下改了什麼、哪一天,幾週後再比較成效,才知道是哪個改動有用。
資料來源
- 1. Get your website on Google Search
- 2. Page indexing report
- 3. Crawling and indexing FAQ
- 4. Add a website property to Search Console
- 5. Manage your sitemaps using the Sitemaps report
- 6. URL Inspection tool
- 7. How HTTP status codes, and network and DNS errors affect Google Search
- 8. Understand the JavaScript SEO basics
- 9. How to specify a canonical URL with rel="canonical" and other methods
- 10. SEO Starter Guide
- 11. Verifying Googlebot and other Google crawlers
- 12. Build and submit a sitemap
- 13. Tell Google about localized versions of your page
- 14. Influencing your title links
- 15. Control your snippets in search results
- 16. Article structured data
- 17. Managing multi-regional and multilingual sites
- 18. AI features and your website
- 19. Overview of OpenAI Crawlers
- 20. The /llms.txt file
- 21. Ask Google to recrawl your URLs