尖叫青蛙 screaming frog seo spider 中文使用设置教程

你可能知道 SEO 搜索引擎优化对网站与营销非常重要，但你的网站是否适合 SEO 呢？

优化网站是一个持续的过程，需要不断查看，并在必要时候进行更改或修复。然而，这是一件苦差事，借助分析工具将会是非常省力的一种捷径，透过 SEO 分析工具能更快速找到网站不足之处，进而改善网站弱点。

但是，这几乎会跟预算有关系，很多人不想为此付出代价，对吧。没关系，我有一个好消息要给你…你可以完全免费使用一套 SEO 分析工具来检测自己的网站，当然也能用于分析对手网站。

你的网站上有多少破损的超链接？有多少失效的图片？哪些网页缺少 Meta？有缺少 H1 标签吗？

要了解以上这些问题的答案，可以通过手动检查网站，或者可以使用接下来页介绍的 Screaming Frog 为你处理这个繁琐的过程，它会自动生成报告以便让你快速找到错误。换句话说，假如你担心网站可能有 SEO 方面的问题，那么你应该尝试 Screaming Frog。

Screaming Frog 简介

Screaming Frog－https://www.screamingfrog.co.uk/seo-spider/

Screaming Frog 像是一个爬虫机器，会在整个网站中分析与寻找问题。以下我会介绍如何使用它，以便让你决定是否适合你和实际操作。这是一套需要安装在电脑中的 SEO 分析软件，Windows 与 Mac 电脑都有支援，这是相对麻烦的地方，因为你无法直接用手机进行检测分析。

此外，Screaming Frog 就像许多其他营销工具一样，可以免费试用，而且没有试用的时间限制。不过使用免费版本，将被限制只能抓取 500 个页面数量。500 个页面数量并不等于 500 个网页，它包括所有图片以及网站上的任何其他文件。

虽然你无法从免费版本中获得完整的功能，但这对许多网站来说已经够用了；假设你的网站属于中大型规模，则需要付费升级到付费版本。

Screaming Frog 优点和缺点

与任何其他数码工具一样，它不是完美的，以下是我认为这个工具的优缺点：

优点：

・易于理解的操作界面
・抓取网站资讯非常快速
・可以输出分析数据
・有免费版本可以使用

缺点：

・需要下载软件才能使用
・数据呈现的方式不够友好
・免费版本功能有限制

安装 Screaming Frog

到首页点选 Download 按钮，接着将会自动侦测你的电脑系统，并弹跳下载软件的视窗。

完成安装并开启软件之后，只需输入网站的网址，软件就会自动开始抓取每个页面。

标签重点介绍

一旦 Screaming Frog 完成网页抓取，有许多资讯可以查看，它全部归类并放入个别的标签选单中。在接下来我将介绍重点标签选项。

►Internal

Internal 提供有关网站的所有详细资讯，每一行代表一个单独的网页网址。

对于每个网址而言，你可以看到重要资讯，例如：状态码（200表示成功没问题）、页面标题、Meta 描述、h1h2、图片和字数。这是最好的分析起点，这就是为什么它也是第一标签。

►External

不出所料，External 将显示有关外部网址的资讯。虽然无法像在 Internal 那样看到有关外部网址的详细资讯，但仍然可以获得有用的资讯，例如：内容类型、状态码以及指向网址的链接数量。

►Protocol

这会显示哪些页面使用 https 安全传输协议，哪些页面使用 http。每行还会显示已抓取的网址的状态码和内容类型。

►Response Codes

Response Codes 可以快速查看网站上哪些页面是良好响应状态（200），是 404 代码则是找不到；有时候也会显示 301 重定向和服务器错误 5XX。

►URL

URL 标签包括与 URL 相关的数据，也包含有关每个 URL 的资讯

►Page Titles

页面标题对 SEO 效益有很高的重要性，这个标签会包含每个网址的标题资讯，也会显示缺少标题、重复标题和标题字数。

►Meta Description

在 Meta 描述标签中，你会看到页面上 Meta 描述内容和长度，也会显示缺少 Meta 描述与重复的页面。

►Meta Keyword

Google 现在忽略了 Meta 关键字，所以基本上你可以忽略此标签，但某些情况下它可能可以帮助你了解是否有不必要存在的。

►H1、H2

H1 标签是站内 SEO 的另一个重要部分，在这里可以知道是否有设置 H1，以及了解那些页面有缺失 H1、重复 H1。而 H2 标签跟H1标签是一样的功能，只是针对的是 H2。

►Images

Screaming Frog不只是抓取文字内容，它也会抓取图片，这部分可以了解哪些图片是不是过大、缺少 alt 以及是否能被索引。

►hreflang

如果你的网站具有不同语系，hreflang 将会很有价值，它会显示每个页面上 hreflang 属性的详细资讯，否则你可以忽略它。

以下是官方的操作展示影片，你会发现检测速度非常快，操作上完全不复杂。

Spider的设置：

设置路径：主选单“Configuration”－“Spider”。

这是很重要的设置，建议开始爬取前要先调整好。这边列出的设置是我会特别注意的，并不是全部功能，完整的功能请参考官方文件。

Crawal：

这边分成是否爬取跟是否储存，我会注意的地方：

Images：

是否爬取、储存图片？如果你只是要爬取Title、Meta描述等资料，其实可以不用爬取图片，节省处理时间，这时候可以勾选。但它只会排除<img src=””>中的图片连结，如图片是放在背景或者是<img src set=””>，就还是会被爬取，等等会说明如何排除

Follow External “nofollow”：建议勾选

如果没勾取这个设置，加上rel=”nofollow”的外部连结会被Spider忽略，这会导致你的外部连结资料不完整。以我为例，Booking.com的导购连结都被我加上nofollow，如果没勾选这选项，Spider就不会爬取这些连结，我便不会知道这些连结是否有问题！

这两个建议勾选，以免忽略了被加上rel=”nofollow”的连结

Extraction：

这边的意思就是撷取哪些资料显示在报告，通常H1、H2、Meta Description、Page Title、Indexability是必要的，Meta Keywords、Hash Value则可以忽略。但还是要看情况，例如….想知道哪些网页塞了早就被弃用的Meta Keywords，就要撷取这个资讯。

Advanced：

Always Follow Redirects：建议勾选

这个建议勾选，这样Spider遇到网页被转向时，才会一路爬下去看这个网址被转几次、被转去哪、最后的response code是什么、是否造成redirect loop。简而言之，就是转向设置是否有误、需要修正，需要搭配Redirection Chains的报告来判断。

Always Follow Canonicals：建议勾选

意义同上述的“Always Follow Redirects”，只是这是用来判断Canonical（标准网址）的设置。正常来说如果A是某个网页的标准网址，它的标准网址也要是自己才对，如果A是B的标准网址，但A的标准网址是Ｃ，这时候应该要将Ｂ的标准网址设置为C，而不是A。更惨的是….B的标准网址是A、Ａ的标准网址是B，变成一个无限回圈。

建议勾选这个设置再搭配Canonical Chains的报告来判断。

建议勾选这两个功能，后续才好进行Redirection Chains跟Canonical Chains的分析

爬取时排除特定网址：

设置路径：主选单“Configuration”－“Exclude”。

前面有提到如果只是想分析Page Title、Meta Description等文字资料，可以不要爬取图片，减轻系统负担、加快处理速度。而上述说明排除图片的设置有所限制，所以呢….就可由这功能处理！

• 排除图档：.*jpg$

• 排除特定资料夹

• 以排除WordPress的/wp-content/目录为例：https://www.wpandseo.tw/wp-content/.*（网域请替换成你想爬取的目标）

• 若想爬取的网站是以WordPress架站，你只想分析Page Title、Meta Description等文字资料，可用这方式加快处理速度

• 更多运用方式请参考官方文件

这功能非常好用！

爬取模式：

设置路径：主选单的“Mode”，分成“Spider”、“List”、“SERP”，详情请看官方文件（最下方的“Mode”）。

• Spider：预设的模式，会爬取网站所有网址，也可爬取根网域或子目录，请参考官方文件

• List：只爬取特定网址，需手动输入网址或上传档案，蛮好用的

• 先取得外部连结清单再用这模式爬取，然后看Redirection Chains报表。爬取时要注意前面提到的“Always Follow Redirects”设置

• 官方文件写得很清楚，值得一看！

• 应用 2 -确认特定外部连结是否失效：

• 应用 1 – 爬取特定网页生成XML Sitemap：可先用List模式爬取，再使用生成XML Sitemap的功能（为何要做这件事？请参考这一篇文章）

• SERP：我没用过

上面是Spider模式，下面是List

生成XML Sitemap：

设置路径：主选单的“Sitemaps”，除了一般网址的XML Sitemap，也提供图片的。

我是使用WordPress架站，很少使用这功能，除非….我需要生成一份只含特定连结的XML Sitemap（实际案例）。注意事项：

• 须先完成爬取才能生成XML Sitemap

• 生成XML Sitemap之后要上传到主机空间再提交到Google Search Console（相关教学）

• Screaming Frog的XML Sitemap并不会伴随网站自动更新，网站有变动就需要再执行一次，所以….这只是应急的做法！

我用Screaming Frog产生的XML Sitemap

其他设置：

这篇Screaming Frog教学无法讲完所有的设置，太多了！下列功能也蛮有趣的，可以看一下：

• Storage Mode：预设是Memory Storage，如果爬取大量网页可能会出问题，可考虑切换到Database Storage（官方说明）

• 封锁Screaming Frog的爬虫：如果你的网站不想被Screaming Frog爬取，可在Robots.txt加上设置，想爬取时要记得修改（官方说明）

储存设置档：

Screaming Frog可设置的功能很多，每次使用都要重新设置会很烦人，所以它提供了储存设置档的功能，有两种：

主选单“File”－“Configuration”－“Save As”

这个功能会将你在主选单“Configuration”中调整的设置，包含上述的Spider设置、排除网址等等，存成一个设置档，之后想使用时要“开启”这个档案。除了节省调整设置的时间，Screaming Frog的排程功能（Scheduling）也需要这个设置档，时间到了它才知道该怎样爬取网站，可参考官网说明。

主选单“File”－“Configuration”－“Save Current Configuration as Default”

这个功能会将你在主选单“Configuration”中调整的设置，包含上述的Spider设置、排除网址等等，设置为“预设值”，之后开启Screaming Frog就会自动套用该设置，不用像上面方式还需要开启设置档。想清除该预设值就点主选单“File”－“Configuration”－“Clear Default Configuration”。

这两种方式各有优缺，第一个的缺点当然就是需要手动开启设置档，好处是可以储存很多个设置档供不同情境下套用，而且Screaming Frog的排程功能（Scheduling）也需要这个设置档，时间到了它才知道该怎样爬取网站（官网说明）。

第二个方式的好处就是快速、不用多一个开启设置档的动作，坏处就是….预设值只能有一个，而且排程功能一定要搭配一个设置档，无法使用预设值。

所以比较好的方式就是将最常用的设置指定为预设值、将其他会重复使用的设置存为设置档，如果你的排程想要套用预设值，也要将它存为设置档。

设置档是建立Screaming Frog排程的必要档案！

其他应用补充

►查找非安全网页

对于非安全页面会影响搜索引擎与受众对你的信任度，Screaming Frog 可以导出糗含所有非安全页面的所有资料。只需到Reports并选择Insecure Content。

导出后你需要对非安全网页进行修复，确保都是 https 而不是 http，或者避免混合内容。假如你想了解更多 https 的资讯，可以参考这篇文章：为什么网站需要 https？

►制作网站地图

网站地图可以让搜索引擎机器人更好地抓取网站资料，Screaming Frog也可以帮助创建网站地图。

在选单中选择Sitemap和Create XML sitemap（保留预设设置），再点击Next就可以创建XML网站地图。完成后再将其上传或更新到网站，当然这一项功能不是必用的，是针对网站功能缺乏而提供的。

►找到速度缓慢页面

网站加载速度是 SEO 搜索排名因素之一，也会影响转化率。Screaming Frog 可以告诉伺服服器是否存在问题，可以从 Response Time 进行了解，以便将焦点放在需要帮助加快载入速度的页面上。

最后我想说的是……

Screaming Frog 不是全能的 SEO 分析工具，但它确实在分析页面资讯上非常便捷快速，而且还是免费就足够堪用的小帮手。虽然市场上还有其他类似的工具，但 Screaming Frog 我认为是该领域佼佼者，以及我个人的使用偏好。

重要的是它有付费版本，所以有资源可以维护相对来说更能跟上行业的所有变化，无论选择使用免费版本还是付费版本，Screaming Frog 都是不可或缺的 SEO 分析工具之一。

除了知道如何使用这套软件之外，更重要的是适时调整、修改网站的意愿与能力，否则就算找出问题也没有任何帮助呢。