当梦想照进现实

谷歌自然搜索参数整理

2013.07.04

注明:本文甚无趣,除有专门需求,可跳开或直接忽略。


昨天跟BI要了个谷歌自然搜索流量的栏目细分数据,但早上拿到后发现每天比平常统计的多了10+W。细分一下才发现里面还有很多参数需要过滤和处理。下面是过滤的步骤:

谷歌在7月2日的李时珍doodle

基础级

  1. 先是从referer里提取出含有google的log数据(获得元数据)
  2. 过滤广告数据,有/ad?, doubleclick(除掉15%)
  3. 过滤图片数据,有tmb=isch, imgres(除掉17%)
  4. 过滤翻译,邮箱和地图,有translate,mail.google,maps.google(除掉3%)
  5. 过滤aol,有.aol.(不到1%)

进阶级

通过以上环节,基本上已经完成了90%。如果想做到极致,可以继续细分。(注意,以下是细分,并不是过滤。是否过滤看自己情况。)

  1. url?。谷歌的跳转URL,302跳转到目标网页。
  2. aclk?。谷歌的跳转URL,302跳转到目标网页。

请注意,付费搜索也在使用前两个参数,通过这个参数获得自然搜索时要先过滤掉广告数据。

  1. search?。常规的搜索参数,不过数量不太多。
  2. google首页,没有参数,可以用正则过滤。这部分可能是因为用户使用了https搜索,出于隐私保护没有具体地址。
  3. m?,/#,webhp?,xhtml?。这些是谷歌的跳转URL,会跳转到谷歌的搜索结果页。但数量都不多。

还有一些不知道啥东西的URL:

  1. google.com/search。很奇怪的referer,没有搜索词,只有这个。
  2. /blank.html。也很奇怪,是个空白页面,但能着陆到网站上。
  3. cse?。也是个空页面。
  4. /uds/afs?,空白页面,数量极多。

基本就这么多了,今天才忽然发现原来之前就不知道真实的自然搜索流量,真是可悲。这就是一天的成果,正好可以加在最近的BI日志分析系统中。

一个示例

以下是我昨天数据整理的一些过程,时间范围机密就不说了。
元数据102562

一轮过滤。3个搜索流量,规则:
url? 跳转参数,302至目标网页
aclk? 跳转参数,302至目标网页
search? 常规搜索参数
剩余45725

二轮过滤。referer是google首页,规则:
/$ 安全搜索,referer为google首页
剩余28485

三轮过滤。广告流量,规则:
/cs/ 着陆页为广告
剩余27799

四轮过滤。莫名奇妙的2个referer,规则:
/blank.html 空白页面,不知道来由
/uds/afs? 空白页面,不知道来由
剩余26191

五轮过滤。莫名其妙的一对规则:
xhtml? 37 跳转至GG搜索结果页
custom? 24 GG自定义搜索或由GG驱动的搜索
webhp? 174 跳转至GG搜索结果页
m? 460 跳转至GG搜索结果页
/# 179 跳转至GG搜索结果页
cse? 109 空白页面,不知道来由
.aol. 67 AOL搜索
/image? 23 图片搜索
剩余25166

六轮过滤。2个莫名其妙的参数:
/search$ 24431 可能是安全搜索
google.com$ 680 安全搜索,referer为google首页
剩余55

剩下的都是零碎的规则,没有进一步整理。

注:欢迎各位朋友一起交流讨论。


图注:Google在2013年7月3日在大陆,台湾,香港显示的动态doodle,为纪念《本草纲目》作者李时珍诞辰 495 周年

Comments
Write a Comment