返回上一页  首页 | cnbeta报时: 02:52:35
HBase支持的 Firefox4 下载统计页
发布日期:2011-04-05 21:08:51  稿源:

Firefox4的推出让很很多人都竖起了大拇指,其下载量也一直在上涨,为此Firefox专门做了一个页面(http://glow.mozilla.org/)展示FF4的下载状况。下面是其截图:

  而在此页面背后的数据支持,是由HBase承担的。下面是mozilla官方对此页面的技术实现的描述:
  1. 首先负责 download.mozilla.org 下载任务的服务器集群被配置成向一个远端服务器发送syslog日志。
  2. 这台日志服务器上运行了rsyslog,它将发送过来的syslog日志过滤后放入到按小时分片的存储中。
  3. 这台机器安装了SQLStream,它会一直tail出新加入的日志。
  4. SQLStream 对每条请求日志做如下操作:
    1. 过滤掉所有无效的下载请求。
    2. 使用 MaxMind GeoIP 通过日志中记录的请求IP来获取请求的来源地。
    3. 使用groupby操作将数据按下载量,下载地址及下载时间进行归类。
    4. 每10秒钟将计算结果发给HBase,HBase中有一个按时间记录的数据行,标识了这一时间哪个地点有多少下载量。
  5. glow的后端是一个python app,它使用Python Thrift协议向HBase中拉出数据,转换为JSON并存在一个按分钟分片的文件中。
  6. JSON文件用时间命名,它可以被网站的前端机缓存住以使用。
  7. 然后glow的网页获取JSON文件的内容,将里面每段时间的下载情况在页面上进行展示。
  英文原文:How glow.mozilla.org gets its data
我们在FebBox(https://www.febbox.com/cnbeta) 开通了新的频道,更好阅读体验,更及时更新提醒,欢迎前来阅览和打赏。
查看网友评论   返回完整版观看

返回上一页  首页 | cnbeta报时: 02:52:35

文字版  标准版  电脑端

© 2003-2025