打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
菜鸟也能玩转大数据:Airbnb开源Presto数据库SQL工具 | 36大数据
旅游房屋短租网站Airbnb近日开源了一款SQL工具——Airpal,使普通员工也能够用Hadoop系统分析大数据。
Airpal是Airbnb一年前就已经开发并使用的Presto数据查询工具,通过Airpal的设计宗旨是降低数据查询门槛,通过可视化界面等使不同部门的业务人员也能轻松写出数据查询请求,预览、分享并复用查询任务。
在Airpal问世之前,互联网公司普遍使用Hive分析Hadoop系统中的数据,但是在Airbnb只有不到15个人能够为Hive编写复杂的SQL查询请求,因为Hive基于Hadoop最常见的批处理引擎——MapReduce,而且运行速度很慢。
据Airbnb的产品经理James Mayfield介绍,超过三分之一的Airbnb员工已经使用过Airpal,SQL的学习曲线坡度被极大降低。
过去,Airbnb的员工如果想分析用户进行预订房间或重置密码等活动时系统自动发送的电子邮件的有效性,需要通过数据科学家使用Hive(Facebook 2008年开源的一款类似SQL的Hadoop数据仓库框架),整个流程冗长缓慢,如今通过Airpal,Airbnb的员工可以自行查询并在数分钟内就获得结果。
Airpal的用户界面
关于Presto:
Airpal的开发基于Facebook的Presto SQL引擎,而Presto是Facebook开发的可在PB级数据上更快执行交互SQL查询的技术,Presto没有使用MapReduce引擎,所有处理都在内存中完成,因此能够获得比Hive至少一个数量级的处理速度。2013年底,Facebook将Presto开源,此举让Presto迅速流行,包括AirBnb和Dropbox等明星创业公司都开始采用Presto。
via:ctocio
End.
可能感兴趣的内容
译:为企业支招,条条“大数据”之路通向你的客户
过年回家妈妈教你什么是大数据分析
解答│做大数据过程中遇到的13个问题
大数据分析之Hadoop现有测试框架探幽
大数据时代的商务智能解构企业数据仓库架构
无觅关联推荐[?]
转载请注明来自36大数据(36dsj.com):36大数据 ?菜鸟也能玩转大数据:Airbnb开源Presto数据库SQL工具
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
Presto实现原理和美团的使用实践
#数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie
研究Airbnb架构,我学到了什么?
开源大数据OLAP引擎对比
8个值得关注的SQL-on-Hadoop框架
(非常好)SQL on Hadoop中用到的主要技术——MPP vs Runtime Framework
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服