您好,欢迎来到网站目录!
当前位置:网站目录 » 站长资讯 » 社会焦点 » 滴滴云Notebook上使用 BlazingSQL 加速BI分析

滴滴云Notebook上使用 BlazingSQL 加速BI分析

来源:网络互联网 浏览:68次 时间:2021-03-20 14:40:29

BlazingSQL

BlazingSQL是RAPIDS生态系统的GPU加速SQL引擎,现在在 Apache 2.0 许可下开源。
RAPIDS 包含一组软件库(BlazingSQL、cuDF、cuML、cuGraph),用来在 GPU 上执行端到端的数据科学计算和分析管道。

BlazingSQL是一个基于RAPIDS生态系统构建的GPU加速SQL引擎。RAPIDS基于Apache Arrow柱状内存格式,cuDF是一个GPU DataFrame库,用于加载、连接、聚合、过滤和操作数据,

BlazingSQL是cuDF的SQL接口,具有支持大规模数据科学工作流和企业数据集的各种功能。

主要特性:

查询本地和外部存储数据 - 单行代码可以注册远程存储解决方案,例如 Google Cloud Storage。

简单的SQL - 非常容易使用,运行SQL查询,结果是GPU DataFrames(GDF)。

互操作性 - 任何RAPIDS库都可以立即访问GDF以获取数据科学工作负载。

滴滴云平台团队在此基础上打通了滴滴云对象存储S3,使得BlazingSQL可以直接用SQL操作S3上的文件对象。支持的文件格式包括:csv,parquet, orc, gdf,json。

 举例

如图创建 notebook SQL-GPU分析实例,输入大师码2048享受9折优惠。*注意选择16GB内存规格。然后在[我的对象存储密钥]拿到S3的AK,SK密钥, 成功创建 notebook 后,我们打开 python rapids 环境。

我们来看一个分析 Graphistry Netflow Analysis 实际的例子,
原始数据集来自:

https://blazingsql-colab.s3.amazonaws.com/netflow_data/nf-chunk2.csv

上图是读取S3 并进行SQL分析的例子。
https://github.com/BlazingDB/bsql-demos/blob/master/vs_pyspark_netflow.ipynb

这里是读取本地文件分析的例子,经过GPU加速后,比用spark分析快了6x。

 总结

在滴滴云GPU notebook产品里,我们将易用性更进一步。结合我们的DAI notebook产品,可以直接在基于jupyter环境的notebook里进行SQL开发、调试、运行,简单易用。

开发者不用关心底层CUDA和GPU技术细节,甚至不用了解CUDF,CUML的API,开发者可以聚焦和投入到数据分析最核心的业务逻辑上去,滴滴云DAI notebook产品和底层GPU云服务器,为这一切提供了强有力的底层技术支撑。更关键的是,物美价廉,性价比高!欢迎大家使用!

另外敬请期待SaaS 版的BlazingSQL!输入AI大师码【1122】,滴滴云GPU全线产品享9折优惠。

推荐站点

  • 安提资讯网安提资讯网

    安提资讯网汇聚了国际,国内,军事,港台,社会,科技,娱乐,体育,房产等频道。

    www.antibea.com
  • 夜空股票网夜空股票网

    夜空股票网,集合股票配资、杠杆炒股、炒股开户平台的推荐,各类炒股配资平台的更新,需要杠杆配资炒股到夜空股票网。

    www.ykjz888.com
  • 视野新闻网视野新闻网

    视野新闻网提供国际、国内、军事、社会、娱乐、财经、科技、教育、房产、体育等热门分类频道。

    www.syhwl.com
  • 乖乖资讯网乖乖资讯网

    乖乖资讯网致力于打造最快最新具活力的门户网站,为广大网民提供全面及时的资讯、房产、汽车、旅游、军事、娱乐、体育、科技、企业、财经、历史、考古、教育、健康等实时资讯。

    www.gghzp.com
  • 小爱新闻网小爱新闻网

    小爱新闻网致力于打造最快最新具活力的门户网站,为广大网民提供国内、国际、财经、体育、娱乐、军事、教育、健康、科技、生活等实时资讯。

    www.xasrjc.com

最新收录站点

  • 晟红网晟红网

    晟红网是一家线上正规实盘股票配资公司,提供微策略配资其独创的计费模式用多少算多少受到广大用户的欢迎,另更有按天配资、按月配资等多项创新配资模式的配资服务平台。易投投承诺100%实盘、极速提盈、科创板、单票满仓等跟各种满足用户盈利需求的配资服务。

    www.shhwang.com
  • Bienmanger官网Bienmanger官网

    Bienmanger是一家专业经营精选法式香料及精选礼品美食的网络电商。它成立于1999年,位于法国西南部农业大省 Lozère。Bienmanger对于食材的成分,生产过程会进行严格的筛选,尽量避免使用人造香精,色素,以及食品添加剂的产品。目前是法国最大并且也是口碑最好的美食类网站。www.bienmanger.cn

    www.bienmanger.cn
  • 家常菜做法大全家常菜做法大全

    家常菜做法大全(www.caipucn.com)菜谱中国收集全国各地菜谱美食的做法,不会做菜或想做好吃的菜的朋友,只要你想做菜就来菜谱中国网,有大量美食菜谱一定会有你想要做的菜,你有好的菜谱也可以在这分享给别人

    www.caipucn.com
  • 创食纪创食纪

    创食纪餐饮培训中心,致力于打造餐饮界小本创富平台,在中国餐饮技术研发和创新领域具有多年的实战经验,凭借汉香卤在餐饮咨询、项目开发和运营、技术传承和创新的成功经验,一经面世就赢得了市场和众多学员的认可,企业始终专注餐饮技术技能教学,主要饮食专业有:面品类、早点类、汤粥类、卤味类、烧烤类、烘焙类、烧烤类、时尚饮品类、日韩料理类等多门学科。企业秉承“培养饮食业高质量人才,帮助每一位学员就业、创业”为宗旨,迅速成为餐饮技术培训行业中的一匹黑马

    www.ahcsj.net
  • 零食网零食网

    汇吃网-好吃的零食,休闲食品-吃货及零食控最爱的中国零食网站-汇集各种好吃的零食、休闲食品、零食、甜品及土特产,提供最好吃的零食甜品店、港式甜品店、土特产店地址;各种零食的做法和食用方法;汇吃网以让各位吃货们享尽美味、安全的零食甜品而努力。www.huichi5.com

    www.huichi5.com