您好,欢迎来到网站目录!
当前位置:网站目录 » 站长资讯 » 社会焦点 » 滴滴云Notebook上使用 BlazingSQL 加速BI分析

滴滴云Notebook上使用 BlazingSQL 加速BI分析

来源:网络互联网 浏览:181次 时间:2021-03-20 14:40:29

BlazingSQL

BlazingSQL是RAPIDS生态系统的GPU加速SQL引擎,现在在 Apache 2.0 许可下开源。
RAPIDS 包含一组软件库(BlazingSQL、cuDF、cuML、cuGraph),用来在 GPU 上执行端到端的数据科学计算和分析管道。

BlazingSQL是一个基于RAPIDS生态系统构建的GPU加速SQL引擎。RAPIDS基于Apache Arrow柱状内存格式,cuDF是一个GPU DataFrame库,用于加载、连接、聚合、过滤和操作数据,

BlazingSQL是cuDF的SQL接口,具有支持大规模数据科学工作流和企业数据集的各种功能。

主要特性:

查询本地和外部存储数据 - 单行代码可以注册远程存储解决方案,例如 Google Cloud Storage。

简单的SQL - 非常容易使用,运行SQL查询,结果是GPU DataFrames(GDF)。

互操作性 - 任何RAPIDS库都可以立即访问GDF以获取数据科学工作负载。

滴滴云平台团队在此基础上打通了滴滴云对象存储S3,使得BlazingSQL可以直接用SQL操作S3上的文件对象。支持的文件格式包括:csv,parquet, orc, gdf,json。

 举例

如图创建 notebook SQL-GPU分析实例,输入大师码2048享受9折优惠。*注意选择16GB内存规格。然后在[我的对象存储密钥]拿到S3的AK,SK密钥, 成功创建 notebook 后,我们打开 python rapids 环境。

我们来看一个分析 Graphistry Netflow Analysis 实际的例子,
原始数据集来自:

https://blazingsql-colab.s3.amazonaws.com/netflow_data/nf-chunk2.csv

上图是读取S3 并进行SQL分析的例子。
https://github.com/BlazingDB/bsql-demos/blob/master/vs_pyspark_netflow.ipynb

这里是读取本地文件分析的例子,经过GPU加速后,比用spark分析快了6x。

 总结

在滴滴云GPU notebook产品里,我们将易用性更进一步。结合我们的DAI notebook产品,可以直接在基于jupyter环境的notebook里进行SQL开发、调试、运行,简单易用。

开发者不用关心底层CUDA和GPU技术细节,甚至不用了解CUDF,CUML的API,开发者可以聚焦和投入到数据分析最核心的业务逻辑上去,滴滴云DAI notebook产品和底层GPU云服务器,为这一切提供了强有力的底层技术支撑。更关键的是,物美价廉,性价比高!欢迎大家使用!

另外敬请期待SaaS 版的BlazingSQL!输入AI大师码【1122】,滴滴云GPU全线产品享9折优惠。

推荐站点

  • 卡盟排行榜卡盟排行榜

    卡盟排行榜参考各卡盟综合数据,给出最权威的排名,免费收录卡盟网站,帮助卡盟推广,提供卡盟行业最新资讯,提交卡盟网站即可免费快速获得卡盟客户。

    www.km521.cn
  • 安提资讯网安提资讯网

    安提资讯网汇聚了国际,国内,军事,港台,社会,科技,娱乐,体育,房产等频道。

    www.antibea.com
  • 夜空股票网夜空股票网

    夜空股票网,集合股票配资、杠杆炒股、炒股开户平台的推荐,各类炒股配资平台的更新,需要杠杆配资炒股到夜空股票网。

    www.ykjz888.com
  • 视野新闻网视野新闻网

    视野新闻网提供国际、国内、军事、社会、娱乐、财经、科技、教育、房产、体育等热门分类频道。

    www.syhwl.com
  • 乖乖资讯网乖乖资讯网

    乖乖资讯网致力于打造最快最新具活力的门户网站,为广大网民提供全面及时的资讯、房产、汽车、旅游、军事、娱乐、体育、科技、企业、财经、历史、考古、教育、健康等实时资讯。

    www.gghzp.com

最新收录站点

  • 奢侈品包包奢侈品包包

    十年精典名品网专注奢侈品牌原单正品尾货资讯,LV 古奇 圣罗兰 迪奥 赛琳 缪缪等名牌原单男女士包皮带服装等最新图片价格和最全资讯!

    www.guccistar.com
  • 星池科技星池科技

    星池科技-专业分布式矿机挖矿云服务服务器供应商,低成本高收益挖矿服务器,围绕IPFS/Filecoin共建全球IPFS生态,提供IPFS矿机、托管、以及市场推广等服务

    www.starpool.cn
  • 直播盒子-聚合直播盒子直播盒子-聚合直播盒子

    直播盒子最知名的直播平台聚集此处,每天可以看不同类型的直播,和小美女同时互动,聚合了超级多的不同大平台

    www.ka5858.com
  • 临沂商城临沂商城

    临沂商城是临沂批发市场网上商城的简称,汇集临沂各大知名批发市场,形成1对1实体店网上展厅,再通过临沂市场全景展示的形式,打造临沂商城为主体的网上临沂购

    www.yidong0539.com
  • 麦软网麦软网

    麦软网是一家售卖正版软件商城网站,提供有关Mac、思维导图、视频剪辑、文件管理恢复、办公自动化等相关软件行业软件,同时涉及软件行业资讯、使用技巧、等使用教程

    www.mairuan.com