大数据分析流程大致分为数据准备、数据合并、数据降维等。在数据准备阶段,数据科学家需要先下载数据,然后还要进行数据抽取、数据转换、数据加载等,而且一般情况下数据包都非常大,所以数据科学家大部分时间是在等待数据准备好,因此有人戏称,数据科学家不是在喝咖啡就是在去喝咖啡的路上。随着数据量越来越大,数据科学家处理数据所需时间也越来越长,导致工作效率非常低。
在今年GTC Europe大会上,NVIDIA发布了一款针对数据科学和机器学习的GPU加速平台RAPIDS,该平台构建于Apache Arrow、PANDAS和SKLEARN等组件之上,通过CUDF数据过滤、CUML机器学习、CUGRAPH数据图像化来加速处理数据,为数据科学家提供标准化的流水线式工具,数据处理速度较仅用CPU提升50倍,大大提高了数据科学家的工作效率。
本文首发于微信公众号:智东西。文章内容属作者个人观点,不代表和讯网立场。投资者据此操作,风险请自担。