PythonPandas如何处理百亿行数十列的数据

2019-11-11 20:52:34

这种场景，非要强行用内存计算，已经不太合适了。几个方案：1.依然pandas。数据存储依赖于HDF5是没错的，但也只是极度节省了IO时间，计算的话，pandas官方给出了一些可行方案。&quot;Largedata&quot;workflowsusingpandas可用的策略前面基本也已提到，分块的合并、计算，如果需要机器学习，优先选择那些支撑增量学习的算法和类库。参考使用sklearn进行增量学习-CSDN博客2.使用Dask-dask0.15.0+9.g0531266documentation很好的copy了pandas的api，可以用很小的成本过度，你将获得强大的out-core计算能力，内存不再是你的局限，硬盘才是。这货基本上可以当个穷逼版的spark使用（官方文档也这么说的）。3.回归数据库，PostgreSql是高性能计算的好选择。4.怂恿金狮贵宾会登录网址购买云服务，阿里云强行安利么么哒。阿里云机器学习-阿里云海量数据处理自有其方法论和工具链，不要埋怨pandas，这个锅不背。pandas在中等数据量下的综合能力，金狮贵宾会登录网址是指性能+易用api+可扩展性+方案优雅程度，比R领先一个时代。当然，金狮贵宾会登录网址丝毫没有黑R的意思，R在统计学术方面的能力，大概也比python领先了10个stata。工具自有场景。

相关产品

相关资讯