Python从不同格式文件中加载数据的速度举例分析

这篇文章主要介绍“Python从不同格式文件中加载数据的速度举例分析”,在日常操作中,相信很多人在Python从不同格式文件中加载数据的速度举例分析问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Python从不同格式文件中加载数据的速度举例分析”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

在威县等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供网站设计、成都网站建设 网站设计制作定制开发,公司网站建设,企业网站建设,品牌网站制作,营销型网站建设,成都外贸网站建设,威县网站建设费用合理。

         熟悉Python数据分析和跟各种数据存储文件打交道的人可能都知道,就算是相同的数据内容,但用Python从不同格式的载体中读取数据的速度是不一样的。为了验证这一结论,我特意测试了一下,分别用Python从Excel,MySQL和CSV中读取数据的效率。

        工具:

        jupyter notebook(Python),

        Navicat(MySQL),

        Microsoft Excel 2016

        CSV(Excel按F12另存为)

        接着进入正题,以下就是我的测试结果:

        声明:使用的都是同一份数据源(除去表头,总共有159727条数据)!

        ① 直接用Python从Excel加载数据(29M),第1次花了48秒,第2次花46.1秒;另外,计算结果只需花费几十到几百毫秒;

Python从不同格式文件中加载数据的速度举例分析

  处理数据的时间,花了几十到几百毫秒不等:

Python从不同格式文件中加载数据的速度举例分析

  ② 把Excel的数据(29M)导入到Navicat(可以写MySQL语句的一款编辑器)中,花了28.9秒;

Python从不同格式文件中加载数据的速度举例分析

Python从不同格式文件中加载数据的速度举例分析

      处理数据的时间,花了0.134s

Python从不同格式文件中加载数据的速度举例分析

        ③ 用Python直接从MySQL中获取刚才从Excel中导入的数据,第1次花了1.91秒,第2次花了2.01秒,第3次花了1.99秒,第4次花了1.79秒;

Python从不同格式文件中加载数据的速度举例分析

Python从不同格式文件中加载数据的速度举例分析

  处理数据的时间,花了59ms.

Python从不同格式文件中加载数据的速度举例分析

        ④ 用Python读取把刚才29M的Excel,另存为一个32.1M大小的CSV文件(数据内容相同),才试了一次,居然只花了1.3秒(瞬开!惊奇!)

Python从不同格式文件中加载数据的速度举例分析

     处理数据的时间,花了19ms

Python从不同格式文件中加载数据的速度举例分析

到此,关于“Python从不同格式文件中加载数据的速度举例分析”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


本文标题:Python从不同格式文件中加载数据的速度举例分析
分享路径:http://hbruida.cn/article/iggeoe.html