php采集大量数据 php 采集

用PHP进行数据采集

一般来说，PHP采集数据最简单的办法是使用file_get_content函数，功能更强大的推荐使用cURL函数库。

10余年建站经验，成都网站建设、成都做网站客户的见证与正确选择。成都创新互联提供完善的营销型网页建站明细报价表。后期开发更加便捷高效，我们致力于追求更美、更快、更规范。

使用php的file或者file_get_contents函数，获取链接URL的内容。通过php正则表达式，获取你需要的3个字段内容。写入数据库。需要注意的是，百度知道有可能做了防抓取的功能，你刚一抓几个页面，可能会被禁止。

参数可以由js产生并传递url，php后台页面根据URL抓页面。然后ajax通过php，在数据库或者是哪里设一个标量，标明检测到哪里。由于前台的html页面执行多少时候都没问题，这样php的内存限制和执行时间限制就解决了。

strPreg = |]+([^]+)\/td\s*]+([^]+)\/td\s*]+([^]+)\/td|U搞定了才发现你都没悬赏分。。

php：//input 不能用于 enctype=multipart/form-data。解释：对于未指定 Content-Type 的POST数据，则可以使用file_get_contents(“php：//input”)；来获取原始数据。事实上，用PHP接收POST的任何数据都可以使用本方法。

设置定位中心：直接搜索你要找的位置即可。调用百度地图代码设置地图：设置地图样式，如大小，显示，功能等。

php导出大量数据到Excel，可以通过生成多个Excel文件，然后压缩成压缩包解决。方案是：假如我们数据库有10w条数据，每2000条数据生成一个Excel文件，这样每次只要从数据库里查询出2000条数据即可，一定要分页去查询。

php导出数据excel有专门的库，当导出少量数据的时候速度很快，但是当数据量大的时候就会存在服务器内存不够之类的。所以在导出大量数据的时候就应该分页查询数据，避免服务器宕机。

write-save(php：//output)；打开页面，刷新的时候会弹出对话框，让你选择文件保存路径和文件名称，我直接放在了桌面上，如图所示；打开表格后，数据和格式跟代码中的一致，说明PHP导出的Excel是正确的。

下载phpMyAdmin v2软件后解压放在网站根目录用root用户和密码登入phpMyAdmin，在左边栏点击要导出的数据库，然后点击要导出的数据表，最后点击导出如图所示。

1、php使用的数据库一般是mysql，当数据量大于1000万时，为了效率最好还会进行分表存储。

2、个人建议还是拆分的比较好，一次查询虽然写法上可能会省代码，但是效率就很低下，因为即使加了索引，而在你联合查询的时候语句写的不当就会导致索引不生效，从而效率就会下降。

3、1并不是所有索引对查询都有效，SQL是根据表中数据来进行查询优化的，当索引列有大量数据重复时，SQL查询可能不会去利用索引，如一表中有字段sex，male、female几乎各一半，那么即使在sex上建了索引也对查询效率起不了作用。

分享标题：php采集大量数据 php 采集
链接分享：http://hbruida.cn/article/dcjpjgi.html