PHP+MySQL高效的分页方法,如何优化LIMIT,OFFSET进行的分页?

很多应用往往只展示最新或最热门的几条记录，但为了旧记录仍然可访问，所以就需要个分页的导航栏。然而，如何通过MySQL更好的实现分页，始终是比较令人头疼的问题。虽然没有拿来就能用的解决办法，但了解数据库的底层或多或少有助于优化分页查询。

为齐河等地区用户提供了全套网页设计制作服务，及齐河网站建设行业解决方案。主营业务为成都做网站、网站建设、外贸营销网站建设、齐河网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

我们先从一个常用但性能很差的查询来看一看。

SELECT *

FROM city

ORDER BY id DESC

LIMIT 0, 15

这个查询耗时0.00sec。So，这个查询有什么问题呢？实际上，这个查询语句和参数都没有问题，因为它用到了下面表的主键，而且只读取15条记录。

CREATE TABLE city (

id int(10) unsigned NOT NULL AUTO_INCREMENT,

city varchar(128) NOT NULL,

PRIMARY KEY (id)

) ENGINE=InnoDB;

真正的问题在于offset(分页偏移量)很大的时候，像下面这样：

SELECT *

FROM city

ORDER BY id DESC

LIMIT 100000, 15;

上面的查询在有2M行记录时需要0.22sec，通过EXPLAIN查看SQL的执行计划可以发现该SQL检索了100015行，但最后只需要15行。大的分页偏移量会增加使用的数据，MySQL会将大量最终不会使用的数据加载到内存中。就算我们假设大部分网站的用户只访问前几页数据，但少量的大的分页偏移量的请求也会对整个系统造成危害。Facebook意识到了这一点，但Facebook并没有为了每秒可以处理更多的请求而去优化数据库，而是将重心放在将请求响应时间的方差变小。

对于分页请求，还有一个信息也很重要，就是总共的记录数。我们可以通过下面的查询很容易的获取总的记录数。

SELECT COUNT(*)

FROM city;

然而，上面的SQL在采用InnoDB为存储引擎时需要耗费9.28sec。一个不正确的优化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能够在分页查询时事先准备好符合条件的记录数，随后只要执行一句 select FOUND_ROWS(); 就能获得总记录数。但是在大多数情况下，查询语句简短并不意味着性能的提高。不幸的是，这种分页查询方式在许多主流框架中都有用到，下面看看这个语句的查询性能。

SELECT SQL_CALC_FOUND_ROWS *

FROM city

ORDER BY id DESC

LIMIT 100000, 15;

这个语句耗时20.02sec，是上一个的两倍。事实证明使用 SQL_CALC_FOUND_ROWS 做分页是很糟糕的想法。

下面来看看到底如何优化。文章分为两部分，第一部分是如何获取记录的总数目，第二部分是获取真正的记录。

高效的计算行数

如果采用的引擎是MyISAM，可以直接执行COUNT(*)去获取行数即可。相似的，在堆表中也会将行数存储到表的元信息中。但如果引擎是InnoDB情况就会复杂一些，因为InnoDB不保存表的具体行数。

我们可以将行数缓存起来，然后可以通过一个守护进程定期更新或者用户的某些操作导致缓存失效时，执行下面的语句：

SELECT COUNT(*)

FROM city

USE INDEX(PRIMARY);

获取记录

下面进入这篇文章最重要的部分，获取分页要展示的记录。上面已经说过了，大的偏移量会影响性能，所以我们要重写查询语句。为了演示，我们创建一个新的表“news”，按照时事性排序(最新发布的在最前面)，实现一个高性能的分页。为了简单，我们就假设最新发布的新闻的Id也是最大的。

CREATE TABLE news(

id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,

title VARCHAR(128) NOT NULL

) ENGINE=InnoDB;

一个比较高效的方式是基于用户展示的最后一个新闻Id。查询下一页的语句如下，需要传入当前页面展示的最后一个Id。

SELECT *

FROM news WHERE id $last_id

ORDER BY id DESC

LIMIT $perpage

查询上一页的语句类似，只不过需要传入当前页的第一个Id，并且要逆序。

SELECT *

FROM news WHERE id $last_id

ORDER BY id ASC

LIMIT $perpage

上面的查询方式适合实现简易的分页，即不显示具体的页数导航，只显示“上一页”和“下一页”，例如博客中页脚显示“上一页”，“下一页”的按钮。但如果要实现真正的页面导航还是很难的,下面看看另一种方式。

SELECT id

FROM (

SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt

FROM news

JOIN (SELECT @cnt:= 0)T

WHERE id $last_id

ORDER BY id DESC

LIMIT $perpage * $buttons

)C

WHERE cnt = 0;

通过上面的语句可以为每一个分页的按钮计算出一个offset对应的id。这种方法还有一个好处。假设，网站上正在发布一片新的文章，那么所有文章的位置都会往后移一位，所以如果用户在发布文章时换页，那么他会看见一篇文章两次。如果固定了每个按钮的offset Id，这个问题就迎刃而解了。Mark Callaghan发表过一篇类似的博客，利用了组合索引和两个位置变量，但是基本思想是一致的。

如果表中的记录很少被删除、修改，还可以将记录对应的页码存储到表中，并在该列上创建合适的索引。采用这种方式，当新增一个记录的时候，需要执行下面的查询重新生成对应的页号。

SET p:= 0;

UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;

当然，也可以新增一个专用于分页的表，可以用个后台程序来维护。

UPDATE pagination T

JOIN (

SELECT id, CEIL((p:= p + 1) / $perpage) page

FROM news

ORDER BY id

)C

ON C.id = T.id

SET T.page = C.page;

现在想获取任意一页的元素就很简单了：

SELECT *

FROM news A

JOIN pagination B ON A.id=B.ID

WHERE page=$offset;

还有另外一种与上种方法比较相似的方法来做分页，这种方式比较试用于数据集相对小，并且没有可用的索引的情况下—比如处理搜索结果时。在一个普通的服务器上执行下面的查询，当有2M条记录时，要耗费2sec左右。这种方式比较简单，创建一个用来存储所有Id的临时表即可(这也是最耗费性能的地方)。

CREATE TEMPORARY TABLE _tmp (KEY SORT(random))

SELECT id, FLOOR(RAND() * 0x8000000) random

FROM city;

ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;

接下来就可以向下面一样执行分页查询了。

SELECT *

FROM _tmp

WHERE OFFSET = $offset

ORDER BY OFFSET

LIMIT $perpage;

简单来说，对于分页的优化就是。。。避免数据量大时扫描过多的记录。

PHP流（Stream）的概述与使用详解

在现代 PHP 特性中，流或许是最出色但使用率最低的。虽然 PHP 4.3 就引入了流，但是很多开发者并不知道流的存在，因为人们很少提及流，而且流的文档也很匮乏。PHP 官方文档对流的解释如下：

可能看完这段解释后还是云里雾里，我们简化一下，流的作用是在出发地和目的地之间传输数据。出发地和目的地可以是文件、命令行进程、网络连接、ZIP 或 TAR 压缩文件、临时内存、标准输入或输出，或者是通过 PHP 流封装协议实现的任何其他资源。

如果你读写过文件，就用过流；如果你从 php://stdin 读取过数据，或者把输入写入 php://stdout ，也用过流。流为 PHP 的很多 IO 函数提供了底层实现，如 file_get_contents、fopn、fread 和 fwrite 等。PHP 的流函数提供了不同资源的统一接口。

我们可以把流比作管道，把水（资源数据）从一个地方引到另一个地方。在水从出发地到目的地的过程中，我们可以过滤水，可以改变水质，可以添加水，也可以排出水。

流式数据的种类各异，每种类型需要独特的协议，以便读写数据，我们称这些协议为 流封装协议 。例如，我们可以读写文件系统，可以通过 HTTP、HTTPS 或 SSH 与远程 Web 服务器通信，还可以打开并读写 ZIP、RAR 或 PHAR 压缩文件。这些通信方式都包含下述相同的过程：

1.开始通信

2.读取数据

3.写入数据

4.结束通信

虽然过程是一样的，但是读写文件系统中文件的方式与收发 HTTP 消息的方式有所不同，流封装协议的作用是使用通用的接口封装这种差异。

每个流都有一个协议和一个目标。指定协议和目标的方法是使用流标识符：scheme://target，其中 scheme 是流的封装协议，target 是流的数据源。

http://流封装协议

下面使用 HTTP 流封装协议创建了一个与 Flicker API 通信的 PHP 流：

不要以为这是普通的网页 URL，file_get_contents() 函数的字符串参数其实是一个流标识符。http 协议会让 PHP 使用 HTTP 流封装协议，在这个参数中，http 之后是流的目标。

我们通常使用 file_get_contents()、fopen()、fwrite() 和 fclose() 等函数读写文件系统，因为 PHP 默认使用的流封装协议是 file://，所以我们很少认为这些函数使用的是 PHP 流。下面的示例演示了使用 file:// 流封装协议创建一个读写 /etc/hosts 文件的流：

我们通常会省略掉 file:// 协议，因为这是 PHP 使用的默认值。

php://流封装协议

编写命令行脚本的 PHP 开发者会感激 php:// 流封装协议，这个流封装协议的作用是与 PHP 脚本的标准输入、标准输出和标准错误文件描述符通信。我们可以使用 PHP 提供的文件系统函数打开、读取或写入下面四个流：

1. php://stdin ：这是个只读 PHP 流，其中的数据来自标准输入。PHP 脚本可以使用这个流接收命令行传入脚本的信息；

2. php://stdout ：把数据写入当前的输出缓冲区，这个流只能写，无法读或寻址；

3. php://memory ：从系统内存中读取数据，或者把数据写入系统内存。缺点是系统内存有限，所有使用 php://temp 更安全；

4. php://temp ：和 php://memory 类似，不过，没有可用内存时，PHP 会把数据写入这个临时文件。

其他流封装协议

PHP 和 PHP 扩展还提供了很多其他流封装协议，例如，与 ZIP 和 TAR 压缩文件、FTP 服务器、数据压缩库、Amazon API、Dropbox API 等通信的流封装协议。需要注意的是，PHP 中的 fopen()、fgets()、fputs()、feof() 以及 fclose() 等函数不仅可以用来处理文件系统中的文件，还可以在所有支持这些函数的流封装协议中使用。

自定义流封装协议

我们还可以自己编写 PHP 流封装协议。PHP 提供了一个示例 StreamWrapper 类，演示如何编写自定义的流封装协议，支持部分或全部 PHP 文件系统函数。关于如何编写，具体请参考以下文档：

有些 PHP 流能够接受一系列可选的参数，这些参数叫流上下文，用于定制流的行为。不同的流封装协议使用的流上下文有所不同，流上下文使用 stream_context_create() 函数创建，这个函数返回的上下文对象可以传入大多数文件系统函数。

例如，你知道可以使用 file_get_contents() 发送 HTTP POST 请求吗？使用一个流上下文对象即可实现：

流过滤器

目前为止我们讨论了如何打开流，读取流中的数据，以及把数据写入流。不过，PHP 流真正强大的地方在于过滤、转换、添加或删除流中传输的数据，例如，我们可以打开一个流处理 Markdown 文件，在把文件内容读入内存的过程中自动将其转化为 HTML。

运行该脚本，输出的都是大写字母：

我们还可以使用 php://filter 流封装协议把过滤器附加到流上，不过，使用这种方式之前必须先打开 PHP 流：

这个方式实现效果和 stream_filter_append() 函数一样，但是相比之下更为繁琐。不过，PHP 的某些文件系统函数在调用后无法附加过滤器，例如 file() 和 fpassthru()，使用这些函数时只能使用 php://filter 流封装协议附加流过滤器。

自定义流过滤器

我们还可以编写自定义的流过滤器。其实，大多数情况下都要使用自定义的流过滤器，自定义的流过滤器是个 PHP 类，继承内置的 php_user_filter 类（ ），且必须实现 filter()、onCreate() 和 onClose() 方法，最后，必须使用 stream_filter_register() 函数注册自定义的流过滤器。

然后，我们必须使用 stream_filter_register() 函数注册这个自定义的 DirtyWordsFilter 流过滤器：

第一个参数用于标识这个自定义过滤器的过滤器名，第二个参数是这个自定义过滤器的类名。接下来就可以使用这个自定义的流过滤器了：

修改 test.txt 内容如下：

运行上面的自定义过滤器脚本，结果如下：

stream_bucket_append函数：为队列添加数据　

stream_bucket_make_writeable函数：从操作的队列中返回一个数据对象

stream_bucket_new函数：为当前队列创建一个新的数据

stream_bucket_prepend函数：预备数据到队列　

stream_context_create函数：创建数据流上下文

stream_context_get_default函数：获取默认的数据流上下文

stream_context_get_options函数：获取数据流的设置

stream_context_set_option函数：对数据流、数据包或者上下文进行设置

stream_context_set_params函数：为数据流、数据包或者上下文设置参数

stream_copy_to_stream函数：在数据流之间进行复制操作

stream_filter_append函数：为数据流添加过滤器

stream_filter_prepend函数：为数据流预备添加过滤器

stream_filter_register函数：注册一个数据流的过滤器并作为PHP类执行

stream_filter_remove函数：从一个数据流中移除过滤器

stream_get_contents函数：读取数据流中的剩余数据到字符串

stream_get_filters函数：返回已经注册的数据流过滤器列表

stream_get_line函数：按照给定的定界符从数据流资源中获取行

stream_get_meta_data函数：从封装协议文件指针中获取报头/元数据

stream_get_transports函数：返回注册的Socket传输列表

stream_get_wrappers函数：返回注册的数据流列表

stream_register_wrapper函数：注册一个用PHP类实现的URL封装协议

stream_select函数：接收数据流数组并等待它们状态的改变

stream_set_blocking函数：将一个数据流设置为堵塞或者非堵塞状态

stream_set_timeout函数：对数据流进行超时设置

stream_set_write_buffer函数：为数据流设置缓冲区

stream_socket_accept函数：接受由函数stream_ socket_server()创建的Socket连接

stream_socket_client函数：打开网络或者UNIX主机的Socket连接

stream_socket_enable_crypto函数：为一个已经连接的Socket打开或者关闭数据加密

stream_socket_get_name函数：获取本地或者网络Socket的名称

stream_socket_pair函数：创建两个无区别的Socket数据流连接

stream_socket_recvfrom函数：从Socket获取数据，不管其连接与否

stream_socket_sendto函数：向Socket发送数据，不管其连接与否

stream_socket_server函数：创建一个网络或者UNIX Socket服务端

stream_wrapper_restore函数：恢复一个事先注销的数据包

stream_wrapper_unregister函数：注销一个URL地址包

整合资料

本文整合于以下两篇文章

php 多条件搜索及栏位数据操作后返回页面重置（搜索条件消失，回到数据展示的原始页面了）

一种，对学员操作部分，可以使用弹窗或者弹层，配合ajax实现，推荐使用 layer 这个组件，具体自行百度。这样操作修改不会刷新当前已查询好页面。

一种，查询的时候，用cookie或者session存储请求条件的内容，再次进入页面时，先判断session或cookie有没内容，优先使用。什么时候记忆什么时候删除，这个要想好在哪里控制。

一种，我自已碰到的一个瀑布流控制，是使用localStorage方式，在切换时记下div的html，这个只局限在html5的浏览器。

当前标题：php数据流翻页 php页面传值的方法
标题来源：http://hbruida.cn/article/ddgdsce.html