news 2026/6/13 2:05:52

Mysql大数据深分页速度慢优化

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Mysql大数据深分页速度慢优化

Mysql: 8.0.29

数据量:628W条

主键字段:id

一、Mysql分页原理

示例语句: SELECT * FROM test_logistics_contract_info LIMIT 5000000,10;

PS1:理论上生产环境不禁止SELECT * ,哪怕会用到所有的字段,这里只是示例语句。

执行原理 :

先执行 SELECT * FROM test_logistics_contract_info LIMIT 5000010;放入Mysql内存中

再取最后的10条返回

效率:

分页越深,效率越低,如果取全表的最后10条,相当于全表扫描。

二、俩种SQL语句级别优化和效率对比

原版语句: 执行时间 7.338秒

优化语句一: 查询时间 0.143秒 比原版的零头还低

SELECT a.* FROM test_logistics_contract_info a INNER JOIN (SELECT id FROM test_logistics_contract_info LIMIT 500000,10) as b
on a.id = b.id

原理:利用 InnoDB 的回表机制,先拿所需要数据的主键,再用主键拿数据。

优化二:查询时间 0.0秒(纳秒级别了) 比原版的零头的零头还低

SELECT * FROM test_logistics_contract_info WHERE id >= 5066186 LIMIT 10;

原理:先拿到上次分页的最后一条数据id,然后用id精准定位数据的位置。

缺点:禁止跳页,每次都必须拿到上一页的最后一条数据的id

PS2:Mysql自增主键具有不连续性,用页数*每页条数得到的数字作为id是不准确的(比如物理删除的数据,或者批量添加数据)

PS3:Mysql还有唯一索引不唯一的特性( ^_^!!)

三、其他优化方式

1、禁止深分页(使用多)

某东、某宝的分页都限定了100页

2、用适合大数据分页的DB 存数据 (省心)

比如es(GB~TB级别) Hbase(PB级别)

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/11 23:11:52

Bruno组件库:企业级Flutter UI开发的终极实践指南

Bruno组件库:企业级Flutter UI开发的终极实践指南 【免费下载链接】bruno An enterprise-class package of Flutter components for mobile applications. ( Bruno 是基于一整套设计体系的 Flutter 组件库。) 项目地址: https://gitcode.com/gh_mirrors/bru/bruno…

作者头像 李华
网站建设 2026/6/11 23:10:29

Wan2.2-T2V-A14B如何防止生成歧视性或偏见内容?

Wan2.2-T2V-A14B如何防止生成歧视性或偏见内容? 你有没有想过,一个AI生成的广告视频里,为什么总是“白人男性当CEO”、“亚裔女性在厨房做菜”?🤔 这并不是巧合——而是训练数据中潜藏的社会偏见被模型“学”了进去。更…

作者头像 李华
网站建设 2026/6/13 1:26:30

基于Wan2.2-T2V-A14B构建企业级视频SaaS平台的技术路径

基于Wan2.2-T2V-A14B构建企业级视频SaaS平台的技术路径 在短视频主导内容消费的今天,品牌每小时都在“错过一个爆款”——不是因为创意枯竭,而是传统视频生产像搭积木:脚本、拍摄、剪辑、调色……动辄几天甚至几周。但当AI开始“写”视频&…

作者头像 李华
网站建设 2026/6/12 7:53:39

如何快速解决影视字幕难题:智能工具完整指南

如何快速解决影视字幕难题:智能工具完整指南 【免费下载链接】subfinder 字幕查找器 项目地址: https://gitcode.com/gh_mirrors/subfi/subfinder 你是否曾经为找不到合适的影视字幕而烦恼?面对新下载的电影或剧集,手动搜索字幕既耗时…

作者头像 李华
网站建设 2026/6/12 19:47:08

浅谈 FMEA 中的失效模式有哪些?

在产品研发与生产管理领域,失效模式与影响分析(FMEA)是保障质量与可靠性的核心工具之一。而 “失效模式” 作为 FMEA 的基础概念,是指产品或过程在运行中可能出现的功能异常状态。了解这些失效模式,是识别风险、制定预…

作者头像 李华
网站建设 2026/6/11 20:04:44

14、网络攻击技术与实践指南

网络攻击技术与实践指南 在网络安全领域,了解攻击者常用的手段和技术对于保护自身安全至关重要。本文将详细介绍几种常见的网络攻击方法,包括使用SET工具克隆网站进行密码窃取、利用Metasploit创建反向shell、使用browser_autopwn2模块攻击客户端以及使用BeEF框架进行攻击等…

作者头像 李华