批量处理数据的一些经验
【摘要】批量处理数据的一些经验批量处理数据库数据时，如果处理不当，可能拖慢数据库或者搞垮数据库，从而影响整个应用的响应速度。下面列举一下解
批量处理数据的一些经验
批量处理数据库数据时，如果处理不当，可能拖慢数据库或者搞垮数据库，从而影响整个应用的响应速度。下面列举一下解决方案。
每处理一批，让线程休息一段时间
假设总共有5万条数据需要处理，每次处理1000条，那么处理完1000条数据，sleep一段时间，不要太频繁的操作数据库。
拆分大的insert操作
假设总共有5万条数据需要处理，那么你可以每次只是处理1000条。如果一下子处理5万条，锁表的操作会加长，导致系统响应速度变慢。
备注：在循环里面，记得必须有退出循环的条件，避免死循环。
设置每次处理的最大量
如果你是使用一个线程来批量处理数据的，那么可以设置这个线程最多处理多少条记录，然后线程执行完毕退出，不要让这个线程工作太长时间。至于处理不完的数据，可以下次继续执行。
上一篇：excel表格基本操作之从零开始学习
下一篇：改变思维有效监控数据中心
就业培训申请领取
环球青藤
官方QQ群扫描上方二维码或点击一键加群，免费领取大礼包，加群暗号：青藤。 一键加群
数据分析师相关文章推荐
|数据分析师最新文章推荐
最新文章
数据分析师各地入口
环球青藤官方微信服务平台
刷题看课 APP下载
免费直播 一键购课
代报名等人工服务
数据分析师热点排行
- 1 传统数据和大数据的区别
- 2 数据分析的8种方法都是哪些?
- 3 数据分析的具体流程是什么?
- 4 3大常用的数据分析工具是什么?
- 5 excel中的运算符
- 6 数据分析的作用有哪些?
- 7 电子商务需要分析哪些数据?
- 8 数据分析包括哪些内容?
- 9 数据分析的基本步骤
- 10 rdd是什么？
