当前位置: 首页 > 数据分析师 > 数据分析师实战技能 > 数据分析师数据分析 > 批量处理数据的一些经验

批量处理数据的一些经验

发布时间:2020年09月29日 02:04:51 来源: 点击量:654

【摘要】批量处理数据的一些经验批量处理数据库数据时,如果处理不当,可能拖慢数据库或者搞垮数据库,从而影响整个应用的响应速度。下面列举一下解

批量处理数据的一些经验

批量处理数据库数据时,如果处理不当,可能拖慢数据库或者搞垮数据库,从而影响整个应用的响应速度。下面列举一下解决方案。

每处理一批,让线程休息一段时间

假设总共有5万条数据需要处理,每次处理1000条,那么处理完1000条数据,sleep一段时间,不要太频繁的操作数据库。

拆分大的insert操作

假设总共有5万条数据需要处理,那么你可以每次只是处理1000条。如果一下子处理5万条,锁表的操作会加长,导致系统响应速度变慢。
备注:在循环里面,记得必须有退出循环的条件,避免死循环。

设置每次处理的最大量

如果你是使用一个线程来批量处理数据的,那么可以设置这个线程最多处理多少条记录,然后线程执行完毕退出,不要让这个线程工作太长时间。至于处理不完的数据,可以下次继续执行。

分享到: 编辑:wangmin

就业培训申请领取
您的姓名
您的电话
意向课程
点击领取

环球青藤

官方QQ

扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群

绑定手机号

应《中华人民共和国网络安全法》加强实名认证机制要求,同时为更加全面的体验产品服务,烦请您绑定手机号.

预约成功

本直播为付费学员的直播课节

请您购买课程后再预约

环球青藤移动课堂APP 直播、听课。职达未来!

安卓版

下载

iPhone版

下载
环球青藤官方微信服务平台

刷题看课 APP下载

免费直播 一键购课

代报名等人工服务

课程咨询 学员服务 公众号

扫描关注微信公众号

APP

扫描下载APP

返回顶部