聊聊:混互联 这么久,做事件前你有把 速因素考虑进去吗
今天要把10台server的爬虫结果数据迁移至本地进行清洗,发现传输速率20K/s(见鬼了),要花1多个小时,又要加班至8点,我好想抽自已一巴掌,我应该3点之前把这事给干了(把传输进程调起来)。
做数据项目以来,耗时不耗力的活真遇到不少,常常体验在两种场景:
1.迁移/传递 数据
做数据分析往往从收集数据开始,当你需要将10G的数据文件迁移到本地或另一台server时,你会发觉 速是扼杀你时间的凶手,你必须提前传输数据,往往需要一个或几个小时,在这段时间忙其他事去,要不干瞪眼等。
2.配置系统/软件环境
之前也遇到不少配置系统、安装软件的情景,如装数据库、python及第三方库等,这些事本来就没什么技术含量,却偏偏偷走你大部分时间 ,造就你的时薪如此低廉 。
这两类活本应就要提前安排,且不能干等着,要不就是耍流氓;
安排工作时,千万要留意这两种场景! 千万不要等到最后去做!
耗机器时间的活,尽早让机器跑起来!!
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!