大数据开发工程师的两年工作经验总结

今年广州的六月，在经历了大雨的洗礼之后，一切都变得更加明朗起来，新的工作，新的人和事。懒惰让我变得更焦虑，焦虑促使我进步，程序员的焦虑大家应该都有共同的感觉，时代的步伐太快了，在这个环境下的软件开发一定会淘汰掉那些不懂得学习，懒惰的人。

希望跟大家共勉。

今天呢，博主主要回顾这两年来，在大数据行业公司从事大数据类的前端开发的工作。最近刚刚换了一份工作，把我的经验稍作总结分享给大家，有什么建议大家在评论区踊跃。 谢谢。

今天的主题，主要是从大数据开发的角度，到大数据治理的必要性，再到图形化建模的畅想，最后在数据质量的把关，然后到大数据可视化的应用，博主总结两年的见闻，和我学习的成果，也不知理解有无偏差吧，希望大家能给出建议。

全平台监控

监控呢，其实包含了很多的点，例如应用监控，数据监控，预警系统，工单系统等，对我们接管的每个数据源、数据表都需要做到实时监控，一旦发生殆机，或者发生停电，能够第一时间电话或者短信通知到具体负责人，这里可以借鉴一些自动化运维平台的经验的，监控约等于运维，好的监控提供的数据资产的保护也是很重要的。

大数据可视化

大数据可视化不仅仅是图表的展现，大数据可视化不仅仅是图表的展现，大数据可视化不仅仅是图表的展现，重要的事说三遍，大数据可视化归类的数据开发中，有一部分属于应用类，有一部分属于开发类。

在开发中，大数据可视化扮演的是可视化操作的角色， 如何通过可视化的模式建立模型如何通过拖拉拽，或者立体操作来实现数据质量的可操作性画两个表格加几个按钮实现复杂的操作流程是不现实的。

在可视化应用中，更多的也有如何转换数据，如何展示数据，图表是其中的一部分，平时更多的工作还是对数据的分析，怎么样更直观的表达数据需要对数据有深刻的理解，对业务有深刻的理解，才能做出合适的可视化应用。

智能的可视化平台

可视化是可以被再可视化的，例如superset，通过操作sql实现图表，有一些产品甚至能做到根据数据的内容智能分类，推荐图表类型，实时的进行可视化开发，这样的功能才是可视化现有的发展方向，我们需要大量的可视化内容来对公司发生产出，例如服装行业，销售部门：进货出货，颜色搭配对用户的影响，季节对选择的影响   生产部门：布料价格走势 产能和效率的数据统计 等等，每一个部门都可以有一个数据大屏，可以通过平台任意规划自己的大屏，所有人每天能够关注到自己的领域动向，这才是大数据可视化应用的具体意义。

写在最后

洋洋洒洒写了很多，对我近两年的所见所闻所学所想进行了一些总结，有些童鞋会问，不是技术么什么没有代码  博主要说，代码博主要学的，要写的，但是与工作无关，代码是我个人的技能，个人傍身，实现个人想法的重要技能。 但是，代码与业务的关系不大，在工作中，懂业务的人代码写的更好，因为他知道公司想要什么。 如果你业务很差，那也没关系，你代码好就行了呀，根据别人的交代干活，也是很不错的。技术和业务是相辅相成的，稍后博主总结代码的精进。

写完了，博主的焦虑一丝未少，我的代码规范性不够，目前技术栈js、java、nodejs、python 。

主业js熟练度80%吧，正在研究阮一峰的es6（看的差不多）和vuejs的源码（有点搁浅），vuejs算是中等，css和布局方面可以说还可以，另外d3.js，go.js都是处于会用，能干活。 nodejs呢，express和koa无问题，看过一些express的源代码，还写过两个中间件。

java、python都处于能做项目的程度，目前也不想抽很多精力去深入它们，就想要保持在想用能用的地步吧。

未来的几年，博主努力工作，多学学人工智能、大数据开发的知识，未来这块应该还有一些热度的吧。

最后，和大家共勉，更希望大家能给一些规划建议，三人行，必有我师焉。

文章知识点与官方知识档案匹配，可进一步学习相关知识MySQL入门技能树数据库组成表31414 人正在系统学习中 相关资源：Umi-OCR 批量图片转文字工具离线批量文字识别(图片转文字)软件.rar