首先需要解决的重要的问题:数据工程和软件工程之间有哪些不同之处p>
二者非常相似,许多起源于软件工程的最佳实践对数据工程同样有效,前提是需要正确地构建它们。
本次讨论将是在高层进行,虽然我自己不是一个软件工程师,但是希望你能从下属原则中获取到战略和领导价值。
软件工程与数据工程:相似之处和区别
数据产品和软件产品是有区别的,其利益相关者各不相同。
通常,软件产品的构建涉及到高技术团队之间的协作,需要将产品交付给不同的用户群体,通常是商业用途的用户群体。例如,银行可能会为其客户创建一个移动应用程序。
相比之下,数据产品往往驻留在企业的内部,其利益相关者和参与者可以从高技术的工程师到需要利用数据来完成工作的非技术性专业人员。例如,同一家银行可能为其客户创建不同的财务和人口数据产品,以实现不同的安全、销售和战略功能。
在阅读这篇文章过程中,读者将在数据空间中徜徉,可能无需强调二者区别的细节,读者仅需要从业务的角度,来审视数据与软件的不同。
但是从本质上来讲,数据工程和软件工程的实践却基本相同,比如可以编写、维护和部署代码来解决一个可重复的问题,正因如此,某些有价值的软件工程最佳实践可以转换为数据工程最佳实践,许多最新的数据趋势——如数据 格和数据操作程序——以一种全新的方式实现了软件工程实践,并取得了良好的结果。
软件工程与数据工程的历史
通过查看历史数据,理解为什么这些最佳数据实践均来自于软件工程,并了解为什么直到最近才将它们应用到数据工程中的原因。
软件工程学科在20世纪60年代首次得到认可,当时,“软件创建是一种形式的工程”的想法是一种富有挑衅性的想法。事实上,选择“软件工程”这一词的目的是鼓励从业者停下来,将科学原理应用到实际工作中去。在接下来的几十年里,软件工程师对科学和机械工程中的原理进行了测试和改进。
在20世纪90年代,随着对软件需求的日增,整个行业落后于日益增长的软件需求,导致了所谓的“应用程序开发危机”,这次危机促使软件工程师采用敏捷开发和相关的实践,它意味着需要优先考虑快速的生命周期
陈之炎,北京交通大学通信与控制工程专业毕业,获得工学硕士学位,历任长城计算机软件与系统公司工程师,大唐微电子公司工程师,现任北京吾译超群科技有限公司技术支持。目前从事智能化翻译教学系统的运营和维护,在人工智能深度学习和自然语言处理(NLP)方面积累有一定的经验。业余时间喜爱翻译创作,翻译作品主要有:IEC-ISO 7816、伊拉克石油工程项目、新财税主义宣言等等,其中中译英作品“新财税主义宣言”在GLOBAL TIMES正式发表。能够利用业余时间加入到THU 数据派平台的翻译志愿者小组,希望能和大家一起交流分享,共同进步
翻译组招募信息
工作内容:需要一颗细致的心,将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生,或在海外从事相关工作,或对自己外语水平有信心的朋友欢迎加入翻译小组。
你能得到:定期的翻译培训提高志愿者的翻译水平,提高对于数据科学前沿的认知,海外的朋友可以和国内技术应用发展保持联系,THU数据派产学研的背景为志愿者带来好的发展机遇。
点击文末“阅读原文”加入数据派团队~

点击“阅读原文”拥抱组织
文章知识点与官方知识档案匹配,可进一步学习相关知识Java技能树首页概览93886 人正在系统学习中
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!