对数据分析工作中所用到的软件工具进行简单盘点

现在市面中我们能看到很多的数据分析相关的软件,也可以说是五花八门,可供选择非常多。我的上一篇文章中介绍到,数据分析这个岗位有很多的分类,每个工作分类所主要用到的软件都是不一样的,甚至在一个公司内部各个部门所用到的软件都是不一样的。还是从我个人实际的工作以及一些延申来给大家分享,从工作流程中来看:

数据库(Database):银行是一个比较保守的行业,在数据存储方面着重考虑的就是数据的安全性,尤其是对于客户数据来说。所以现在比较流行的云数据库在银行系统中很少应用,当然也不是完全不会用到,比如市场部门的部分的市场类数据就会存放到云数据库中,比如我知道的有些银行会用到的谷歌云(Google Cloud)来存储某些不是特别敏感的市场类数据。其他的云数据库比如微软的Azure Cloud,国内的华为云,阿里云,腾讯云等等。我所在的部门主要用到的是微软的SQL Server和甲骨文的Oracel Server,还有非常古老的IBM的Mainframe。

数据处理(Data Manipulation):这方面市面上的软件工具更多了,比如我们熟知的Excel就是一种。Excel是一个非常强大的软件,有着非常多的丰富的功能,后面的分享中也会给大家分享些Excel的使用经验和技术。但Excel一个最大的缺点就是无法处理大数据,如果用来处理30M以内的数据还可以,如果处理30M以上的数据就会非常的卡。

SAS是在我的工作中最经常用到的数据处理和分析软件,它可以用来处理超大数据,目前我用来处理的最大的数据容量有10个G。SAS全称STATISTICAL ANALYSIS SYSTEM,是美国北卡罗莱纳州立大学开发的一款软件,公司总部坐落在北卡罗莱纳州。目前北美大型的机构,如银行,大型连锁超市,通信公司和医药公司都会用到SAS,国内的中信银行也用到了SAS,但SAS的使用费用是非常贵的,只有一些大公司会用到。在今后也会给大家分享SAS的使用。

除了SAS和Excel,我们熟知的还有R和Python都可以用在处理数据上,但这些都是开源语言,银行一般不会把重要的客户数据用这些软件来处理。但一些小公司会用到Python,Python中的Panda Package是专门用来处理数据的。

数据可视化(Data Visualization):这个是处理完数据后生成 告的工具。对于数据量相对比较小的表格,人们还是比较熟悉用Excel,比如用Excel做一些柱状图,线型图,或者直接放数字。在我的日常工作中,有些项目也确实是用Excel来做最后的 告。但大部分项目还是用Tableau来做图表,生成 告,并且最后放到Tableau Server上。这个过程说的直白一些就是用Tableau做图表,然后把所做的图表放到 上,只不过只有特定权限的人才能打开这个 站看到这个图表。在以后的分享中也会分享给大家Tableau这个软件的使用经验。

Tableau是一个专门的做数据可视化的工具,也有不少人叫这种专门做数据可视化的工具叫BI(Business Intelligence)工具。Tableau之前是自己一个独立的公司,大概在2017年左右开始“火”起来,在2019年被Saleforce收购。

除了Excel和Tableau,目前市面上也有很多可视化的工具,我知道还有微软的Power BI,我也有过使用Power BI的经验,但从整体感觉上来说,要比Tableau复杂一些,主要体现在编程上,Tableau基本不用编程。国产的一些数据可视化软件比如SmartBi,FinBI等,但我们有用过这些软件,无法对这些软件进行客观评价。

数据可视化范例(来自 络)

当然,上面在每个板块内介绍的这些软件,并不代表这些软件就只能从事这个板块的工作。比如SQL Server是个数据库,但在SQL Server Management Studio (SSMS)中也可以实现处理数据的功能,且越来越多的大公司直接用SSMS来处理数据,SQL Server Reporting Service(SSRS)也有生成 告的作用;Excel也可以用来储存数据,只是在大公司的大数据以及重要的数据不会用Excel来储存;SAS也有对应的Server来储存数据,且SAS也有生成 告和做图表的功能,且美国食品和药品管理局FDA只接受SAS做的 告;Tableau也有一定的处理数据的能力等等。

甚至这些数据分析软件或语言比如SAS,R,Python等都有板块进行数据建模(Data Modeling)。只是在越来越精细化的当下,这些软件开发公司在开发这款产品的时候尽量让软件功能齐全的同时,更要突出自己在某一细分领域的特长。

上面所说的这些软件是我在个人工作中用到的,或者是一些其他部门或公司会用到的软件。从难易程度上来说,Tableau是当中比较简单,也是比较容易上手的,最近无论是国内还是国外,都有不少Tableau相关的工作岗位;Excel是大家都知道的,几乎任何公司,无论是国内还是国外都有的,当然功能也十分强大,只不过只能用来处理较小量的数据。如果对这个行业感兴趣,从零基础进入的话,建议可以从这两个软件入手。

今天就分享到这里,谢谢大家。

图自 络,侵删。

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年6月10日
下一篇 2022年6月10日

相关推荐