一文看懂用R语言读取Excel、PDF和JSON文件（附代码）

▲不同格式的数据文件读取所用的R包

01 readxl：Excel文件读取

readxl是微软Excel文件读取的必备R包，是Hadley Wickham、Jennifer Bryan以及其他6名成员合作完成的经典程序包之一。

值得一提的是，该包的开发者之一兼实际维护者Jennifer Bryan（ 络上多称她为Jenny Bryan），可以称得上是与Hadley齐名且为数不多的女性R语言神级人物。可能是因为其身为大学教授，因此她总能够用很生动有趣的方式将复杂的问题简化成通俗易懂的知识传递给“小白”，强烈建议有英文基础的读者能够搜集一些她的主题演讲或者书籍。

更新后的readxl包中虽然也还是只有5个函数，不过功能却比以前的版本更强大了。对于起初的版本，数据会被读取成常见的data.frame格式，而对于现在的版本，读取后的数据集格式则为tibble，可以理解为提升版的data.frame。

readxl包括两个探测性函数excel_format和excel_sheets，一个引用例子的函数readxl_example，新加入的读取特定单元格的函数cell-specification以及最重要的read_excel函数。本节将着重讨论read_excel的参数设置及用法技巧。

数据导入函数read_excel主要参数及功能对照：

首先还是需要加载readxl包。尽管Hadley从2017年开始就一直在 络上宣传这个包已经属于tidyverse的一部分，但用户还是必须手动单独加载这个包。加载readxl包代码如下：

> library(readxl)

readxl包自带示范文件，使用函数readxl_example可以查看文件名字，以及获取文件路径，代码如下：

 > readxl_example() [1] "clippy.xls" "clippy.xlsx" "datasets.xls" "datasets.xlsx"[5] "deaths.xls" "deaths.xlsx" "geometry.xls" "geometry.xlsx"[9] "type-me.xls" "type-me.xlsx" 

获取示例文件的路径，可以先复制readxl_example函数运行后的结果，然后将其粘贴到read_excel函数的path参数中。

下面的代码演示函数嵌套的方法，这种嵌套的代码书写方式能够在一定程度上简化代码和减少命名中间产物的频率。不过嵌套过多会使可读性变差，一般推荐只嵌套两层。将读取后的数据保存在iris中，执行str函数之后将会发现除了经典的data.frame之外，数据集还有另外两种类别，tbl_df和tbl。函数嵌套的示例代码如下：

 > iris <- read_excel(path = readxl_example(path = "datasets.xlsx")) > str(iris) ## Classes 'tbl_df', 'tbl' and 'data.frame': 150 obs. of 5 variables:## $ Sepal.Length: num 5.1 4.9 4.7 4.6 5 5.4 4.6 5 4.4 4.9 ...## $ Sepal.Width : num 3.5 3 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.1 ...## $ Petal.Length: num 1.4 1.4 1.3 1.5 1.4 1.7 1.4 1.5 1.4 1.5 ...## $ Petal.Width : num 0.2 0.2 0.2 0.2 0.2 0.4 0.3 0.2 0.2 0.1 ...## $ Species : chr "setosa" "setosa" "setosa" "setosa" ...

之所以命名为iris，是因为这个范例Excel文件中的第一个工作表就是该经典数据集。函数excel_sheets可用于查询同一个文件中的工作表名称，其实现代码具体如下：

> excel_sheets(path = readxl_example(path = "datasets.xlsx"))## [1] "iris" "mtcars" "chickwts" "quakes"

在datasets.xlsx中一共存在4个工作表，其中包含了4个最经典的R语言练习数据集。在此，希望读者可以自行浏览这几个数据集，对数据集的格式、变量名称等情况有一定程度的了解。

增加参数sheet或range可以读取指定工作表中的数据。这里需要注意的是，上文提到了参数优先级的问题。对于一般常见的练习数据集，sheet参数指定的工作表已足够胜任。读者只需要记住range参数可以用来处理特殊情况，也就是说，当设置sheet后依然对读取到的数据不满意的情况可以考虑使用range。

下面的代码演示了sheet的两种传参方式：位置序 和名称。推荐读者采用后者。因为工作表被意外拖拽导致位置调换的情况常有发生，而位置意外发生调换之后读取的数据也会不同，这就增加了代码崩溃的风险。如果使用名称，则会降低发生错误的几率。示例代码如下：

> mtcars <- read_excel(path = readxl_example(path = "datasets.xlsx"),sheet = 2)> mtcars <- read_excel(path = readxl_example(path = "datasets.xlsx"),sheet = "mtcars")

对于后面的参数，读者可以根据上文的解释，每次增加一个参数，来逐步掌握每一个参数的功能，这里不再赘述。

02 DBI：数据库数据查询、下载

在使用R语言和数据库进行交互之前，读者们需要明确一个问题—是否有必要使用R来处理数据。简单的数据处理任务，比如数据查询、筛选和简单运算，相应的数据库语言应该是比R语言更好的选择。

不过当你对数据库语言并不熟悉，而且需要R语言强大的统计分析和绘图环境来处理数据库中的数据时，DBI包绝对是一条捷径。因为Hadley大神再一次拯救了“小白”。

有了DBI包，不需要了解数据库交互中各个环节繁琐的理论知识和技巧，只需要明白如何通过DBI包来建立数据库连接、查询和读取数据即可。不过，这个包也并非万能钥匙，想要无障碍地与数据库进行交互，以下6点是必备的前提。

1. 已知数据库的类型，例如，MySQL、PostgreSQL。
2. 已经安装了相应数据库类型的R包。
3. 数据库服务器地址。
4. 数据库名称。
5. 接入数据库的权限、账 和密码。
6. 已安装dplyr包用来本地化数据库中的数据。

使用R与数据库进行交互的一般流程为：建立连接→发送查询请求→获取相关数据。下面，我们用PostgreSQL的数据库作为代码示例。首先加载三个必备程序包，其中，DBI和PostgreSQL将用来建立与数据库的连接以及发送请求。dplyr则是用来将数据库中的数据保存到本地。加载代码具体如下：

> library(DBI)> library(dplyr)> library(RPostgreSQL)

不同类型的数据库可能需要调整dbConnect中的参数，具体调整方法读者可以参见帮助文档。数据库服务器地址、名称、权限等信息需要输入到单引 中，请一定留意是否有空格符 不小心被复制或者因误操作输入其中。如果担心密码泄露的话，则可以使用RStudio中自带的密码弹窗功能。

dbListTables函数可以用来查询数据库中的详细内容，并以字符串向量的格式返回，如果数据库中无内容，则会返回空值。调整dbConnect参数的示例代码如下：

 > db_connect <- dbConnect(RPostgreSQL::PostgreSQL(),dbname = '数据库名称',host = '服务器地址',user = '用户名',password = "密码") > dbListTables(db_connect) ## [1] "MetaData" "Table1" "Table2"

优化后的tbl函数可以直接调取已经建立连接的数据库中的指定数据，并保存为tibble格式的数据集。下面的代码中，逗 后面的参数也可以用“Table1”或“Table2”来表示：

> tbl(src = db_connect, dbListTables(db_connect)[1])

数据库交互的有关内容完全可以独立成书，这里我们只介绍了最简单的基本用法，以使大家对如何使用R来查询数据库有个最基本的印象。

03 pdftools：PDF文件

学术期刊、 络杂志和电子书籍一般都会以PDF格式的文件呈现。一般的计量型数据分析很少会遇到读取PDF文件的情况，不过在进行文本挖掘（Text Mining）和主题模型（Topic Modelling）预测中，pdftools包绝对是必备R包之一。

该包只有两个母函数，一个用来从PDF中提取数据（此处的数据包括数字型和文字型数据），另一个则用来将文件渲染成PDF格式。本节我们只讨论第一个母函数——pdf_info。

pdf_info函数下面一共包含6个子函数，功能各不相同。但是6个子函数的参数完全一致，分别是pdf、opw和upw。

数据导入函数’pdf_info子函数一览：

数据导入函数’pdf_info参数详解：

由于篇幅有限，下面的代码只截取了部分结果进行解释。这里所用的PDF文档是pdftools包的帮助文档，读者可以自行到R官 上搜索下载。帮助文档是开放PDF文件，无须提供密码。读取文档代码如下：

 > library(pdftools) > pdf_info(pdf = "./helpDocs/pdftools.pdf") ## $version## [1] "1.5"## ## $pages## [1] 5...

当使用pdf_text提取文档内容时，全部内容都被提取为一个字符串向量，每页的内容都被单独放置于一个字符串中。帮助文档的PDF格式一共包含5页，所以这里会得到一个长度为5的字符串向量。

有两种方式可用于查看提取的文本：可以直接将结果显示在console中（通过执行print(text)或直接运行text），也可以通过“[ ]”来指定显示某一页的内容。空白的位置都会以空格的字符格式显示，“rn”代表换行符 。提取文档内容的代码如下：

 > text<- pdf_text("./helpDocs/pdftools.pdf") > length(text) ## [1] 5 > class(text) ## [1] "character" > text[1] ## [1] " Package ‘pdftools’rn May 27, 2018rnType PackagernTitle Text Extraction, Rendering and Converting of PDF DocumentsrnVersion 1.8rnDescription Utilities based on 'libpoppler' for extracting text, fonts, attachments andrn

该文档无附件，所以会显示一个空列表：

> pdf_attachments(pdf = "./helpDocs/pdftools.pdf")## list()

文档中一共包含了6种字体，pdf_fonts会给出字体的名称、类型、是否嵌入文档中这三类信息，具体如下：

 > pdf_fonts(pdf = "./helpDocs/pdftools.pdf") ## name type embedded file## 1 DSHWTW+NimbusRomNo9L-Medi type1 TRUE ## 2 UTHPMJ+NimbusRomNo9L-Regu type1 TRUE ## 3 DSQFGA+Inconsolata-zi4r type1 TRUE ## 4 LVIJIF+NimbusSanL-Regu type1 TRUE ## 5 DQRZJT+NimbusRomNo9L-Regu-Slant_167 type1 TRUE ## 6 YIECHJ+NimbusRomNo9L-ReguItal type1 TRUE

目录读取的子函数会将所读取的内容返回到一个列表中，如果直接将该列表显示在console中很可能会让人感觉不知所云，读者可以自行实践。最好的办法是将读取的内容使用jsonlite包转换成json列表的格式进行显示，以帮助理解文档的架构。jsonlite包转换成json列表的示例代码如下：

 > jsonlite::toJSON(x = pdf_toc(pdf = "./helpDocs/pdftools.pdf"), pretty = TRUE) ## {## "title": "",## "children": [## {## "title": "pdf_info",## "children": []## },## {## "title": "pdf_render_page",## "children": []## },## {## "title": "Index",## "children": []## }## ]## }

04 jsonlite：JSON文件

JavaScript Object Notation（JSON）通常是作为不同语言之间互相交流信息的文件，JSON文件不但节省存储空间，其简洁明了的形式也很容易理解。

读取JSON文件的fromJSON函数共包含6个参数，通常情况下，除了指定文件路径之外，其他参数使用默认设置即可。

数据导入函数fromJSON参数详解：

首先以JSON常见的数组形式创建一个字符串向量，保存为example。中括 代表数组的起始，双引 中代表值，值与值之间以逗 进行分隔，然后再用单引 将这一数组格式保存到字符串向量中。因为example中的数组是按照JSON格式输入的，所以直接使用fromJSON函数即可。

在默认的参数设置下，可以得到一个包含4个值的R对象—字符串向量。运行fromJSON前后的这两个字符串向量，虽然名字一样，但内容完全不同，感兴趣的读者可以单独运行example来对比其区别所在。formJSON示例代码如下：

 > example <- '["a", "b", 0, "c"]' > fromJSON(example) ## [1] "a" "b" "0" "c"

当参数simplifyVector被指定为假时，返回结果为一个包含4个元素的列表。4个元素即代表共有4个值，每一个值都以列表的形式返回。

当JSON格式的原始数据文件有多重嵌套时，可以通过设置参数来查看数据结构和正确读取数据。不过，一般情况下还是建议读者使用非嵌套数据来练习和使用R语言与JSON格式数据进行交互，待有一定了解后再提高难度。返回结果如下：

 > fromJSON(example,simplifyVector = F) ## [[1]]## [1] "a"## ## [[2]]## [1] "b"## ## [[3]]## [1] 0## ## [[4]]## [1] "c"

05 foreign package统计软件数据

在世界范围内，开源的数据分析工具正在逐步取代传统数据分析软件，例如SAS、SPSS。在这一过程中，foreign包可以让我们无缝连接以传统分析软件格式保存的数据。该包也是集读取和写入于一体。

因为开源统计分析软件在世界范围内不可逆转的上升势头，传统分析软件的使用频率越来越低，其数据格式也渐渐被边缘化，本节只列出读取相应拓展名所需的函数以备读者不时之需，而不会做进一步的代码演示。

数据导入程序包foreign中数据读取函数及对应读取文件一览：

延伸阅读《R数据科学实战：工具详解与案例分析》