机器学习&深度学习入门学习资料大全(一)

机器学习&深度学习入门学习资料大全(一)

原文

• 《Brief History of Machine Learning》

介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经 络、决策树、SVM、Adaboost到随机森林、Deep Learning.

• 《Deep Learning in Neural Networks: An Overview》

介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最新版本《神经 络与深度学习综述》本综述的特点是以时间排序，从1940年开始讲起，到60-80年代，80-90年代，一直讲到2000年后及最近几年的进展。涵盖了deep learning里各种tricks，引用非常全面.

• 《A Gentle Introduction to Scikit-Learn: A Python Machine Learning Library》

介绍:这是一份python机器学习库,如果您是一位python工程师而且想深入的学习机器学习.那么这篇文章或许能够帮助到你.

• 《How to Layout and Manage Your Machine Learning Project》

介绍:这一篇介绍如果设计和管理属于你自己的机器学习项目的文章，里面提供了管理模版、数据管理与实践方法.

• 《Machine Learning is Fun!》

介绍:如果你还不知道什么是机器学习，或则是刚刚学习感觉到很枯燥乏味。那么推荐一读。这篇文章已经被翻译成中文,如果有兴趣可以移步http://blog.jobbole.com/67616/

• 《R语言参考卡片》

介绍:R语言是机器学习的主要语言,有很多的朋友想学习R语言，但是总是忘记一些函数与关键字的含义。那么这篇文章或许能够帮助到你

• 《Choosing a Machine Learning Classifier》

介绍:我该如何选择机器学习算法，这篇文章比较直观的比较了Naive Bayes，Logistic Regression，SVM，决策树等方法的优劣，另外讨论了样本大小、Feature与Model权衡等问题。此外还有已经翻译了的版本:http://www.52ml.net/15063.html

• 《An Introduction to Deep Learning: From Perceptrons to Deep Networks》

• 《The LION Way: Machine Learning plus Intelligent Optimization》

  介绍:<机器学习与优化>这是一本机器学习的小册子, 短短300多页道尽机器学习的方方面面. 图文并茂, 生动易懂, 没有一坨坨公式的烦恼. 适合新手入门打基础, 也适合老手温故而知新. 比起MLAPP/PRML等大部头, 也许这本你更需要!具体内容推荐阅读:http://intelligent-optimization.org/LIONbook/

• 《深度学习与统计学习理论》

• 《计算机科学中的数学》

介绍:这本书是由谷歌公司和MIT共同出品的计算机科学中的数学：[Mathematics for Computer Science](Mathematics for Computer Science)，Eric Lehman et al 2013 。分为5大部分：1）证明，归纳。2）结构，数论，图。3）计数，求和，生成函数。4）概率，随机行走。5）递归。等等

• 《信息时代的计算机科学理论(Foundations of Data Science)》

介绍：信息时代的计算机科学理论,目前国内有纸质书购买，iTunes购买

• 《Data Science with R》

介绍:这是一本由雪城大学新编的第二版《数据科学入门》教材：偏实用型，浅显易懂，适合想学习R语言的同学选读。

• 《Twenty Questions for Donald Knuth》

介绍:这并不是一篇文档或书籍。这是篇向图灵奖得主Donald Knuth提问记录稿： 近日， Charles Leiserson, Al Aho, Jon Bentley等大神向Knuth提出了20个问题，内容包括TAOCP，P/NP问题，图灵机，逻辑，以及为什么大神不用电邮等等。

• 《Automatic Construction and Natural-Language Description of Nonparametric Regression Models》

介绍：不会统计怎么办知道如何选择合适的统计模型怎么办这篇文章你的好好读一读了麻省理工Joshua B. Tenenbaum和剑桥Zoubin Ghahramani合作，写了一篇关于automatic statistician的文章。可以自动选择回归模型类别，还能自动写 告…

• 《ICLR 2014论文集》

介绍:对深度学习和representation learning最新进展有兴趣的同学可以了解一下

• 《Introduction to Information Retrieval》

• 《Machine learning in 10 pictures》

介绍:Deniz Yuret用10张漂亮的图来解释机器学习重要概念：1. Bias/Variance Tradeoff 2. Overfitting 3. Bayesian / Occam’s razor 4. Feature combination 5. Irrelevant feature 6. Basis function 7. Discriminative / Generative 8. Loss function 9. Least squares 10. Sparsity.很清晰

• 《雅虎研究院的数据集汇总》

介绍：雅虎研究院的数据集汇总： 包括语言类数据，图与 交类数据，评分与分类数据，计算广告学数据，图像数据，竞赛数据，以及系统类的数据。

• 《An Introduction to Statistical Learning with Applications in R》

介绍：这是一本斯坦福统计学著名教授Trevor Hastie和Robert Tibshirani的新书，并且在2014年一月已经开课：https://class.stanford.edu/courses/HumanitiesScience/StatLearning/Winter2014/about

• Best Machine Learning Resources for Getting Started

介绍：机器学习最佳入门学习资料汇总是专为机器学习初学者推荐的优质学习资源，帮助初学者快速入门。而且这篇文章的介绍已经被翻译成中文版。如果你不怎么熟悉，那么我建议你先看一看中文的介绍。

• My deep learning reading list

介绍:主要是顺着Bengio的PAMI review的文章找出来的。包括几本综述文章，将近100篇论文，各位山头们的Presentation。全部都可以在google上找到。

• Cross-Language Information Retrieval

介绍：这是一本书籍，主要介绍的是跨语言信息检索方面的知识。理论很多

• 探索推荐引擎内部的秘密，第 1 部分: 推荐引擎初探

• 《Advice for students of machine learning》

介绍：康奈尔大学信息科学系助理教授David Mimno写的《对机器学习初学者的一点建议》， 写的挺实际，强调实践与理论结合，最后还引用了冯 诺依曼的名言: “Young man, in mathematics you don’t understand things. You just get used to them.”

• 分布式并行处理的数据

• 《“机器学习”是什么

• 《2014年国际机器学习大会ICML 2014 论文》

介绍：2014年国际机器学习大会（ICML）已经于6月21-26日在国家会议中心隆重举办。本次大会由微软亚洲研究院和清华大学联手主办，是这个有着30多年历史并享誉世界的机器学习领域的盛会首次来到中国，已成功吸引海内外1200多位学者的 名参与。干货很多，值得深入学习下

• 《Machine Learning for Industry: A Case Study》

介绍：这篇文章主要是以Learning to Rank为例说明企业界机器学习的具体应用，RankNet对NDCG之类不敏感，加入NDCG因素后变成了LambdaRank，同样的思想从神经 络改为应用到Boosted Tree模型就成就了LambdaMART。Chirs Burges，微软的机器学习大神，Yahoo 2010 Learning to Rank Challenge第一名得主，排序模型方面有RankNet，LambdaRank，LambdaMART，尤其以LambdaMART最为突出，代表论文为：
From RankNet to LambdaRank to LambdaMART: An Overview
此外，Burges还有很多有名的代表作，比如：A Tutorial on Support Vector Machines for Pattern Recognition
Some Notes on Applied Mathematics for Machine Learning

• 100 Best GitHub: Deep Learning

介绍:100 Best GitHub: Deep Learning

• 《UFLDL-斯坦福大学Andrew Ng教授“Deep Learning”教程》

介绍:本教程将阐述无监督特征学习和深度学习的主要观点。通过学习，你也将实现多个功能学习/深度学习算法，能看到它们为你工作，并学习如何应用/适应这些想法到新问题上。本教程假定机器学习的基本知识（特别是熟悉的监督学习，逻辑回归，梯度下降的想法），如果你不熟悉这些想法，我们建议你去这里机器学习课程，并先完成第II，III，IV章（到逻辑回归）。此外这关于这套教程的源代码在github上面已经有python版本了 UFLDL Tutorial Code

*《Deep Learning for Natural Language Processing and Related Applications》

介绍:这份文档来自微软研究院,精髓很多。如果需要完全理解，需要一定的机器学习基础。不过有些地方会让人眼前一亮,茅塞顿开。

• Understanding Convolutions

介绍:这是一篇介绍图像卷积运算的文章，讲的已经算比较详细的了

• 《Machine Learning Summer School》

介绍：每天请一个大牛来讲座，主要涉及机器学习，大数据分析，并行计算以及人脑研究。https://www.youtube.com/user/smolix （需翻墙）

• 《Awesome Machine Learning》

介绍：一个超级完整的机器学习开源库总结，如果你认为这个碉堡了，那后面这个列表会更让你惊讶：【Awesome Awesomeness】,国内已经有热心的朋友进行了翻译中文介绍，机器学习数据挖掘免费电子书

• 斯坦福《自然语言处理》课程视频

介绍:ACL候任主席、斯坦福大学计算机系Chris Manning教授的《自然语言处理》课程所有视频已经可以在斯坦福公开课 站上观看了（如Chrome不行，可用IE观看） 作业与测验也可以下载。

• 《Deep Learning and Shallow Learning》

介绍:对比 Deep Learning 和 Shallow Learning 的好文，来着浙大毕业、MIT 读博的 Chiyuan Zhang 的博客。

• 《Recommending music on Spotify with deep learning》

介绍:利用卷积神经 络做音乐推荐。

• 《Neural Networks and Deep Learning》

介绍：神经 络的免费在线书，已经写了三章了，还有对应的开源代码：https://github.com/mnielsen/neural-networks-and-deep-learning 爱好者的福音。

• 《Java Machine Learning》

介绍：Java机器学习相关平台和开源的机器学习库，按照大数据、NLP、计算机视觉和Deep Learning分类进行了整理。看起来挺全的，Java爱好者值得收藏。

• 《Machine Learning Theory: An Introductory Primer》

介绍：机器学习最基本的入门文章，适合零基础者

• 《机器学习常见算法分类汇总》

介绍：机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。

• 《机器学习经典论文/survey合集》

介绍：看题目你已经知道了是什么内容,没错。里面有很多经典的机器学习论文值得仔细与反复的阅读。

• 《机器学习视频库》

介绍：视频由加州理工学院（Caltech）出品。需要英语底子。

• 《机器学习经典书籍》

介绍：总结了机器学习的经典书籍，包括数学基础和算法理论的书籍，可做为入门参考书单。

• 《16 Free eBooks On Machine Learning》

介绍:16本机器学习的电子书，可以下载下来在pad，手机上面任意时刻去阅读。不多我建议你看完一本再下载一本。

• 《A Large set of Machine Learning Resources for Beginners to Mavens》

介绍:标题很大，从新手到专家。不过看完上面所有资料。肯定是专家了

• 《机器学习最佳入门学习资料汇总》

介绍：入门的书真的很多，而且我已经帮你找齐了。

• 《Sibyl》

介绍：Sibyl 是一个监督式机器学习系统，用来解决预测方面的问题，比如 YouTube 的视频推荐。

• 《Neural Network & Text Mining》

介绍:关于(Deep) Neural Networks在 NLP 和 Text Mining 方面一些paper的总结

• 《前景目标检测1（总结）》

介绍:计算机视觉入门之前景目标检测1（总结）

• 《行人检测》

介绍:计算机视觉入门之行人检测

• 《Deep Learning – important resources for learning and understanding》

介绍:Important resources for learning and understanding . Is awesome

• 《Machine Learning Theory: An Introductory Primer》

介绍:这又是一篇机器学习初学者的入门文章。值得一读

• 《Neural Networks and Deep Learning》

介绍:在线Neural Networks and Deep Learning电子书

• 《Python 页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱》

介绍:python的17个关于机器学习的工具

• 《神奇的伽玛函数(上)》

介绍:下集在这里神奇的伽玛函数(下)

• 《分布式机器学习的故事》

• 《机器学习提升之道（Level-Up Your Machine Learning）》

介绍:把机器学习提升的级别分为0~4级，每级需要学习的教材和掌握的知识。这样，给机器学习者提供一个上进的路线图，以免走弯路。另外，整个 站都是关于机器学习的，资源很丰富。

• 《Machine Learning Surveys》

介绍:机器学习各个方向综述的 站

• 《Deep Learning Reading list》

介绍:深度学习阅资源列表

• 《Deep Learning: Methods and Applications》

介绍：这是一本来自微的研究员 li Peng和Dong Yu所著的关于深度学习的方法和应用的电子书

• 《Machine Learning Summer School 2014》

介绍:2014年七月CMU举办的机器学习夏季课刚刚结束 有近50小时的视频、十多个PDF版幻灯片，覆盖 深度学习，贝叶斯，分布式机器学习，伸缩性 等热点话题。所有13名讲师都是牛人：包括大牛Tom Mitchell （他的［机器学习］是名校的常用教材），还有CMU李沐 .（1080P高清哟）

• 《Sibyl: 来自Google的大规模机器学习系统》

介绍:在今年的IEEE/IFIP可靠系统和 络（DSN）国际会议上，Google软件工程师Tushar Chandra做了一个关于Sibyl系统的主题演讲。 Sibyl是一个监督式机器学习系统，用来解决预测方面的问题，比如YouTube的视频推荐。详情请阅读google sibyl

• 《Building a deeper understanding of images》

介绍:谷歌研究院的Christian Szegedy在谷歌研究院的博客上简要地介绍了他们今年参加ImageNet取得好成绩的GoogLeNet系统.是关于图像处理的。

• 《Bayesian network 与python概率编程实战入门》

介绍:贝叶斯学习。如果不是很清可看看概率编程语言与贝叶斯方法实践

• 《AMA: Michael I Jordan》

介绍: 友问伯克利机器学习大牛、美国双料院士Michael I. Jordan：”如果你有10亿美金，你怎么花ordan: “我会用这10亿美金建造一个NASA级别的自然语言处理研究项目。”

• 《机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）》

• 《文本与数据挖掘视频汇总》

介绍：Videolectures上最受欢迎的25个文本与数据挖掘视频汇总

• 《怎么选择深度学习的GPUs》

介绍:在Kaggle上经常取得不错成绩的Tim Dettmers介绍了他自己是怎么选择深度学习的GPUs, 以及个人如何构建深度学习的GPU集群: http://t.cn/RhpuD1G

• 《对话机器学习大神Michael Jordan：深度模型》

介绍:对话机器学习大神Michael Jordan

• 《Deep Learning 和 Knowledge Graph 引爆大数据革命》

介绍:还有２，３部分。http://blog.sina.com.cn/s/blog_46d0a3930101gs5h.html

• 《Deep Learning 教程翻译》

介绍:是Stanford 教授 Andrew Ng 的 Deep Learning 教程，国内的机器学习爱好者很热心的把这个教程翻译成了中文。如果你英语不好，可以看看这个

• 《Deep Learning 101》

介绍:因为近两年来，深度学习在媒体界被炒作很厉害（就像大数据）。其实很多人都还不知道什么是深度学习。这篇文章由浅入深。告诉你深度学究竟是什么！

• 《UFLDL Tutorial》

介绍:这是斯坦福大学做的一免费课程（很勉强），这个可以给你在深度学习的路上给你一个学习的思路。里面提到了一些基本的算法。而且告诉你如何去应用到实际环境中。中文版

• 《Toronto Deep Learning Demos》

介绍:这是多伦多大学做的一个深度学习用来识别图片标签／图转文字的demo。是一个实际应用案例。有源码

• 《Deep learning from the bottom up》

介绍:机器学习模型，阅读这个内容需要有一定的基础。

• 《R工具包的分类汇总》

介绍: (CRAN Task Views, 34种常见任务,每个任务又各自分类列举若干常用相关工具包) 例如: 机器学习，自然语言处理，时间序列分析，空间信息分析，多重变量分析，计量经济学，心理统计学， 会学统计，化学计量学，环境科学，药物代谢动力学 等

• 《机器学习常见算法分类汇总》

• 《Deep Learning（深度学习）学习笔记整理系列》

Deep Learning（深度学习）学习笔记整理系列之（二）

Deep Learning（深度学习）学习笔记整理系列之（三）

Deep Learning（深度学习）学习笔记整理系列之（四）

Deep Learning（深度学习）学习笔记整理系列之（五）

Deep Learning（深度学习）学习笔记整理系列之（六）

Deep Learning（深度学习）学习笔记整理系列之（七）

DeepLearning（深度学习）学习笔记整理系列之（八）

• 《Tutorials Session A – Deep Learning for Computer Vision》

介绍:传送理由：Rob Fergus的用深度学习做计算机是觉的NIPS 2013教程。有mp4, mp3, pdf各种下载 他是纽约大学教授，目前也在Facebook工作，他2014年的8篇论文

• 《FudanNLP》

介绍:FudanNLP，这是一个复旦大学计算机学院开发的开源中文自然语言处理（NLP）工具包
Fudan NLP里包含中文分词、关键词抽取、命名实体识别、词性标注、时间词抽取、语法分析等功能，对搜索引擎 文本分析等极为有价值。

• 《Open Sourcing ml-ease》

介绍:LinkedIn 开源的机器学习工具包,支持单机, Hadoop cluster，和 Spark cluster 重点是 logistic regression 算法

• 《机器学习周刊》

• 《线性代数》

介绍：《线性代数》是《机器学习》的重要数学先导课程。其实《线代》这门课讲得浅显易懂特别不容易，如果一上来就讲逆序数及罗列行列式性质，很容易让学生失去学习的兴趣。我个人推荐的最佳《线性代数》课程是麻省理工Gilbert Strang教授的课程。 课程主页

• 《Big-data》

介绍:大数据数据处理资源、工具不完备列表，从框架、分布式编程、分布式文件系统、键值数据模型、图数据模型、数据可视化、列存储、机器学习等。很赞的资源汇总。

• 《machine learning for smart dummies》

介绍:雅虎邀请了一名来自本古里安大学的访问学者，制作了一套关于机器学习的系列视频课程。本课程共分为7期，详细讲解了有关SVM, boosting, nearest neighbors, decision trees 等常规机器学习算法的理论基础知识。

• 《Entanglement-Based Quantum Machine Learning》

介绍:应对大数据时代，量子机器学习的第一个实验 paper 下载

• 《How a Math Genius Hacked OkCupid to Find True Love》

介绍:Wired杂志 道了UCLA数学博士Chris McKinlay （图1）通过大数据手段+机器学习方法破解婚恋 站配对算法找到真爱的故事,通过Python脚本控制着12个账 ，下载了婚恋 站2万女用户的600万问题答案，对他们进行了统计抽样及聚类分析（图2，3），最后终于收获了真爱。科技改变命运！

• 《Underactuated Robotics》

介绍:MIT的Underactuated Robotics于 2014年10月1日开课，该课属于MIT研究生级别的课程，对机器人和非线性动力系统感兴趣的朋友不妨可以挑战一下这门课程！

• 《mllib实践经验(1)》

介绍:mllib实践经验分享

• 《Google Turns To Deep Learning Classification To Fight Web Spam》

介绍:Google用Deep Learning做的antispam(反垃圾邮件)

• 《NLP常用信息资源》

介绍:NLP常用信息资源* 《NLP常用信息资源》

• 《机器学习速查表》

介绍:机器学习速查表

• 《Best Papers vs. Top Cited Papers in Computer Science》

介绍：从1996年开始在计算机科学的论文中被引用次数最多的论文

• 《InfiniTAM: 基于深度图像的体数据集成框架》

介绍：把今年的一个ACM Trans. on Graphics (TOG)论文中的代码整理为一个开源的算法框架，共享出来了。欢迎大家使用。可以实时的采集3D数据、重建出三维模型。Online learning，GPU Random forest，GPU CRF也会后续公开。

• 《Hacker’s guide to Neural Networks》

• 《Building a Production Machine Learning Infrastructure》

介绍：前Google广告系统工程师Josh Wills 讲述工业界和学术界机器学习的异同,大实话

• 《Deep Learning Sentiment Analysis for Movie Reviews using Neo4j》

介绍：使用Neo4j 做电影评论的情感分析。

• 《DeepLearning.University – An Annotated Deep Learning Bibliography》

介绍：不仅是资料，而且还对有些资料做了注释。

• 《A primer on deeping learning》

介绍：深度学习入门的初级读本

• 《Machine learning is teaching us the secret to teaching 》

介绍：机器学习教会了我们什么/p>

• 《scikit-learn：用于机器学习的Python模块》

介绍：scikit-learn是在SciPy基础上构建的用于机器学习的Python模块。

• 《对话机器学习大神Michael Jordan：解析领域中各类模型》

介绍：乔丹教授（Michael I. Jordan）教授是机器学习领域神经 络的大牛，他对深度学习、神经 络有着很浓厚的兴趣。因此，很多提问的问题中包含了机器学习领域的各类模型，乔丹教授对此一一做了解释和展望。

• 《A*搜索算法的可视化短教程》

介绍：A*搜索是人工智能基本算法，用于高效地搜索图中两点的最佳路径, 核心是 g(n)+h(n): g(n)是从起点到顶点n的实际代价，h(n)是顶点n到目标顶点的估算代价。合集

• 《基于云的自然语言处理开源项目FudanNLP》

介绍：本项目利用了Microsoft Azure，可以在几分种内完成NLP on Azure Website的部署，立即开始对FNLP各种特性的试用，或者以REST API的形式调用FNLP的语言分析功能

• 《吴立德《概率主题模型&数据科学基础》

介绍：现任复旦大学首席教授、计算机软件博士生导师。计算机科学研究所副所长.内部课程

• 《机器学习入门资源不完全汇总》

介绍：好东西的干货真的很多

• 《收集从2014年开始深度学习文献》

介绍：从硬件、图像到健康、生物、大数据、生物信息再到量子计算等，Amund Tveit等维护了一个DeepLearning.University小项目：收集从2014年开始深度学习文献，相信可以作为深度学习的起点,github

介绍：EMNLP上两篇关于stock trend 用到了deep model组织特征； Exploiting Social Relations and Sentiment for Stock Prediction用到了stock network。

• 《Bengio组（蒙特利尔大学LISA组）深度学习教程 》

• 《学习算法的Neural Turing Machine 》

介绍：许多传统的机器学习任务都是在学习function，不过谷歌目前有开始学习算法的趋势。谷歌另外的这篇学习Python程序的Learning to Execute也有相似之处

• 《Learning to Rank for Information Retrieval and Natural Language Processing》

• 《Rumor has it: Identifying Misinformation in Microblogs》

介绍：利用机用器学习在谣言的判别上的应用,此外还有两个。一个是识别垃圾与虚假信息的paper.还有一个是 络舆情及其分析技术

• 《R机器学习实践》

介绍：该课程是 易公开课的收费课程，不贵，超级便宜。主要适合于对利用R语言进行机器学习，数据挖掘感兴趣的人。

• 《大数据分析：机器学习算法实现的演化》

• 《图像处理，分析与机器视觉》

介绍：讲计算机视觉的四部奇书（应该叫经典吧）之一，另外三本是Hartley的《多图几何》、Gonzalez的《数字图像处理》、Rafael C.Gonzalez / Richard E.Woods 的《数字图像处理》

• 《LinkedIn最新的推荐系统文章Browsemaps》

• 《初学者如何查阅自然语言处理（NLP）领域学术资料》

介绍：初学者如何查阅自然语言处理（NLP）领域学术资料

• 《树莓派的人脸识别教程》

介绍：用树莓派和相机模块进行人脸识别

• 《利用深度学习与大数据构建对话系统 》

介绍：如何利用深度学习与大数据构建对话系统

• 《经典论文Leo Breiman：Statistical Modeling: The Two Cultures 》

介绍：Francis Bach合作的有关稀疏建模的新综述(书)：Sparse Modeling for Image and Vision Processing，内容涉及Sparsity, Dictionary Learning, PCA, Matrix Factorization等理论，以及在图像和视觉上的应用，而且第一部分关于Why does the l1-norm induce sparsity的解释也很不错。

• 《Reproducing Kernel Hilbert Space》

• 《Hacker’s guide to Neural Networks》

介绍：许多同学对于机器学习及深度学习的困惑在于，数学方面已经大致理解了，但是动起手来却不知道如何下手写代码。斯坦福深度学习博士Andrej Karpathy写了一篇实战版本的深度学习及机器学习教程，手把手教你用Javascript写神经 络和SVM.

• 《【语料库】语料库资源汇总》

介绍：【语料库】语料库资源汇总

• 《机器学习算法之旅》