28.通过学习曲线诊断偏差和方差 翻译自 吴恩达新书-Machine Learning Yearning

技术标签: 吴恩达机器学习  吴恩达新书  Machine Learning Yearning 中文版  吴恩达新书中文版全  吴恩达新书中文版(1-52章)

更多好玩的机器学习教程: 进入袋马学院领一份 ,全部免费?.

我们已经了解了一些方法,可以算出有多少错误是来自于可避免得方差和偏差了。这些方法包括评估最优错误率、计算模型在训练样本集和开发样本集上的错误率。下面我们讨论两外一项可获得更多信息得方法:绘制学习曲线。

学习曲线显示出模型在开发数据集上的错误率与训练样本数量的关系。绘制这个曲线时,你需要设置不同的训练样本集大小。比如你有1000个样本,你可以分别用100、200、300、……、1000个样本来训练模型。然后就可以绘制出模型在开发样本集上的错误率与训练样本数量的对应关系了,比如下面这个例子:
模型错误率与样本数量
从上图可以看出,随着训练样本数量的增多,模型在开发样本集上的误差在逐渐下降。

对于我们的模型来说,我们通常会有些“期望的错误率”,我们希望我们的模型最终能达到这一效果,比如:

  • 我们期望模型达到人类的水平,则人类能达到的错误率就是我们期望的错误率。
  • 如果我们的算法服务于某些产品(比如猫咪分类),我们会有个大概的感觉,当模型达到什么样的水平时,用户会有比较好的体验。
  • 如果我们已经在某个应用上工作了很长时间,你应该能感觉出,下一季度/年度模型能达到的合理水平。

我们可以把期望水平加入到学习曲线中:
加入期望水平的学习曲线

你可以直接看出加入数据后,"开发错误率"离你期望的水平还差多远。从上面的例子中可以看出,似乎增加训练样本集中样本的数量,就可以让算法达到我们预期的水平了。

但是如果开发错误率变平了(不再下降了),你可以清晰的看出添加数据无助于你达到目标:
开发错误率曲线变平了
看看学习曲线就能帮助你发现收集更多的数据并无效果。而不是花费数月收集了两倍数据后,才发现更多的数据并没有用。学习曲线有个缺点是,如果你有更多的数据,它没有办法帮你准确的预测模型会达到什么水平。还有个图像也可以帮你评估更多的数据对模型性能的影响,即:训练错误率。

更多好玩的机器学习教程: 进入袋马学院领一份 ,全部免费?.

来源:网络


智能推荐

吴恩达《Machine Learning Yearning》翻译(1)

1. 为什么需要机器学习策略? 机器学习是很多重要应用的基础,包括网页搜索、垃圾邮件分类、语音识别、商品推荐等等。假设你和你的团队正在开发一项机器学习相关的应用,并且想实现项目的快速迭代。本书介绍的内容将会为你提供帮助。 例子:创立一个关于猫咪图片的创业公司 假设你正在建立一个新的公司,该公司将为爱猫人士提供丰富的猫咪图片。 其中的一个潮流的方法就是:使用神经网络(Neural Network)搭...

解读吴恩达新书《Machine Learning Yearning》系列(二)

0 引言 吴恩达 (之后称大神) 在 2018 年 5 月 23 日北京时间早上 6 点 15 分将《Machine Learning Yearning》一书更新到第 32 章 (总共有 55 章)。 回顾该书要讲的七个要点: 学习策略 (1 - 4 章) 目标设定 (5 - 12 章) 误差分析 (13 - 19 章) 偏差方差 (20 - 32 章) 性能对比 (33 - 35 章) 数据修正...

解读吴恩达新书《Machine Learning Yearning》系列(一)

0 引言 在教完深度学习系列后,吴恩达 (之后称大神) 最近在继续完成他原来编写的《Machine Learning Yearning》一书 (翻译成机器学习秘籍)。该书现在只完成到第 19 章 (总共有 55 章),我读完目录总结出该书要讲的七个要点,如下: 学习策略 (1 - 4 章) 目标设定 (5 - 12 章) 误差分析 (13 - 19 章) 偏差方差 (20 - 32 章) 性能对比...

笔记 | 吴恩达新书《Machine Learning Yearning》

这本书共112页,内容不多,偏向于工程向,有很多不错的细节,在此记录一下。 0 书籍获取 关注微信公众号“机器学习炼丹术”,回复【MLY】获取pdf 1 测试集与训练集的比例 2 误差分析 误差分析我感觉是一个成熟的AIer必备的能力。俗话说数据决定准确率的上线,模型只是在逼近这个值。模型效果的提升首先是需要去看数据样本的,把分类错误的样本一个一个看一看,然后心中自己会给出...

【全网独家】吴恩达的新书 《Machine Learning Yearning》1、为什么需要机器学习策略?

1、为什么需要机器学习策略? 机器学习是无数重要应用程序的基础,包括网页搜索,反垃圾邮件,语音识别,产品推荐等。如果您或您的团队正在开发一个机器学习的应用程序,并且您希望取得快速的进步。这本书将帮助你实现。 例如:建立一个谁别含有猫咪图片的创业公司。 假设你正在建立一个新公司,它将为爱猫人士提供源源不断的猫图片。你使用神经网络建立一个计算机视觉系统来检测图片中的猫。 但不幸的是,你的学习算法的准确...

猜你喜欢

【全网独家】吴恩达的新书 《Machine Learning Yearning》中文编译版-----3、先决条件和符号

3、先决条件和符号 如果你学过机器学习课程,比如Coursera上的机器学习MOOC,或者你有使用过监督学习的经验,你就能理解这篇课文。 我假设你熟悉监督学习:使用标记的训练样例(x, y)学习一个从x映射到y的函数。监督式学习包括线性回归(linear regression),对数几率回归(也叫逻辑回归,logistic regression)和神经网络(neural networks)。机器学...

【资源】吴恩达新书《Machine Learning Yearning》完整中文版免费下载

来自 | 机器学习算法与自然语言处理 吴恩达新书《Machine Learning Yearning》完整中文版开源,整理给大家。 《Machine Learning Yearning》是吴恩达历时两年,根据自己多年实践经验整理出来的一本机器学习、深度学习实践经验宝典。作为一本 AI 实战圣经,本书主要教你如何在实践中使机器学习算法的实战经验。 PDF获取方式: 本公众号后台回复吴恩达即可。 想脱...

吴恩达新书《Machine Learning Yearning》中7个实用建议(附论文)

原文链接:点击打开链接 摘要: 《Machine Learning Yearning》是人工智能和深度学习界的专家吴恩达写的一本书,这本书致力于讲明白机器学习算法是怎样工作的,以及如何构建一个机器学习项目。这里我们选取了这本书中7个非常有用的建议向大家介绍。 《Machine Learning Yearning》是人工智能和深度学习界的专家吴恩达写的一本书,这本书致力于讲明白机器学习算法...

重磅 | 吴恩达新书《Machine Learning Yearning》最新版分享

我的网站:红色石头 我的CSDN:红色石头的专栏 我的知乎:红色石头 我的微博:RedstoneWill的微博 我的GitHub:RedstoneWill的GitHub 我的微信公众号:AI有道(ID:redstonewill) 前言 说起吴恩达(Andrwew Ng),相信大家都不陌生了。吴恩达是斯坦福大学计算机科学系和电子工程系副教授,人工智能实验室主任,Coursera的联合创始人,14年加...

如何高效处理物联网中数据与消息

面临爆炸式增长,车联网业务平台问题重重 服务于大量的客户、合作伙伴和生态链的其他企业,用户诉求来源复杂; 需求变化快,不可控因素多; 各种营销手段带来突发的业务访问; 系统越来越复杂,模块越来越多; 市场竞争剧烈,创新不断涌现; 移动互联网规模比传统互联网大10倍,物联网的规模又要再扩大10倍,新时代才刚刚开始。 行车辅助、汽车安全、智能交通、出行服务、生活娱乐等将成为车联网的主要发展方向。面临爆...

问答精选

different templates - how to connect via landing page to next layout

I am developing a site for a friend of mine. The startpage should only contain her name, a slogan and a link (something like Enter Site) to the next template. I can't figure out on how this can be acc...

How to stop loading when web page is loading by use jquery?

Here is my use-case - I want in my web page, after user clicks a submit button to load a webpage, It will show a message box ( with a stop-loading button). I want after user click "stop loading &...

NullPointerException when declaring method from another class

I've been trying to work around this NullPointerException issue: through researching, I found that this exception occurs when you declare a reference type but don't create an object. In my case it is ...

How to set Magento store config data programmatically?

To get store config data, I would use this code: Now, how could I save to that node? I tried Alans suggestions from Override Magento Config, but it did not work for me. Thanks! Try following: OR...

How to convert a String that looks like JSON or a JS object, to an actual JS object?

The String I am talking about was initially a part of a JS object like: The variable I am interested in is favNumbersVal. Please notice that the starting and ending " around the value of favNumbe...

相关问题

相关文章

热门文章

推荐文章

相关标签

推荐问答