汕头企业网站建设难—Active Learning: 一个降低深度

日期:2021-01-29 类型:新闻中心 

关键词:抠图软件电脑版,在线图片加水印,在线 抠图,在线画图网站,淘宝做图片用什么软件好

雷锋网 AI 高新科技高新科技点评按:原文中为 CVPR 2017 的大学毕业毕业论文解读,写作者周纵苇(Zongwei Zhou),电子器件电子邮箱:.edu,新浪网新浪微博:@MrGiovanni。原文中先发于,经写作者授权,雷锋网(手机微信微信公众号:雷锋网)转截。
[标识:內容1]

下面要详尽详细介绍的工作中中公布于 ,名叫「Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally」。它重要解决了一个深层次学习培训学习培训中的重要难点:如何运用尽可能少的标志数据信息信息内容来训练一个具体实际效果 promising 的分类器。根据我的辨别,当遇到二种情况的状况下,这篇大学毕业毕业论文的可以十分强悍的实际具体指导具体实际意义:

一共手头有 100 个未标志模版,和仅仅够标志 10 个模版的钱,老板说,依据训练这十个标志的模版,能接近甚至保证训练 100 个模版的 performance;

手头有着一个早就在 100 个模版中训练完的分类器,现如今来啦 100 个我国免检商品记的模版,老板说,只得出示够训练 10 个模版的计算机;或者只给你提供够训练 10 个模版的时间,让分类器尽快学习培训学习培训到刚来模版的特性;

这两个情况造成的规范是完全不一样的,Situation A 造成在吊丝公司,没有钱获得精标志的数据信息信息内容集,却也想干深层次学习培训学习培训;Situation B 一般造成在高富帅公司,挺大量的精标志数据信息信息内容,但是由于目前就算是最強逼的计算机也不能用深层次学习培训学习培训在短时间间间内一次性地好地方理完这类数据信息信息内容(e.g.,运作运行内存外流,或者算上一2年都算不完)。Anyway,我认为我早就说清楚应用状况了,阅读文章者可以根据实际情况辨别不是是往后面面读出来。

感谢你选择再度往下阅读文章文章内容,那么倘若觉得下边所传输的意识和方法对让你帮助,请还还记得一定引进这篇 CVPR 2017 的文章内容內容。

@InProceedings{Zhou_2017_CVPR,

author = {Zhou, Zongwei and Shin, Jae and Zhang, Lei and Gurudu, Suryakanth and Gotway, Michael and Liang, Jianming},

title = {Fine-Tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally},

booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},

month = {July},

year = {2017}

}

1. 为什么会想到好去处理这一难点?

现如今深层次学习培训学习培训特火,做的人也越来越越越大,那么它的门槛可以称作很低的,Caffe,Keras,Torch 这种构架的出现,让该制造行业的 programming 的门槛马上拆了。因而深层次学习培训学习培训真正的门槛变成了十分简易界定——钱。这一钱有两个过重要的注入,一是计算机的测算工作中工作能力(GPU Power),二是标志数据信息信息内容的数量。这儿就引出来来一个过重要的难点:并不是是训练数据信息信息内容集越大,深层次学习培训学习培训的具体实际效果会就会越好呢?这一回应无缘无故想是想到不到来的,能答复的人一定是早就拥有了很多的数据信息信息内容,如 ImageNet,Place 这种,他们可以做一系列产品商品的实验来回答这一难点。务必呈现的结果十分简易,横坐标是训练集的模版数,纵坐标是分类的 performance,下列图所显示信息:

Fig.1 倘若回应是左图,那么就沒有甚么可以说的了,去想方式弄到尽可能多的训练数据信息信息内容集就 ok,但是具体结果是下面的图的红实线,一一开始,训练集的模版数提高,分类器的特点快速地在上升,当训练集的模版数保证某一个临界值值值的状况下,就基本不容易更改了,也就是说,作为来到这一临界值值的总数时,再去标出数据信息信息内容的 ground truth 就是在耗费时间和金钱。有着这一认知能力工作能力,接下来就是想方式让这一临界值值值变小,也就是用更小的训练集来快速地保证最理想化化的特点,以下图的红虚线所显示信息。红实线大伙儿感觉是在随意地提高训练集,那么红虚线就是用积极主动学习培训学习培训(Active Learning)的方法来提高训练集,从而找寻一个更小的非空非空子集来保证最理想化化的特点。

这儿务必说明的一点是,训练模版数的临界值值点规格和这一分类难点的难度系数系数有关,倘若这一分类难点十分简单,如白与黑图像分类(乳乳白色的是 1,灰灰黑色的是 0),那么这一临界值值值就十分小,一般几幅图即可以训练一个高精密度很高的分类器;倘若分类难点很复杂,如辨别一个恶变恶性肿瘤的良恶化(优良是 0,恶化是 1),那么这一临界值值值会十分大,因为恶变恶性肿瘤的模样,规格,位置不尽相同,分类器务必学习培训学习培训许多许多的模版,才能够保证一个比较安稳的特点。

FIG.1 对于很多从事深层次学习培训学习培训的无论是科学研究科学研究员还是企业家都是一个十分有启发性的认知能力工作能力变更。一般来讲,人的惯性力力逻辑性逻辑思维会促进一个默认设置设定的设计构思,就是训练模版越大就会越好,如左图所显示信息,这将马上导致许多工作中中的停滞不前不前不前,缘故自始至终是「大伙儿没有充裕的数据信息信息内容,怎样训练互连网!」进一步的设计构思是图二的红实线认知能力工作能力:如果是多少是多啊,先训着再聊,逐渐地的便会发现即使用本身有的一小一一部分数据信息信息内容集好像还可以保证一个十分好的分类特点,这一状况下就遇到一个难点:本身的数据信息信息内容集模版数到底有没有到达临界值值值呢?这一难点也太重要,它管理决策了要不要再度出钱去请人标出数据信息信息内容了。这一难点我可以在第三一一部分去答复它,这儿先假设大伙儿掌握了它的回应,接下来的难点就是如何让这一临界值值值变小?

2. 如何让临界值值值变小?

解决方案计划方案就是积极主动学习培训学习培训(Active Learning),去积极主动学习培训学习培训这种比较「难的」,「信息内容內容量大的」模版(hard mining)。关键点是每一次都挑现如今分类器分类具体实际效果不理想的这种模版(hard sample)给它训练,假设是训练这一一部分 hard sample 对于提升分类器具体实际效果最有效而快速。难点不是在掌握真正标志的情况下怎样去定义 HARD sample?或者说怎样去描述现如今分类器对于不一样模版的分类结果的好坏?

定义:由于深层次学习培训学习培训的输出是所属于某一类的概率(0~1),一个很品牌形象化的方法就是用「」来勾勒信息内容內容量,把这种预测分析剖析值模棱两可不清的模版挑出来来来,对于二分类难点,就是预测分析剖析值越靠近 0.5,她们的信息内容內容量越大。也是有一个比较品牌形象化的方法是用「」来勾勒 labeled data 和 unlabeled data 的相近性。这两个方法都是先在被确立明确提出。是十分重要的两个 Active Learning 的选择指标值值。

Important Observation: To boost the performance of CNNs in biomedical imaging, multiple patches are usually generated automatically for each candidate through data augmentation; these patches generated from the same candidate share the same label, and are naturally expected to have similar predictions by the current CNN before they are expanded into the training dataset.

有着这两个指标值值来选 hard sample,是比较靠谱了——实验结果表明,这比随意去选早就能快速地保证临界值值转折点点了。

FIG.2 Active Learning 的结构提醒图。应用深层次学习培训学习培训所造成的优势在于,一一开始你可以以以无需有标志的数据信息信息内容集。

举例说明表明来讲,假设你是一个养狗的栽种种植大户,你现如今想干一个十分偏的(技术性技术专业化的)分类难点,如和的分类难点,你手头有这二种狗各 50 条,你本身可以很轻轻地松松地区分这 100 条狗,现如今务必做的是训练一个分类器,给这种模糊不清白狗的人,他们拍了狗的照片接着把照片输入到这一分类器即可以十分好地辨别它是卷毛比雄犬还是哈瓦那犬。最开始你可以以以给这 100 条狗拍照片,每条狗全是有不一样样子的 10 张照片,一共拍了 1000 张没有标志的照片。对于这 1000 张照片,你孰了解的是哪 10 张相符合的是一条狗,其他统统不知道道道。

在这里里个实际分类难点中,给你着毫无疑问的数据信息信息内容优势,即使是 Google Image 也不能撼动,当然一种选择便是你将 1000 幅照片从头开始刚开始到尾看一遍,标出好,但是你更希望是把大多数数数简单的分类工作中中交给分类器,本身尽可能少的做标志工作中中,并且重要是去标志这种分类器模棱两可不清的那几张照片来提高分类器的特点。

大伙儿基本提供的解决方案计划方案是 (参考 Fig.2 或者 Fig.3):

把 1000 幅图放入在许多自然图像中预训练的互连网(LeNet,AlexNet,GoogLeNet,VGG,ResNet 这种)中检验一遍,得到预测分析剖析值,接着挑出来来来这种「较难的」,「信息内容內容量很大的」模版,你看看看一下,得到他们的标志(卷毛比雄犬还是哈瓦那犬);

用这类没多久给了标志的模版训练深层次互连网 N;

把剩下这种没有标志的图像用 N 检验,得到预测分析剖析值,还是挑出来来来这种「较难的」,「信息内容內容量很大的」模版,你再得到他们的标志(卷毛比雄犬还是哈瓦那犬);

没多久给了标志的模版和本来有标志的模版组成新的训练集,再度用她们来训练深层次互连网 N;

不断步骤 3,4,直到 [?]

如 FIG.2 所显示信息,每一次循环系统系统软件都用不断提高的标志数据信息信息内容集去提升分类器的特点,每一次都挑对现如今分类器比较难的模版来人为因素要素标志。

3. 这一整个过程什么时候可以停?

钱用光了;

现如今分类器对选择出去的 hard samples 分类适当;

选择出去的 hard samples 大家也无法标志;

以上三种情况都可以以以让这一循环系统系统软件训练整个过程中断,第一种就很没法怎奈了,沒有钱请人标志了... 第二种情况和第三种情况的前提条件标准共鸣点是倘若难的模版都分类适当了,那么大伙儿感觉简单的模版没什么疑惑也大部分分分类适当了,即使不知道道道标志。第三种情况,举例说明表明来说就是白与黑图像分类,结果分类器模棱两可不清的图像是灰的... 也就是说客观性客观事实上的确分不了,并且现如今的分类器居然能够把分不了的模版也寻找来,这时候候大伙儿感觉这一分类器的特点早就十分好的了,因而循环系统系统软件训练结束。

到此,重要讲了传统式式的 Active Learning 的意识,接下来会讲讲这篇 CVPR2017 大学毕业毕业论文的许多个工作中中点。

The way to create something beautiful is often to make subtle tweaks to something that already exists, or to combine existing ideas in a slightly new way.

-- Hackers Painters

上面我提及了 Active Learning 的大概设计构思,如 Fig. 3 所显示信息,是一个很趣味的界定,说实话非常好用,我都在 Mayo Clinic 实习的状况下,每一次遇到新的数据信息信息内容集,全是惦念着用一用这一方法,来让给数据信息信息内容标出的权威性权威专家轻轻地松松一点...

Fig.3 暗的说明 unlabeled 的数据信息信息内容,高亮度度的说明 labeled 的数据信息信息内容,CNN 的结构可以随便挑 SOTA 的沒有谓,CNN0 是拍 retrained from ImageNet,得到的第二文件目录示每个 image 相符合的 importance 指标值值,越红的说明 entropy 越大,或者 diversity 越大,每一次挑这类 important 的 sample 给权威性权威专家标出,那般 labeled 的数据信息信息内容就变多了,用 labeled 的数据信息信息内容训练 CNN,得到新的更强的分类器了,再在 unlabeled data 上检验,挑出来来 entropy/diversity 大的模版,交给权威性权威专家去标出,如此循环系统系统软件...

4. 发现新难点

仿佛前边讲的提升优化算法没留出什么难点啊,也就是说,如果学术研究科学研究视野够宽敞,这一 Active Learning 的技术性性完全可以马上用啦。但是实际上实际上并不是那般的,上面说的熵(Entropy)的确没有什么较为比较严重的难点,但是多种多样多种多样性(Diversity),在很多具体应用中难点便会出现。

根据「」的描述,Diversity 是计算 labeled data 和 unlabeled data 正中间的相近度,把和 labeled data 比较相近的作为简单模版,每一次 active select 难模版,也就是挑出来来来和 labeled data 不太像的出来。体现在引流方法引流矩阵上就是行是 labeled data,列是 unlabeled data,在她们组成的大引流方法引流矩阵中寻找最好的子引流方法引流矩阵。这一方法在基本基础理论上是可行的,但是实际应用中,数据信息信息内容量(labeled 和 unlabeled)会十分大,这一引流方法引流矩阵会十分的大,导致求最好解会较为慢,或者根本得到不到来最好解。因此,大伙儿实际上没有 image-level 上算 diversity。

由于标志的药业学影像训练数据信息信息内容量和自然图像的没法比,Data Augmentation 是尽量的环节,大伙儿就掌握住了这一点设计方案制作 Diversity 这一指标值值。这儿的假设是:经历 data augmentation 后的 patches,从 CNN 出来的预测分析剖析值理应相对性性是一致的,因为她们的 truth 理应还是一致的。比如一张猫的图像,经历数据信息信息内容扩张,得到的这种个 patch 所相符合的 truth 也理应都是猫。

定义:对于来源于于同一幅 image 的 patch 集,倘若她们的分类结果高度不统一了,那么这一 image 就是 Important 的,或者 hard sample。

务必开展描述的二点:

由于在 annotation 之前不知道道道 label,因而大伙儿不能以掌握互连网的预测分析剖析适当还是歪斜确,但是大伙儿可以掌握预测分析剖析统一还是不统一。因而比如一幅猫的图,倘若互连网的预测分析剖析很统一都是狗,那么大伙儿也感觉它是一个 easy sample,没去 active select 它的。

结合 data augmentation 的优点便是大家可以掌握甚么 patch 相符合什么 image,比较十分非常容易控制。那般即可以在一个 image 內算 diversity 了,每个 image 相符合一个引流方法引流矩阵,规格是一样的,十分的简洁,也十分非常容易控制计算量。

那般的 diversity 就完美了沒有?并没有... 阅读文章者可以先猜猜哪儿又出难点啦,我都在第五一一部分会注重来。

5. 本次是 Data Augmentation 的锅

难点出在上面的假设:经历 data augmentation 后的 patches,从 CNN 出来的预测分析剖析值理应相对性性是一致的,因为她们的 truth 理应还是一致的。

大伙儿掌握有几种经典的数据信息信息内容扩张方法:平移,旋转,放缩,形变,加噪声这种。但是很有可能造成的是,经历这类变化以后,得到的 patch 是无法分类的。举例说明表明来讲,提及的平移 crop,倘若大伙儿将它应用到猫的分类难点中,很有可能得到那般的训练模版:

Fig.4 左图是原始的图像,中间的 9 个 patches 是根据平移变化的扩张得到的,restrictions: region must contain objects or part of the object 详尽这儿,下面的图是互连网得到的相符合 patch 的预测分析剖析值。

可以看出,在这里里个例例中,对于一个 candidate,互连网预测分析剖析的一致性很低,套入 Diversity 的公式计算测算,Diversity 的值十分大,也就是说,理应被感觉是 hard sample 挑出来来来。但是仔细观察一下这九个 patches 都不不太好看得出,即使是是非非常好的分类器,对于中间图上的 1,2,3,也是无法分出这一是猫... could be rat, rabbit, etc. 大伙儿把像这三个 patch 的例证称之为从 data augmentation 造成的 noisy label issue。而对于 4~6 的 patches,互连网十分好地做出了分类,这很言之有理有据。因而大伙儿把这种像 1,2,3 的 patches,由于随意的数据信息信息内容扩张(Random Data Augmentation)造成的危害模版称作 noisy labels。Fig.4 只是一个很品牌形象化的例证,具体上在实际的数据信息信息内容集中化化会出現很多那般的案例。

大伙儿得到的解决方法是:先计算 majority 的预测分析剖析,接着在 majority 上面算 diversity,如果互连网的预测分析剖析空气向是统一的,就是统一的。含义就是想个方式把 Fig.4 中的三个非时兴 0.1 丢弃。只掌握住空气向,也就是 0.9——大伙儿不希望 Fig.4 这种情况被做为 important sample 挑出来来来,因为现如今的分类器材体上早就可以分出来这幅图的种类啦。

这一改进的数学课课描述也十博采象化,以 Fig.4 为例子子,便于掌握空气向,大伙儿计算她们的平均值值,倘若超出 0.5,空气向就是 label 1,反过来空气向是 label 0,倘若是前边一种,那么就从大到小取前 25% 的预测分析剖析,其他的无须啦,倘若是后边一种,就自小到大取前 25%,其他的无须啦。那般 Fig.4 就只剩下三个 0.9,她们的 diversity 就十分小,也都不会被做为 important sample 挑出来来来啦。获得取得成功解决了 data augmentation 造成的 noisy label issue。

整体的提升优化算法流程可参考 Fig.5


Fig.5 Active Learning Algorithm

到此,重要讲了这篇大学毕业毕业论文是怎样获得取得成功的将 Diversity 这一重要的指标值值引入到 Active Learning 中来,所有的 Active Selection 一一部分结束。

6. 如何训练?

即然用了迁移学习培训学习培训,那么一一开始的 CNN 检验的具体实际效果没什么疑惑是一团糟,因为这一 CNN 是以自然图像中学回家的,没有学习培训学习培训过 CT 这种药业学影像,因而这一 loop 的启动阶段,Active Learning 的具体实际效果会没有 random selecting 好。可是快速,随着着 CNN 逐渐地地在 labeled 的 CT 上训练,Active Learning 的具体实际效果会一下子超过 random selecting。

接下来讨论 Continuous fine-tuning 的重要点,随着着 labeled data 集扩大,CNN 务必一次次的被训练,有二种选择,一是每一次都从 ImageNet pretrained 来的 model 来迁移,二是每一次用现如今的 model 上面迁移 (Continuous Fine-tuning)。方法一的优点是实体线实体模型的关键主要参数比较好控制,因为每一次都是从头开始刚开始一开始 fine-tuning,但是缺点是随着着 labeled 数据信息信息内容变加多,GPU 的消耗十分大,十分于每一次有新的标出数据信息信息内容来的状况下,就把本来的 model 扔了不管,在实际应用中的成本费还是十分大的。第二种方法是以现如今的 model 大部分做 finetune,在某类具体实际意义上 knowledge 是有记忆力力的,而且是不断渐近式的学习培训学习培训。难点在于关键主要参数不大好控制,例如 learning rate,务必适当的降低,而且比较十分非常容易在一一开始掉入 local minimum。相关 Continuous Finetuning 的初期大学毕业毕业论文也是有的,务必更进一步的科学研究科学研究。

另外,如何能够真正具体实际意义上去体现出 increamentally learning,只是那般一个互连网结构去不断的学习培训学习培训吗,还是随着着数据信息信息内容集的提高去让互连网响应式的变深,便复杂,都是我比较关心的难点。

乍一看,Active Learning 的专用型专用工具很品牌形象化,意识也很简洁,但随着着blog讨论的技术性性重要点越来越越越重入,会出现很多的 open question 尚需科学研究科学研究,因此,仅有说大伙儿的大学毕业毕业论文是 active learning 的一个引子。

原文中只是从意识的角度来阐述这篇大学毕业毕业论文,针对过后的分析,结果和結果都是大学毕业毕业论文中详细的 report 了。总而言之一句话来总结,hin 好...

Find paper .

Find poster .

Find author .

祝好,

雷锋网经典著作权文章内容內容,没承受权禁止转截。详尽信息内容见。

上一篇:网页编程 返回下一篇:没有了