题目中的Sequential并不是核心,感觉没怎么在文章中体现?指的是sequential learning?

Scenario-Specific倒是充分利用了,如不同类,不同tag都可以是不同的scenario

我觉得本文主要关心的问题:当样本比较少的时候,通常的SGD中必有的几个元素(初始值,learning ratio,early-stop policy)可能不适用于few-shot learning。原因是过拟合。

所以本文提出了针对同时拥有多个scenario情况下,如何从上面3个元素出发,解决这个过拟合问题。

1)初始值。不同scenario共用一套初始值(共同学习和更新),这样至少可以保证在初始值这块能够保证单个scenario的样本不那么少。

2)learning ratio。传统的可能设置搜索区域。而本文采用的是这个learning ratio可以放到LSTM里去更新和调整,作为模型参数(scenario-specific)。

3)early-stop policy。同理,这个policy关联一个stop概率,这个概率也是放到LSTM里去调整和学习,然后决定什么时候去stop参数的更新。

最后通过调整好的参数,去更新初始值等。2)和3)的结合,避免了像传统方法那样,一条路学到死,学出一个过拟合的模型。



留言

登录 请先登陆, 再留言!