解决的问题

对应NLP的任务来说，比如QA、MRC、chatbot等，简单预训练，加上复杂的针对任务的下游网络是否合理？

Semi-supervised learning on NLP

参考stanford nlp 2018 lecture 17。

Suggested Readings:

• [Semi-Supervised Sequence Learning]
• [Learned in Translation: Contextualized Word Vectors]
• [Deep Contextualized Word Representations]
• [Adversarial Training Methods for Semi-Supervised Text Classification]

这里讲解三种主要的半监督学习技术：

1. Pre-training

排序学习是一个有监督的机器学习过程，对每一个给定的查询－文档对，抽取特征，通过日志挖掘或者人工标注的方法获得真实数据标注。然后通过排序模型，使得输入能够和实际的数据相似。

来源：http://blog.tryolabs.com/2015/12/15/top-10-python-libraries-of-2015/
作者：Alan
翻译：Louis Xu

随着新的一年即将到来，我们常常坐下来思考到底2015年我们做了些什么。毋庸置疑，如果不是基于开源社区的伟大贡献，我们很多的项目不会像现在这样成功，更不会提供出如此多可靠的，经过实践检验的开发库。