扇贝深度学习在语言场景下的技术实践

1、深度学习在语言学习场景下的技术实践扇贝算法团队 全面、有效提升英语能力的移动学习平台矩阵涵盖听说读写，拥有扇贝单词、扇贝听力、扇贝口语、扇贝阅读8000万 截止2018年12月，用户已 对英语学习者词汇水平的深度追踪 入选 2018 谷歌开发者大会案例展示 广泛的优质合作准系统GPUUPS环境温控ContainersDev/DeployELKMonitors Elasticsearch Kibana 权限管理 Dockfile管理 Nvidia-docker runtime GrafanaCPU，Mem，IO，Network，DB 基于 NVIDIA Management Library 实现

2、对 GPU/与钉钉chatbot集成传统单词量测试的问题： 测试量过大 / 测试结果确 除了能给出单词量数值无法输出其他有价值的是否能实现这样的词汇水平评估： 测试量较小 对每个单词的掌握程度进行预判Knowledge Tracing is the task of mlingknowledge over time so that we can accurately predicthows will perform on future interactions.Xt 是用户当前 action 的 embeddingYt 代表模型用户对词表中每个词回答正确的概率数据驱动，与 Bayesian Kn

3、owledge Tracing 不同，不依赖人工标注的知识点在 Khan Academy Data 上的验证实验中有着比 BKT 更性能Piech, C. et al. Deep knowledge tracing. in Advances in Neural Information Processing Systems 505513 (2015) 通过数据驱动的方式发现题间关联性题目数量、涉及用户量及序列长度数据量级更大 Time - 用户第一次遇到该单词时回答时间 Attempt count - 用户第几次遇到该单词 First action - 是直接回答还是求助提示 Word leve

4、l - 先验单词等级Zhang, Liang, et al. "Incorporating rich features into deep knowledge tracing." Proceedings of the Fourth (2017) ACM Conference on Learning Scale. ACM, 2017.长序列依赖问题：Independently Recurrent Neural Network (IndRNN)对Adding Problem，各种RNN对长序列的收敛情况对比Li, S., Li, W., Cook, C., Zhu, C. &a

5、mp; Gao, Y. Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN. (2018).如果避免玄学调参？ Grid search（网格搜索） Random search（随机搜索） Bayesian Optimization（优化）Bayesian Optimization（优化） RNN结构类型 - LSTM，GRU，IndRNN RNN层数和连接方式 学习率和Decay步数 Input和RNN维度 Dropout大小Shahriari, B., et al. Taking

6、the Human Out of the Loop: A Review of Bayesian Optimization. Proceedings of the IEEE 104, 148175 (2016).模型部署 模型压缩：对输出层的embedding matrix进行了分解，增加了一个projection layer DKT模型的hidden state维度降低到baseline模型的1/5对准确率几乎没有影响 TensorFlow Serving Batching调优TensorFlow Serving Batching Guide. (2018). Available at:.Sak, H ., et al. Long short-term memory recurrent neural network architectures for large scale acousti