back to back learning

今天去google 听了讲座，受益颇多，发现坐在那里听课，也忘了什么social media, news 的存在。而且还接触到了一些DL其他领域的知识挺好的。

曾经在高三的时候，由于特别喜欢电脑，感觉耗时颇多。于是不让自己用电脑。我感觉我只有靠这种彻底断绝，才会比较有效率。
 
今天的talk主要围绕几个有意思的topic
1. keras 2.0 - 这个部分还是进步挺多的，学习了pytorch的modular structure, 保留了易用的functional api, 另外还有distributed strategy 来utilize multiple gpu。另外一些新的function 像masking 也有support.
2. graph cnn - graph 本身是比较难做filtering的，因为没有像图像和文字这种固定二维和一维的structure, graph cnn就是来解决这个问题，很有意思。
3. tensorflowx - tensorflow是应该在工业界火的，因为他有很好的production support. tensorflow serving js, 还有网页版，让大家网络上使用
4. xlnet -  最近xlnet 比较火，之前是bert. 瞬间发现bert 有一罗罗的用途，包括video, 还是挺厉害的。
5. swift for tensorflow - python 在production 太慢，他们说google suggest swift and julia. 现在tensorflow用在swift 也是挺方便的。
6. model compression - 手机上，如果你要用训练好的model, model 必须得瘦身。瘦身方法
有 quantization, model compression 方法有下面几种：（看起来一样，实际不同）
model distillation, model condensation, model pruning
另外，不同的quantization, 用的电也不懂。支持环保，支持quantization


有意思的概念
1. inductive bias - 每一种neural network 都有他适宜的场景，这就叫inductive bias。

paper - 听talk
pru - to experiment speech to text, text to speech and document extraction api