Tuesday, July 30, 2019

CW 学

CW需要supply chain+forecast+optimization.
今天整体看了translation API, Watson 2.0 AutoAI 和 Watson Assistant
明天把剩下的Markovian 和 FSS看完
再来就是Time Series 了

今天早上和Comm CTO 聊了一下,现在都会把聊天录下来,来作为自己的改进。发现了不少问题,以后得多注意。
另外,晚上部分去走+跑了7.5公里,现在这种距离已经习惯了。

对于人生有什么体会呢?
感觉现在30+,人生就是30几年的再刷一次半。不是很长,想想过去,也是挺梦幻。
人要自然,怎么过都可以,不要太执着想要达成什么,尽力就好,开心就好。
我感觉现阶段最重要是心,需要安宁安静下来,静静地,安静的,简单的,干点什么。

Monday, July 29, 2019

Pru -> CW

今天听老帮聊了下CW, 了解了 不过压力可能会比较大 因为是各个大公司间得竞争。
明天得专注forecasting 的部分。

今天主要学习了translational API, 针灸。
video 部分的话放到ipad里后面听。
watson 部分可以找天去公司的时候看。
现在主要是要搞清楚forecasting 和 optimization的经验。

另老板说要竞争这个project, 因为后面的asset可以变成reusable的,而且应用场景广。果然是高见。 

忙碌周末

感觉这周末活动挺多
周五 - 吃饭
周六 - 实验室集会
周日 - 人大集会,一点吃到六点, 晚上去跑步7.5 km
见了上上下下 20-30号人 挺有意思 

就是work 方面进展不大
反正周末,明天就要开始干活了。

另外,博士导师待孩子的方式很有传染力
感觉积极培养每个孩子
以一种正面的方式,并给与良好的环境。

work 方面,今天记录了老板的东西
回复了msd的email
就这样 就这样的过去了。

Sunday, July 28, 2019

实验室集会

今天上午部分把一些东西整理了一下 (Sarima, IBM FSS)
明天还要继续整理。

明天还要继续。
motto: 做个有效率不拖拉的人

今天参加实验室集会。
在east coast jumbo
和各室友们继续connect了一下。
也和导师聊了一下
被催了生小孩
然后也和导师师了解了他最近的科研。
原来他在新加坡的房子出租也配上了女佣做额外服务。
真是一个非常棒的plan
澳洲也有好几幢房子
tool 方面做得是silan
感觉挺融合目前时代背景
但是不易火。
其他同学也聊了一下
后面去吃了榴莲,味道还不错。
===

另外,继续了上次的尊重每个人的看法的哲学思想
我们要尊重喜欢我们的人,当然也要尊重不喜欢我们的人
因为在这个阴阳世界,若阳是喜欢我们的人,阴就是不喜欢我们的人
全阳世界明显并不合理
太极叫我们要在阴和阳之间仁运,仁运才是至理。
把阴和阳运用的刚刚好,

阳 - 快乐
阴 - 进步,改变,让。

就会发出最美妙的光芒。

假设真有全阳,其实并不一定好。
没有进步的,学习的空间。

Saturday, July 27, 2019

checkpoint

1. 记录 - 翻了一下2013年交毕业论文的记录 发现当时的流水记录 后面读起来挺有感觉。感觉还是有必要记录的详尽点。

2. 办活动 - 今天办了场bbq。怎么办下来,发现了一些规则。BBQ 大家虽然是自然交谈,但是也要想着 - 食物,气氛。这些都和人有很大的关系。有些人能弄好吃的食物;有些人能带气氛。但是能带气氛的人需要别人一起方能带上。还有一些人会把气氛带low - 因为他们自带low气场。每一个人都是一个不同的化学个体。怎么样平凑在一起是一门艺术,也是一门科学。

3. 预防针 - 今天会了老板了解了自己的title。藏在心里多是的问题得到了解决。也了解了一些engagement的学问。老板的长处在于预见所有可能发生的事情,先打了预防针。然后做transparent的回报。让别人无痛点可捉。比如,把risk先列下来,然后在每个progress report针对risk 的 possiblity 和 impact 做汇报,别人指出问题是,risk里的内容就可以作为反击。

4. project-based+各种尝试 - 我发现目前,我就对genetic algorithm 的用法了如指掌。对于linear programming 马马虎虎。对于普通DS就不用说了。总体来说,我的学习方法是错的,应该project-based, 而不是theory-based。然后随便改动,各种尝试比较。

5. 反直觉 - 今天发现如果你的直觉告诉你一个方向是对的,然后发现是错的。第二次在同一个地方,直觉告诉你是这个方向,你只要反过来就行了。这个其实是很有意义的发现,因为我们做某件事情,直觉告诉我们的方法去做,发现并没有效果,其实第二次,可以试试反直觉。档案要70%以上把我是因为第一次直觉所给与的方向是错误的。

6. 可能性 -  我发现,如果你发现跑42.5km是有可能的,你大可能会逼自己去尝试。但是如果假设这个世界上只有一个人呢? 这种情况,我们其实可以把昨天的自己,和今天的自己分开,成为两个人。今天的自己要尽力超越昨天的自己。比如Elon Musk,如果他要做一个全世界的pioneer, 他说他是first principle 来思考,然后尽全力达到这个first principle 的theoretical value。其实这个世界,如果你可以科学对待的话,你获得的回报应该是杠杠的。


Thursday, July 25, 2019

variational autoencoder 终于搞完了

paper - 终于把variational autoencoder 搞完了。
搞了那么多天
估计不太值得哎。
但是搞懂各种math还是很有成就感的

我感觉我学东西都是看过类型 - 不怎么对
应该project-based

pru - 明天就争取吧ibm那些tool 看一看
后面就project-based 学习了

今天跑到了克拉码头 从那里走回来。
算是多年来第一次跑步机意外的跑步。
跑了3.5km,走了3.5km

聊到了一个mutation idea.
感觉paper 的话和前团队合作还是一个很不错的idea,
毕竟这样迅速把domain搞熟悉,然后有人一起忙着。

今天唱了好多首歌。
发现自己唱歌不咋样
就是自唱自high


另记一下sun zhengyi的 孙氏平方法则
很简单却很有道理。





理念:道天地将法
道——恪守使命
软银的整体使命,是利用信息革命让人们愉快。软银所有人都曾听说过这点,并熟知这点。在孙正义的30年计划讲话中,这也被多次提到。
天——道法自然
在特定时机下有着特定的机会。孙正义列举当前时代中发生的独特事件:信息大爆炸、微处理器、互联网。
无论你有多么优秀,如果生于错误的时代,那么机会就将受到限制。当代人很幸运能生活在这样一个时代。
孙正义也提到了此前的几次革命:农业革命、工业革命、信息革命。信息革命可能是其中最庞大的一次。生于这个时代很幸运。机会就在这里,我们应该充分利用机会。
地——地势之利
以往,美国占全球互联网的50%。而到2015年,亚洲将全球互联网用户的50%。以往,由于用户在美国,所以美国人、说英语的人更有优势。在历史上,所有大型互联网公司都来自美国。
然而,时代正在改变,互联网正在转向亚洲。软银在亚洲的存在已有10年,例如在中国投资了阿里巴巴和人人公司。 由于“天”带来的黄金机会,以及地形优势,软银没有理由不充分利用当前的机会。
将——招纳贤士
CEO必须是优秀的领袖,但他也需要有至少10人组成的团队。没有任何事可以独力完成,软银总是在储备优秀的领导者。
法——建立机制
借助意志力和运气,你或许可以取得一次成功,然而这不可能永远给你带来成功。为了持续取得成功,不断驱动创新,你需要设计系统,让这样的成就反复实现。
软银已部署的系统包括:将把计划分至各个部门;引入新的商业模式。没有“法”,你的执行不可能实现一定的规模。
愿景:顶情略七斗
顶——明确愿景
当你登上山峰之巅所看到的景象。这是一种愿景。领导者必须有能力想象,登顶之后的景象。他必须选择去攀登哪座山峰。正确的选择意味着50%的成功。你必须确信,自己选择的山峰是正确的,并在没有攀登之前就预见到登顶之后将会看到什么样的景象。没有愿景的领导者是最糟糕的领导者。
愿景并不是在一两天内形成的,你必须每天去思考。在孙正义的30年计划中,愿景花费了一整年时间的积极思考才得出,并利用了来自许多人的输入信息。
情——收集情报
孙正义研究了40家企业。最终,他积累的纸张堆起来有1米高。在孙正义大学毕业回到日本之后,他想要创业。然而,他花了1年半的时间才着手开始。在这段时间里,他研究并收集信息。他研究了40家企业。他可以为某家企业制定深思熟虑的计划,制作商业方案,分析财务状况,以及竞争对手解析。
孙正义认为,他的公司将会是世界上最优秀的公司。不过在23周之后,他会设想出另一家公司,而这家要好于前一家。随后,他会重复这样的研究,不断提出新计划。他重复了40次,每次得出的公司计划都要比之前的更好。而他的最后一份商业计划最终发展成了软银。孙正义强调信息收集的重要性。
略——制定战略
从本质上看,“略”是对愿景的执行。在进行研究之后,你可能会有40种选择。“略”是指你从中挑出一个选择,不再回头。“略”将会把愿景变为现实。
七——七成胜算
如果只有50%的成功率就去开始,那么是愚蠢的做法;而如果等到90%的成功率再干,那么可能为时已晚。真正的将才只在确信能够胜利的情况下才会出战。
孙正义被认为是积极的冒险者,但实际上他自己非常谨慎。他从不会冒大于30%的风险。即使公司将失败,他也可以将一部分关闭,并推动核心业务的继续发展。你必须确保,自己的计算是正确的。
在形势所迫的情况下,领导者必须做出战略撤退。这是最困难的一件事。对下一代领导者来说,这甚至更困难,因为他们可能会被批评不如自己的前辈。关闭某些业务需要极大的勇气,你将会受到各方的指责。
在将军损失30%的部队时,他需要立即撤退,任何其他决定都将是愚蠢的。如果无法理解这一概念,那么软银将会被毁灭。
斗——百步穿杨
在战斗过程中,你可能看见一些东西说很容易,而执行总是更困难。你永远都会有竞争对手,在战斗过程中,情况会发生改变。无论愿景、战略或研究多么棒,但如果你无法落实到执行上面,那么一切都是无用功。
孙正义提到,所有公司都是通过一系列的战斗才达到现在的地位,例如丰田、本田、福特、洛克菲勒、比尔·盖茨、史蒂夫·乔布斯。
愿景等于执行,执行等于愿景。为何要战斗?这是为了让愿景变为现实。
战略:一流攻守群
一——勇争第一
必须成为领先优势明显的第一名。必须控制特定的市常只有在控制市场,远远领先于第二名之后,你才能实现长期的盈利。
如果你的领先优势微弱,那么丢失所有的利润可能只是时间问题。在科技行业,这点尤为如此。只有成为第一名,你才能打造平台,定义事实标准。孙正义提到的平台包括微软的Windows、英特尔的CPU、谷歌、亚马逊和雅虎。
公司必须有强调第一的文化,你必须争做第一。满足于不是第一的文化是一种非常负面的文化,这将十分糟糕。孙正义表示,从小学开始,他就一直是第一。如果自己不是第一,那么他会睡不着觉。
流——顺势而为
不要抗拒潮。不要逆潮流而动,确保方向性正确。你要选择哪一操作系统?毫无疑问应该是用户数最多的操作系统。不要选择小众产品。在小众领域成功的创业者并不是真正成功的创业者。成功的创业者需要在主流市场做到这点。
软银不会投资小众市场,而只会投资未来有着巨大发展的市常在小众市场取得成功毫无意义。如果你由于害怕而选择追逐一个小众市场,那么就是失败者。
攻——全面出击
销售、技术、并购、新业务的发展等等,必须善于多方面技能。
守——防微杜渐
现金流、成本优化、投资者关系、关闭业务、合规、审计、媒体关系等。当前的许多企业死亡是因为财务问题。软银专注于成为零债务公司已有4年历史。
群——多点开花
软银将成为由5000家公司组成的集团,并采用多品牌、多业务的模式。如果你希望在未来30年中生存,那么这可能并无必要。然而,如果希望在未来300年中生存,那么这样做是必须的。类似微软和英特尔的公司正处于困境中,因为它们只有单一的品牌。
领导者能力:智信仁勇严
智——足智多谋
知识、关键思维、全局谈判、演讲技巧、技术、财务、分析能力等等。领导者必须掌握多方面技能,并在这些技能间做好平衡。领导者必须精通某一领域,成为这方面的专家。领导者不能依赖于专家,而必须利用好专家。
信——保持信念
相互之间自愿的合作。信任他人,被他人信任。合作。如果你失信,那么他人不会为你工作。
仁——造福于民
让他人感到愉快。可以回顾愿景一章。让他人愉快。
勇——攻守兼备
挑战大竞争对手的勇气,关闭业务的勇气。
严——纪律严明
严于律己,并在必要情况下严于律人。如果你坚信愿景,以及对所有人最好的做法,那么某些时候你必须成为“恶魔”。
战术:风林山火海
《孙子兵法》中讲到,其疾如风,其徐如林,侵掠如火,不动如山。
这在孙正义看来,是他用兵制胜之道:面对压力,采取突破性战术,当所有一切都被吞噬之后,战斗才会结束。
而剩下的只有彻底的平静。正如大海一样。

Wednesday, July 24, 2019

variational autoencoder

今天就在整理variational autoencoder.
这东西不容易记得,还没弄完
其他的在记录lstm

明天就是pru的东西+variational autoencoder.

Tuesday, July 23, 2019

Sarima and variational autoencoder

Sarima - 就是arima上再apply seasonal
Variational autoencoder - 就处了reconstruction再让coder的部分learn一个分布,和哪个接近 (q||p),reparameterize trick (to make parameter differentiable)
LSTM Time series, 原来窗口是这嘛事 - 另encoder, decoder也是流行的一部分。


还有就是把东西note 下来

明天experiment 一下
1. Variational encoder for topic modeling
2. auto feature engineering

看看结果
再来就是brown 的一章章阅读 转成medium文章和课程

and Pru stuff (Traslation, Watson Assitant, Watson 2.0 [AutoAI])

Monday, July 22, 2019

time series

今天主要整理过去所学
time series oreilly讲得不太好
于是看了另一个video,把
1. arima
搞懂了

也整理了
2. nlu from 狗尾草
3. lfe, Cognito 和onebm
4. useful lib - magenta, kaldi, deepchem
5. some business model and business strategy

看了下
1. deep reinforcement learning (deep q-learning)
2. RBM, DBM, DBN

明天着重
Sarima and Variational encoder and Pru stuff (Traslation, Watson Assitant, Watson 2.0 [AutoAI])

Sunday, July 21, 2019

Automated feature engineering

今天去看了朋友孩子,虽然感觉他不是那种特别emphathy类型和rational 类型,但是在技术上,和职场上还是学得挺多的。
我觉得为什么要尊重每个人的不同,因为这种diversity会比较optimal,大家有不同的优点可以互补。

feature engineering上,终于明白了ibm的work.
基本概念是把feature for each class 做quantize sketch, qs
[qs for feature 1 on class 1, qs for feature 2 for class 2]
然后来learn whether a particular transformation is suitable

整体概念是 给予过去input distribution 和 output作为training, 来判断一个transformation好和坏
一个transformation弄一个nlp
这下懂得ibm 的auto feature engineering怎么弄了
基本概念是用过去的feature engineering 帮助现在的

paper 写的真难懂,看了好一会儿才看懂。。。

paper - lfe
pru - watson 2.0 with auto ai

游戏

这世界就是一场游戏
金钱游戏是其中一种
但是如果没有这个福分缘分去玩
不一定要太fixate on that
还有很多的游戏可以玩
当然有机会玩玩的话
不要玩得太投入
反正就是一场游戏。

玩得happy, 玩得尽兴,玩得high,
才是游戏的意义。

看穿了,其实整个世界的设计,乃至宇宙的设计,就是一场游戏的设计。

我们会自动被assign 一个角色,和一些筹码,当然有你本身的能量值(福分) - 你可以去增加和减少能量。然后配合着宇宙意识的潜在操控,这场游戏进行了。

游戏有确定性的,也有不确定性的。因为玩的人是宇宙意识,宇宙意识又是个体意识的总和。个体意识是有能力去改变宇宙意识的。也就是,你就是其中一个玩家 - 站在游戏的设计上。

当然游戏更大的目的,其实是要你了解这是一场游戏,去take over 宇宙意识,最后跳出这场游戏。

游戏外 清醒,游戏里 清醒,但是玩的尽兴。

步行

早上武吉知马步行
晚上吃了小杨锅盔,biangbiang面,凉皮,cendol, 汽水, 100号,吃茶三千 - 冻冰乌龙。从GEM走回家10公里。

从JE走到clementi (4.7km) - 很长,1/4路程,走起来感觉是我应不应该投资JE房子,感觉这里起的好快,目前又恢复plateau。另,原来马桶盖就是沿路买的。
clementi  - 买了水补充下
从clementi到dover(1.6km) - 经过poly, 和遥望utown, 这段路好不错.
从dover到buona vista(1.6km) - 原来我去过rochester mall的starbucks
从buona vista 到commonwealth(1.1km) - 前住处,很熟悉
从commonwealth 到queentown(1.2km) - mm提醒下原来我去过好几次queentown community centre. 另3-4个mrt旁边的公寓在建,新加坡的房价挺看重这一地带的公寓。
从queentown到redhill(1.9km) - 常走。

感觉是相当有成就感,把这条路走通了,了解了。向东十公里走过了,向西4公里走过了。

吃茶三千
1. 故事:进门电视介绍,给自己一个故事
2. 专业1:后来看着员工专心做茶,身体力行
3. 免费:店员给免费茶,浓茶但不苦,而且凉爽
4. 专业2:最后不了解乌龙茶,柜台让我们闻茶,增加专业度
5. 体验:口里的茶,浓而不苦,顺喉,这就是一整套体验

Paper方面,今天就整理,看看auto feature engineering. 感觉这是个可做的题目。

Saturday, July 20, 2019

原来超级简单

最近发现大部分有效的方法,都是简单的。
1. Hyperparameter tuning on simpler model - 这是我原来想法, simpler model 这个想不通
后来发现有人弄出过这个方法, simpler model = model trained with less data (原来超级简单)
2. Use an approximate model to model the performance of original method, approximate model 这个想不通
后来发现也有人弄过, approximate model = faster model train with same data (原来超级简单)

我的想法是simpler/approximate model -> 需要用个什么complex heuristic来求,或者什么feedback directed method之类的。
别人就用 few data, simpler model 这种,直接搞定。
这个思路太厉害。

Friday, July 19, 2019

学学慢

今天学的比较慢
早上听了ceo的 talk 后面deep lift 回来看了ellison 然后又再看deep lift

追根揭底,应该等到晚上看难点的东西,早上看容易点的。

Paper - deep lift
Pru - icpd 6 - to learn

Thursday, July 18, 2019

学学学

今天各中学
1. time series
2. google algo
3. automl 4paradigm
4. automl ibm
5. nlu china comp
6. some ML intro on neural network building (kaggle, and practical)

下面还有talk 一直到1am..
真服了

paper - 上面的
pru - todo:Watson 2.0, Watson assistant

Wednesday, July 17, 2019

大神的共同点

不急不燥 constant speed
对每一个细节(default是什么,每一个function 有什么用途) 了如指掌 (我是急急燥燥,细节都不太注意)

大师解决data science 题目时都是老
我的问题

1. 不先build 一个base model,直接用别人的model
2. hyperparameter tuning, overfit on train data. Leaderboard, overfit on test data
3. 不看问题解决从根本
4. 没有很好的cross validation

大神
1. EDA->Base line ->feature engineering ->HPO-> ensembling 一步一步来
2. 每天半小时一个submission
3. HPO不要太强调,避免overfit on training data
4. cross validation 很重要,不要太care test data

总结来说我发现,大神的方法都是很惬意的,怪不得sustainable.

Tuesday, July 16, 2019

铺垫+说慢点+强调+圆滑-同理心

铺垫
- What is your area of focus that Derek assigning to you? vs
- You have one to one with Derek yesterday? What is your area of focus that Derek assigning to you?

说慢点
- 字和字之前要有空隙, 字字发音清楚

强调
This is really AWESOME

圆滑-同理心
有三个人在一起,不要只和一人商量,要三人一起
plan要圆滑, 不要只有single direction,要multidirection


Rd 这种empthathy 值得学习.
Nj 的话就是时时发言, 但是就是缺乏了钱前面所有的.

多发言
我自己的话,需要多发言,前面的部分需要加强.
要以一种聊天的心态对待
发言的时候要注意art 的部分


Pru - 了解了所有人的band, 了解了leave, 了解了data science band,了解了work/idle ratio
Paper - nlu 实现 + tranformer/bert
整理资料

genetic algorithm, ask slide

Monday, July 15, 2019

回顾旧公司

看了dialogflow 后回顾下前公司的nlu 发现其实前公司还是有优势的,主要是
1. reliability不足
2. 没有在真正该research的地方投掷心思
    a. coreference resolution
    b. goal oriented dialogue
    c. siamese model faq with knowledge graph
    d. better intent classifier/entity extractor
3. 所有的东西都是for prototype, 用python 做production

但是feature-wise还是有很大的优势的。所以dialogflow其实也是一个开端而已。


另外,另外想弄的东西就是把nlu (conversational classifier, intent classifier, classification model 和ner的code) 给导出来。


paper - chatbot exploration (nlu code to export)
pru - 老板那里了解了一下project

Sunday, July 14, 2019

dialogflow 和 自己做主 和 打预防针

另外有个体验,我觉得世界是为我们所用,让自己快乐所用。
所有东西都要自主
比如看不看电话,和做不做某样东西,其实你都可以做决定。
不一定大家做你就得做。
不一定要顺着别人的喜好。

但是自主里也包括了自律,同理心等等。。因为这些最终都会使到自己快乐
====



今天看了dialogflow, 感觉我前公司的产品,有很大部分参照了dialogflow, 也难怪,我们最早期的顾问来自google。

dialogflow里有
context (can set lifespan)- 记录前面的variable
followup intent
event - 可以是welcome message 之类的callback event
action - 就是url的名字
knowledge base(database? webservice?)/skill - 来question entity
synonym - 同义词
(multiple) response messages
fallback message

nlu 里的extra feature
intent redirection
其他需要查找  
后面要看看seq2seq 的课程。

====

明天有team meeting,
前面部分要准备说什么
然后继续看dialog flow 和seq2seq,
中间不要有太多的激荡。

Saturday, July 13, 2019

NLU Chatbot

今天开始开启一个新的series

天天 Explore 一个 新的new topic!

今天首选NLU Chatbot

问题:
1. 现在的chatbot一般怎么用
   - dialogflow 这种其实和iamplus差不多,明天继续看
   - 也可以seq2seq learn, 明天继续看
2. 是rule base 还是goal base的?
   - dialogflow 应该是rule base
   - seq2seq 可以看看了解下

今天就是处理了email, 然后搞这些学习的material
明天就集中一个专研下去。


Rosso Vinno

今天到clarke quay 去吃意大利餐 Rosso Vinno, 味道挺不错,我吃的是Tagliatelle Pesto (24.9), 另外喝的酒Moscato BTL(58)也挺好喝的。

当中聊了英国oxford发paper 的方式。他们都是上半天班,但是效率挺快。不敢conference, 都是把一个work做完后,再考虑投会议。虽然追风,但是有自己的原创性。这个模式挺make sense。


Wolfgang (米其林)
Le Rida (印度餐及地中海餐)

这些后面可以试试


今天也看了text to speech, speech to text 和 Watson Discovery API.
1. 明天要把NLU的部分整理一下,弄成一个pipeline - 弄个NLU 的课程。
 - BERT/XLNET
 - Time Series 
 - Reinforcement learning
 - YOLO
 - RCNN
 - Graphical Model
 - MCMC
2. 整理verse里 Oreilly 的东东。
3.

Friday, July 12, 2019

放弃了

topic modeling不是个low hanging fruit
主要原因是evaluation问题
就算有成果也难于验证
而且还要证明自己evaluation的方法
这个opportunity cost 太大

现在走free style 路线,每个礼拜搞些东西来学学。
Pre
Speech to text, text to speech and the recognition API
MSR talk preparation

我感觉我对于
1. Pytorch 和 tensorflow 不熟悉
2. neural network architecture 不太熟悉
    a. reinforcement learning
    b. game theory
3. mathematical model 不太熟悉
3. time series 不太熟悉
4. nlu 里 Q&A, bert and xlnet


没有实战也没有bird eye view

Thursday, July 11, 2019

concrete plan and duxton

今天把topic modeling 的model 搞了一般
我感觉unsupervised 的model 问题是你需要去看,不能自动化的选最好的方法。这也难怪,要是有好topic还会留到现在,需要硬着头皮去试一试。
今天针灸后去了duxton, 这个HDB顶楼要六块钱,不过确实view 很棒。
今天topic modeling 的进度感觉还行,但是不是太快。
我感觉需要一个很solid的plan 来guide这个进度。不能把plan变慢,只能把自己的工作方式和想法变对。该block的还得block。现在一开始慢其实挺正常,因为不熟悉。

如果不是topic modeling, 一个很重要的问题。。有没有supervised 的问题来解决呢?做实验会容易多点。
另外unsupervised evaluation 的话只有persplexity,可以先把这个实现了来试试。 



Paper - topic modeling进行总
Pru - later knowledge catalog call

枯燥乏味无聊

想要完成一件事情,
生活必须得枯燥乏味,然后从中享受宁静的快乐。

可以用各种甜品来填满生活,但是那种快乐是短暂的,而且都有opportunity cost, 会照成stress的。

我发现不管学习,读博,编程等等,执行力强的人总能在很长一段时间枯燥无味,很稳定的去完成这些东西。这种过程中,不急不燥,没有压力,只有无聊枯燥,而且会很宁静产生的快乐。

我感觉这种枯燥乏味,和宁静的快乐,是很有裨益的。
- 心平气和
- 最大生产和长远利益
- 产生具有持久性的快乐
- 和禅定有异趣同工之处

刚刚睡醒的时候,看了一个搞笑视屏,结尾就是个段子:有钱人的快乐往往就是那么的朴实无华,且枯燥。

洗澡的时候想着这个枯燥,想了想和LY及印度distinguished engineer 和合作,总结出了和视频没什么直接关系,但是有意思的invariant:
1. 自己的生活就只干一件事,越枯燥乏味无聊越好;
2. 享受宁静的快乐。

Wednesday, July 10, 2019

收拾

感觉今天是收拾的一天
早上一小时多去找了牙医,照了x光,160 -学了一个牙线技巧。
后面就是在laptop 上装python, so that can work on laptop later on.
再后面就把data导出来了
pytorch的部分还有从新看下

明天任务是
看下pytorch
把 embedding 导出来
不需要的部分comment 掉 (直接用写好的code)
然后看下结果。

今天整体感觉就是在收拾收拾。
明天可以正式启动。


paper - 就是上面的
pru - 和msd聊了一下talk 的requirement, 现在暂定data analytics on nlu.


飞机时间

飞机时间 - 就是在飞机上因为没有网路 所以被逼做一样事情;
但是飞机时间以外,可以做的事情太多了。所以你要问自己 如果飞机时间,你会做什么,你不会做什么。

我感觉现在最重要就是把laptop setup起来,make the work portable
再来就是弄一个飞机环境,按照飞机环境学习。让自己渐渐习惯。

Tuesday, July 9, 2019

马上的好习惯

最近养成了躺在按摩椅上写博客的习惯
昨天回了家里 就懒得写了
其实好习惯很重要
昨天在家没有好习惯 凌晨三点才睡哎

带牙套 绑牙
一开始很纠结
但是一段时间后 就像是身体的一部分 不会去想着他的存在

这就和好习惯一样
开始的时候纠结
比如上了飞机这种 是情非得已
但是在正常生活空间里
老是面对的问题是不 马上 现在 即刻
还有就是不中断的做一件事
这点需要改进

另外昨天回马来西亚是为了找比较好的牙医
第一个牙医感觉比较温柔,但是还是用镜子弄了下我的嘴巴(这点比较粗暴),看了一下,没发现咬合不好,提议4000马币以内。距离近,环境好。但是职员没那么和善。


第二位牙医脾气比较不好(对职员),比较粗暴,把我牙齿弄得好疼。不过他发现了需要洗牙 和需要补牙。这点还是不错。距离远,职员比较和善。


另外,还去找了中医。这个中医很特别,一个住家,各种人来。他就帮我挂了会儿沙,于是就给了我刮痧的,让我自己刮,然后马币30. 这做生意的手法真独特,有点像慈善。外面按摩较低的人好多,感觉大家挺享受的,而且只要马币20,下次必须试试。

记一下,还需要从他那里拿一个刮痧的和油。

另外,paper搞到有点压力。
我现在的策划师
paper - 没结果就顺其自然的explore neural network, 增加阅历,争取一天一个,慢慢增加。这样长远来说比较有用,压力也地点。

再来还要想msd talk 的 topic

Paper - 0 
Pru - 0

Monday, July 8, 2019

military spending


RankCountrySpending
(US$ Bn.)
% of GDP
World total1,8222.1
1United States United States of America649.03.2
2China China[a]250.01.9
3Saudi Arabia Saudi Arabia[a][b]67.68.8
4India India66.52.4
5France France63.82.3
6Russia Russia61.43.9
7United Kingdom United Kingdom50.01.8
8Germany Germany49.51.2
9Japan Japan46.60.9
10South Korea South Korea43.12.6
11Italy Italy27.81.3
12Brazil Brazil27.81.5
13Australia Australia26.71.9
14Canada Canada21.61.3
15Turkey Turkey19.02.5

Military expenditure as a share of government spending

RankCountry% of spending
1 Sudan30.9
2 Saudi Arabia30.4
3 Oman26.3
4 Belarus25.3
5 Congo17.9
6 Singapore17.2
7 Pakistan16.7
8 Algeria16.1
9 Iran15.8
9 Jordan15.8
11 Lebanon15.6
12 Armenia15.5
12 Chad13.8
14 Mali12.7
15 Myanmar12.4
15 South Korea12.1
中国是美国的三分之一,两国加起来全世界一半
亚洲这里除了中国,印度,日本,韩国, 最多。
南美洲巴西最多。
欧洲俄法英德意土,俄法最多。
中东沙地最多。
大洋洲就澳洲最多。
新加坡的~11 billion USD, 17.2% in terms of government spending.
新加坡gdp 350-4 billion USD, ~3.1% in terms of GDP
马来西亚目前将spending 降到3.3 billion USD

国家的强盛,其实除了经济,军事也是strongly correlated。
military spending correlated to geopolitics, economy, current world context, 也说明了别人要欺负你需要的底气。
看着这个列表,觉得挺有意思。

Sunday, July 7, 2019

整理slides

今天肉塞牙缝,去找了牙医。后面要好好找个orthodontist搞一搞。
10点去 12 点回
后来发现retainer没拿,于是让grab driver 拿了回来。

然后一点多开始把昨天的slide搞了半天,终于搞出来了。这中间各种问题。
刚刚整理的一点slide, 明天继续把剩下的整理完。

Paper- 0 明天继续把剩下的弄出来
Pru- 0 text to speech, speech to text, discovery

back to back learning

今天去google 听了讲座,受益颇多,发现坐在那里听课,也忘了什么social media, news 的存在。而且还接触到了一些DL其他领域的知识挺好的。

曾经在高三的时候,由于特别喜欢电脑,感觉耗时颇多。于是不让自己用电脑。我感觉我只有靠这种彻底断绝,才会比较有效率。
 
今天的talk主要围绕几个有意思的topic
1. keras 2.0 - 这个部分还是进步挺多的,学习了pytorch的modular structure, 保留了易用的functional api, 另外还有distributed strategy 来utilize multiple gpu。另外一些新的function 像masking 也有support.
2. graph cnn - graph 本身是比较难做filtering的,因为没有像图像和文字这种固定二维和一维的structure, graph cnn就是来解决这个问题,很有意思。
3. tensorflowx - tensorflow是应该在工业界火的,因为他有很好的production support. tensorflow serving js, 还有网页版,让大家网络上使用
4. xlnet -  最近xlnet 比较火,之前是bert. 瞬间发现bert 有一罗罗的用途,包括video, 还是挺厉害的。
5. swift for tensorflow - python 在production 太慢,他们说google suggest swift and julia. 现在tensorflow用在swift 也是挺方便的。
6. model compression - 手机上,如果你要用训练好的model, model 必须得瘦身。瘦身方法
有 quantization, model compression 方法有下面几种:(看起来一样,实际不同)
model distillation, model condensation, model pruning
另外,不同的quantization, 用的电也不懂。支持环保,支持quantization


有意思的概念
1. inductive bias - 每一种neural network 都有他适宜的场景,这就叫inductive bias。

paper - 听talk
pru - to experiment speech to text, text to speech and document extraction api
 

Saturday, July 6, 2019

见老板们 和 block chain

今天和ibm老板1-1, 后面去和sutd的前老板吃了顿饭。

ibm老板那里了解了许多东西,某些paper比较担心的东西其实没那么重要。
另,sutd那里的老板,除了叙旧,update讯息,也了解了一下block chain.

这个东西之所以火,
因为解除了需要中间人来验证trust的问题。

之所以没办法太火,
1. 因为这个系统后面需要像政府那样的后台,大家才会有信心。
2. 另外,可能有bug。科学家张首晟一个跳楼的原因是他的估值2亿beauty chain 有bug, 把integer变成128bit 以为就够用了,谁知道attacker放了5后面跟了58个0,直接把2亿变成了0元。

pytorch上面的设计基本弄好了,需要实现开来知道结果。
另外,我感觉到word embedding and variational encoder 这一系列的architecture很有意思,且相关,后面要来弄懂。
明天要去听个挺有关联的talk,今天1点和sutd老板吃饭的时候抢到了票。


paper - pytorch设计完成
pru - 和老板开会

Thursday, July 4, 2019

idea incubation和decision optimization

现在处在最关键的idea incubation
昨天晚上上已知觉得没什么好弄
昨天睡觉前没什么很多想法,
今天早上快起来的时候有了一些想法,
但公司看了别人的文章启发又有了一些想法。

总结来说想法是-
不放弃
空想
inspire by others
inspire by experiment

有好几个idea
目前在想要怎么把这些idea给时间开来。

另外还看了cplex optimization.
以前都用gurobi, 发现有现成的python api support,
还是挺方便的

另今天去公司了,和那里的比较老的员工聊了一下,了解了许多。
msd的talk也下来了,九月多到那里给talk。
今天算比较专心的搞了一些东西。

一直以来的一日一talk,要赶紧继续
其实工业界,说白了,嘴巴是第一重要。
花点时间,学习名居的精髓,回答的精髓,marketing得精髓,还是很有用的。

paper - idea incubation
pru - decision optimization

pytorch 了解完毕

Pytorch
今天总算了解了neural cf 的各种pytorch code - 也算pytorch 学习的小完毕。
主要了解了怎么load data, 怎么load weight, 怎么去串接个个indivudal component, 怎么去evaluate和save model。

pytorch 相比tensorflow
1. 容易debug
2. 容易parallelize
3. 容易理解

现在还差xtensorflowboard 还没看。


Paper
回过头来,测地了解以后,发现存在的一个问题是,怎么用这个了解来学习?几种可能性:
1. auto-encoder
2. word2vec style (predict 周边,然后output matrix)
neural cf 的有点是,它来帮你combine output matrix, 如果你自己来combine 有什么意思呢?
或者有没有类似topic 需要一个number output 的 ?
3. cf 和tm 的不同时: cf 一部分是已知,我们用已知来推测未知;tm都是已知的,推测的是他们的类别
4. 或者有没有 unsupervised DL来做clustering? 

LDA2Vec如果用
P(word| context+document)
来表示的话,其实究根结底就是word concurrence under effect of document
那如果简单的mf,和 deep mf, 其实没什么差异。  

Some pointers:
1. Twitter LDA 
2. LDA with too few documents (transfer learning)


Pru -0

Tuesday, July 2, 2019

怎么样利用多个GPU

如果用pytorch, 那就得搞懂data and model parallelization  两种parallelization

data parallelization
1. replication明白的就是把model 复制到几个gpu上 (assumption是model 能fit在一个gpu)
2. scatter 然后把data split 成几份
3. parallel apply 叫forward
4. gather各自training 然后output在一个default gpu上

这个output 接着就是做
1. loss.backward() (这个loss 也可以用data parallelization wrap, 于是重复前面四个步骤,得到grad) - 需要了解这个怎么弄
2. optimizer.step() 然后在default gpu 上做optimizer.step()

然后再回到前面的forward

model parallelization
这个就需要把model 拆分到个个不同的gpu上
但是这个performance 其实会下降,因为tensor 需要在不同的gpu移动,而且各自的gpu常常闲置
pipeline:比较好的方法用pipeline,就是把batch data继续split, 当一个gpu 1处理完一个split,一道另移到gpu2是,马上给gpu1 上新的split.这样会使到overall performance变得更快。


Pru - 和老板聊了下,可能switch到另一个project che 去
Paper - 了解了一下pytorch code, 明天继续了解。发现pytorch forum, stackoverflow 都挺给力,这样了解起来就比较方便。 data 和model parellization 这两个概念也终于搞懂了

老板的策略 - pull out resource

从我这里push sales, 我的方法只有
1. 问

从老板那里push sales, 其实他的方法还有
1. pull out the resource
就是说如果你没有进展,我就把资源往别的地方分配,让你觉得有压力

又学到了一点

想一想这和特朗普的策略有点相似

推销

我感觉学术界的人最不懂的就是
包装和推销

懂得的是如何在paper 上的title 和work上弄出一些新颖的点来做推销,其他就让他自己自由发展。

我也不例外。

我发现,有个朋友的work特别火。但是blog 和git 上面的code都是别人的。没见到youtube, git,还是blog上有他的讲解或者推销。其实这股热还是可以好好利用的。更极致的,可以制作一些viral video,让知道的人群务必扩张。


Monday, July 1, 2019

lda2vec

今天了解了一下lda2vec
1. 基本就是p(out|in+doc),把doc 加了进去 
2. 用dirichlet likelihood loss 使得topic 变sparse

现在遇到一个很大的问题,what is the contribution?
a. 这个model 是本来model 的generalization吗?
-只可以说是nmf 的generalization
b. 那为什么说lda和nmf是almost equivalent? 是不是说这个model是lda的generalization?
-需要知道是哪里equivalent
c. lda 有什么问题?
d. lda2vec 有什么问题?