非科班AI小哥火了:他没有ML学位,却拿到DeepMind的offer(2)
扫一扫
分享文章到微信
扫一扫
关注99科技网微信公众号
从ICCV2019回来,小哥被要求利用PyTorch从零开始实现一篇论文。 那时候,他对PyTorch一无所知。好在通过完成这个任务,小哥再一次飞速成长。 其它方面的学习进程,小哥制定了一个学习框架。经过大致规划,一个“一年内学习AI各个子领域”+“每3个月学习一个子领域”的计划诞生了。 万事开头难。所学习的第一个AI子领域, 神经风格迁移 (NST) ,耗费时间超过了3个月。 借此,小哥对学习计划进行了优化,即在每3个月学习一个子领域的学习周期大框架下,穿插微学习周期。 微学习周期有两种类型: 1、输入模式:大量摄入信息。这一模式的目标是通过博客、视频等对子领域的结构有一个深度理解,或是通过研究论文、书籍对某个主题深入了解。 2、输出模式:分享所学知识。制作YouTube视频、建立GitHub项目或撰写博文、更新Linkedln、分享相关内容到Twitter和Discord。 主业当然不能落下。在如何平衡工作和学习这个问题上,小哥展现了自己的强大意志力。 他一直保持着一种近乎“疯狂”的节奏:起床后,写2小时代码,然后散会儿步;散步归来,投入微软工作;工作结束,小憩30分钟;睡前再工作2-3小时。 小哥把这部分的经验总结为3点,分别是强大的毅力,正确的心态,以及小憩是金。 授人以渔,小哥详细介绍了他学习NST、GAN等ML详细知识的方法论。
keep learning阅读书籍和前沿论文 是最直接获取ML相关知识的途径。 学习神经风格迁移 (NST) 、DeepDream、生成式对抗网络 (GAN) 、NLP & Transformers、强化学习 (RL) 等知识的过程中,小哥都阅读了大量的前沿和小众论文,其中,Transformers相关论文为小哥用PyTorch做出一个流行的GAT提供了部分灵感。 △ Graph ML 因对初学者友好,这一GAT大受欢迎,并成为剑桥大学GNN讲座的推荐内容。 除了沿着学习“主线”前进,早在2020年初,小哥就意识到自己在数学方面有所欠缺。因此,他花时间阅读了《Learning How to Learn》《Python Data Science Handbook》《Deep Learning》等,来加速他的学习进度。 与此同时,对相关知识进行 学习和巩固 是非常有必要的。 补充CNN及其优化知识,实现vanilla GAN、cGAN (条件GAN) 和 DCGAN 模型……旧知识的查漏补缺和新知识的不断加瓦,不断夯实小哥的知识库。 这是他学习GAN后,所训练的DCGAN模型输出的图片: △ 由男人演变为女人(角度和肤色也会改变) 在这个过程中,根据知识要点的难易程度,结合实际情况,小哥还会 改进和完善学习策划 。 比如调整学习时长。因为倍感有趣,小哥花费在NST领域的学习时间,就比原定计划的3个月要长。 或者进行提炼总结。而在学习GAN时,他开始在每篇学习大框架下的末尾写一篇博文,来总结所学到的知识。 抑或选择先熟悉、后陌生的学习流程。RL是DeepMind取得突破性发展的领域,它不仅与其它ML子领域有所不同,其间亟待了解的论文和项目更是不可计数,如如AlphaGo、DQN、OpenAI机械手等。 面对这个难题,小哥从自己最感兴趣的部分——计算机视觉 (CV) ——切入,而后再朝不那么熟悉的课题进发。 在做这些的时候,小哥没有闭门造车,而是与Graph ML领域最优秀的研究人员之一、DeepMind研究员Petar Veličković等人定期聊天,或是博文读者等进行 交流 ,受益匪浅。
99科技网:http://www.99it.com.cn

IT之家 7 月 20 日消息,上周有人发现字节跳动正在大量招聘芯片相关的工程师,
快资讯2022-07-20
