Skip to content

Latest commit

 

History

History
80 lines (51 loc) · 6.61 KB

西湖大学-学习与推理系统实验室-林涛老师.md

File metadata and controls

80 lines (51 loc) · 6.61 KB
Raw

西湖大学 - 深度学习和优化（理论、算法和系统）- 2024年秋季博士研究生 / 研究实习 招生

  • PI欢迎申请者提前联系咨询和申请，并鼓励入选者基于实验室的研究模式和氛围、双方的共同研究兴趣、个人的未来规划等方面进行初步探索，如各种形式的科研交流及合作，以实现负责的双向选择。PS：我们还有多个2024年博士生名额，会按需顺序接触。
  • 对于有志于在海内外攻读博士学位的在读同学，也欢迎以 远程/带薪 研究实习的形式加入团队。PI之前指导的多位学生已获得顶级CS名校的博士录取offer和知名企业的实习/工作offer，如CMU、ETH、EPFL、University of Toronto、Purdue University、HKU、Google、Oracle、ByteDance、Bloomberg等。

实验室简介

西湖大学工学院学习与推理系统实验室（Learning and INference Systems Laboratory，LINs Lab），专注于深度学习优化与泛化的理论研究，并致力于将理论结果应用于高效（efficiency）、可靠（robustness）的学习与推理系统的实现。实验室的主要研究方向/兴趣为：

  1. 高效和可靠的（分布式）深度学习与推理算法与系统；
  2. 深度学习基础理论，如深度学习的优化与泛化理论、训练动力学等。

实验室负责人（PI）为林涛博士，于2022年11月入职西湖大学工学院，任特聘研究员、助理教授、博士生导师。林涛博士分别在浙江大学获得学士学位，在瑞士洛桑联邦理工学院（EPFL）获得博士学位。近5年相关研究成果达20余篇论文，主要发表于顶级机器学习会议ICML、NeurIPS、ICLR上。常年担任ICML、NeurIPS、ICLR、TPAMI等机器学习领域顶级会议和期刊的审稿人。根据谷歌学术统计，论文引用达2700余次（截至2023年10月），H指数20。

博士研究生-研究方向说明

1. 深度学习的基本原理

本研究方向将

  • 剖析深度学习训练过程对模型优化、记忆、泛化的动态性能影响，研究深度学习的损失景观和训练动力学；
  • 研究模型的泛化误差分析理论、鲁棒性和稳定性理论，探索深度学习模型在开放部署环境的可靠性和稳定性，并在真实数据集上进行验证；
  • 研究预训练-微调范式的理论基础，发展新的泛化分析方法，指导深度学习模型和算法设计；
  • 针对Transformer网络、扩散网络、混合专家模型等特定模型，建立预训练和微调的高效优化理论和算法。

2. 面向时空异构数据的联邦学习

联邦学习作为面向隐私保护的分布式学习范式，提出以数据不动模型动的方式在端侧协同训练神经网络模型。然而，端侧异构分布的数据给联邦学习带来了严峻挑战。虽然最近涌现出的一系列研究在一定程度上缓解了该问题，但大部分工作只关注空间上的数据分布差异，忽略了会伴随着联邦学习进程而出现的时空异构数据。本研究方向将

  • 针对联邦学习与推理系统所面临的真实挑战，探索涵盖时空异构数据的联邦学习理论框架；
  • 针对联邦学习在部署场景的分布偏移问题，探索数据分布偏移鲁棒的自适应个性化联邦学习算法；
  • 针对端侧海量流数据呈现的多源异质性、冗余性、多噪声性等挑战，探索面向时空异质的分布式流数据的深度学习理论与方法；
  • 探索多模态大模型时代下，端云大小模型的协同进化范式和理论。

3. 深度学习与系统

该课题拟探索并构建高效的深度学习与推理系统。本研究方向将

  • 针对多模态AI Agents的云上数据中心预训练、端侧低资源设备部署、端云协同进化等角度，设计并构建深度学习与推理的算法和系统。

博士研究生-基本要求

  1. 良好的沟通能力、团队协作精神；
  2. 对深度学习的基础研究和应用有深厚兴趣，愿意独立思考，渴望做出高质量、有影响力的科研成果；
  3. 为人诚实守信，对自己的研究产出负责，实验室对任何学术不端行为采取零容忍态度；
  4. 良好的英文听说读写能力；
  5. 足够的上进心及抗压能力（参考ICML/NeurIPS/ICLR submission due）；
  6. 扎实的编程基础，熟练掌握PyTorch；
  7. 博士研究生的申请者需在其就职/入学前应取得学士及以上学位，并在数学或编程等方面具有突出能力。

西湖大学博士研究生-情况说明

  • 西湖大学博士研究生与浙江大学计算机专业联合培养，申请考核制。
  • 发 浙江大学计算机科学与技术 专业学位证、毕业证。
  • 每年 9 月、12 月、和第二年 3 月有多次招生面试。

实验室工作待遇

实验室将为入选者提供稳定的工作环境与一流的研究平台，并根据兴趣与需求支持个人的职业发展：

  1. 丰富的计算资源
  2. 纯粹的科研环境：实验室遵循国际顶级实验室的研究模式，以发高质量、有国际影响力的学术论文为导向。
  3. 科研指导
    • 假如入选者来自其他领域（如应用数学）或处于研究生涯的初始阶段，但对深度学习充满热情，能够自我驱动的持续学习，那么PI将提供很多具体的科研指导和扎实的科研训练，在初期一对一带领入选者入门。
    • 假如入选者在深度学习领域已有一定建树，那么PI将基于实验室与入选者个人的共同兴趣点，一起讨论研究大方向，并提供其他合作资源和有价值的研究讨论。
  4. 科研交流与合作：实验室鼓励在团队成员之间、国内外相关学术团队（高校及企业）之间进行多方位多角度的科研交流及合作。提供参与线下顶级国际会议、暑期学校等学术交流活动的机会，鼓励博士生到国内外头部互联网公司进行实习和联合研究。
  5. 对于表现优秀者，课题组将为其进一步深造提供支持，如实习、工作等。

应聘方式

请将以下材料发送至[email protected]，并同时抄送至[email protected]邮箱；邮件标题请注明：“应聘[岗位名称]+[申请者姓名]”。对于符合要求并通过初审者，将会邮件通知安排面试。如有任何其他问题，欢迎邮件咨询（请同样付上材料）。招聘启事在岗位招满前有效。

  1. 个人简历；
  2. 代表性成果（如已发表/在投学术论文、项目报告、成绩单、GitHub主页等能证明申请者科研学习能力的材料）。