《预训练周刊》第64期：微调新范式：组合、噪音、指令、自我改进等

No.64

智源 区

预训练组

预

训

练

论文推荐

【CV研究】

标题：美国机器感知与学习实验室、美国中佛罗里达大学 | Adversarial Pretraining of Self-Supervised Deep Networks: Past, Present and Future（自监督深度 络的对抗性预训练：过去、现在和未来）了解详情

论文下载：https://arxiv.org/pdf/2210.13463.pdf

标题：牛津、CMU、valeo公司等 | Self-Supervision on Wheels:

Advances in Self-Supervised Learning from Autonomous Driving Data（自动驾驶的自监督：从自动驾驶数据中进行自监督学习的进展）了解详情

论文下载：https://gidariss.github.io/ssl-on-wheels-eccv2022/

【NLP研究】

标题：阿姆斯特丹大学、普林斯顿大学、Meta | Don’t Prompt, Search! Mining-based Zero-Shot Learning with Language Models（不要提示，搜索！基于挖掘的语言模型零样本学习）了解详情

论文下载：https://arxiv.org/pdf/2210.14803.pdf

标题：美国西北大学、Allen联合 | Learning to Perform Complex Tasks through Compositional Fine-Tuning of Language Models（通过语言模型的组合微调学习执行复杂任务）了解详情

论文下载：https://arxiv.org/pdf/2210.12607.pdf

标题：北航、美团 | PATS: Sensitivity-aware Noisy Learning for Pretrained Language Models（PATS：预训练语言模型的敏感性感知噪声学习）了解详情

论文下载：https://arxiv.org/pdf/2210.12403.pdf

标题：IDEA 研究院、早稻田大学、清华 | Zero-Shot Learners for Natural Language Understanding via a Unified Multiple Choice Perspective（通过统一多选择角度实现自然语言理解的零样本学习）了解详情

论文下载：https://arxiv.org/pdf/2210.08590.pdf

标题：UIUC、谷歌 | Large Language Models Can Self-Improve（大语言模型可以自我改进）了解详情

论文下载：https://arxiv.org/pdf/2210.11610v2.pdf

【生命科学研究】

标题：哈工大SCIR ｜ 脑认知指导的预训练语言模型了解详情

论文下载：https://aclanthology.org/2022.coling-1.284/

活动预告

标题：谷歌高级软件工程师侯乐 ｜ 语言模型的新微调方式 了解详情

简介：由智源 区主办的「智源Live 第27期丨谷歌高级软件工程师侯乐：语言模型的新微调方式」将于11月9日（周二）09:00-10:00在线举办，谷歌Core ML团队高级软件工程师侯乐将作主旨 告。目前真实应用中常用方法为用标注数据微调现成的预训练语言模型，但是这种微调需要大量的人工标注，这些标注数据的获取非常昂贵。另一方面，无论语言模型的应用场景是什么，模型本身需要的推理能力和知识是共通的。在我们的研究中发现，通过用超大规模高质量数据对模型进行微调，能够提高语言模型的推理能力，使模型显得更有知识，并提高模型在零训练样本和少训练样本情况下的泛化能力。细节上本次 告将重点关注大规模指令微调和大型语言模型的自我改进能力这两部分。

如果你正在从事或关注预训练学习研究、实现与应用，欢迎加入“智源 区-预训练-交流群”。在这里，你可以：

• 学习前沿知识、求解疑难困惑

• 分享经验心得、展示风貌才华

• 参与专属活动、结识研究伙伴

请扫描下方二维码加入预训练群（备注：“姓名+单位+预训练”才会验证进群哦）