参与：力元、楚航、罗若天
本周的主要论文包括北大等研究机构提出的采取梯度调节模块（GRM）办理在线学习所带来的灾害性遗忘问题；研究职员揭橥了对 DeepONet 架构长达 112 页的数学剖析；BrainGate 的研究团队成功创建了一种无线脑机接口（BCI），性能靠近有线脑机接口，延迟非常低等。
目录：
论文 1：Learning the Superpixel in a Non-iterative and Lifelong Manner
作者：Lei Zhu、Qi She、Bin Zhang、Yanye Lu、Zhilin Lu、Duo Li、Jie Hu论文链接：https://arxiv.org/pdf/2103.10681.pdf择要：为办理在线学习所带来的灾害性遗忘问题，北大等研究机构提出了采取梯度调节模块（GRM），通过演习权重在特色重修时的浸染效果及像素的空间位置先验，调节反向传播时各权重的梯度，以增强模型的影象性的超像素分割模型 LNSNet。该研究已被 CVPR 2021 吸收，紧张由朱磊和佘琪参与谈论和开拓，北京大学分子影像实验室卢闫晔老师给予辅导。
模型构造 模型构造
推举：比经典算法在参数量降落近 20 倍的同时，运算速率提升了 4 倍。
论文 2：DeepONet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators
作者：Lu Lu、Pengzhan Jin、George Em Karniadakis论文链接：http://arxiv-export-lb.library.cornell.edu/pdf/1910.03193
择要：DeepONet 是一种可以学习算子的深度神经网络架构。它的独特之处在于它的分叉式架构，该架构在两个并行网络（「分支」和「主干」）中处理数据。前者学习预估输入侧的许多函数，后者学习预估输出侧的函数。然后，DeepONet 将两个网络的输出合并以学习算子。演习 DeepONet 的每次迭代中会调度分支网络和主干网络中的权重，直到全体网络涌现的缺点量可以被接管为止。
今年 2 月研究职员揭橥了对 DeepONet 架构长达 112 页的数学剖析。研究证明这种方法是真正通用的，可以将输入真个任何函数集映射到输出真个任何函数集。
DeepONet 架构
推举：分叉式架构，通用性强，可以将输入真个任何函数集映射到输出真个任何函数集。
论文 3：Fourier Neural Operator For Parametric Partial Differential Equations
作者：Zongyi Li、Nikola Kovachki、Kamyar Azizzadenesheli、Burigede Liu、Kaushik Bhattacharya、Andrew Stuart、Anima Anandkumar论文链接：https://arxiv.org/pdf/2010.08895v2.pdf择要：傅里叶神经算子深度神经网络（FNO）在求解偏微分方程上拥有极快的运行速率。例如，在一个须要进行 30000 次仿真（包括 Navier-Stokes 方程）的求解过程中，对付每个仿真，FNO 花费了不到一秒的韶光，而传统的求解器则大概须要花费 18 个小时。对付没有确定的偏微分方程的征象，学习神经算子很可能是建模此类系统的唯一方法。比如交通问题，编写精确捕捉交通动态的偏微分方程险些是不可能的，但是可以学习的数据量却非常之多。
在演习数据通过神经网络的每一层之前会先对其进行傅里叶变换，然后该层通过线性运算处理数据，再实行傅立叶逆变换回原始格式。末了，FNO 学习了全体偏微分方程族的算子，将函数映射到函数。
傅里叶神经算子架构
推举：运行速率极快，比传统 PDE 求解器快约 70000 倍。
论文 4：Protecting Intellectual Property of Generative Adversarial Networks from Ambiguity Attack
作者：Ding Sheng Ong、Chee Seng Chan、Kam Woh Ng、Lixin Fan、Qiang Yang论文链接：https://arxiv.org/pdf/2102.04362.pdf择要：随着工业界对深度学习模型的利用越来越广泛，机器学习即做事逐渐兴起，也利用了这些模型创造了可不雅观的收入。由于这些深度学习模型可以轻松地被未经授权的第三方抄袭与剽窃，深度学习模型的知识产权 （IPR）保护也因此成了各公司会专注的问题。
虽然目前已有用于卷积神经网络的 IPR 保护方法，但是却不能直策应用在天生对抗网络（GANs）——另一种被广泛用于天生逼真图像的深度学习模型。因此，本文提出了一种基于黑盒与白盒的 GAN 模型 IPR 保护方法。实验结果表明，本方法并不会危害 GAN 本来的性能（如图像天生、图像超分辨率以及样式转换），也能够抵御去除嵌入的水印和模糊攻击。
推举：第一个适用于 GANs 模型的 IPR 保护方法，基于黑盒和白盒，完备不危害性能。
论文 5：Open Domain Generalization with Domain-Augmented Meta-Learning
作者：Yang Shu、Zhangjie Cao、Chenyu Wang、Jianmin Wang、Mingsheng Long论文链接：https://arxiv.org/pdf/2104.03620.pdf择要：深度学习每每须要依赖大规模的标注数据。然而，大规模的网络与标注感兴趣的数据是难以实现的。一种办理方案是 Domain Generalization（DG）：从一个或多个源领域中学习模型，使之能够直接应用到未见过的目标领域上。由于 DG 的每一个源领域可能都是从不同渠道网络而来，目标领域数据在演习阶段是不可见的，因此它与各源领域标签集之间的关系也该当是开放的。
本文抛开了所有源领域与目标领域都具有完备相同的标签集的假设，提出了用 Domain-Augmented Meta-Learning （DAML）框架来学习 Open Domain Generalization（OpenDG），通过设计新的元学习任务和丢失来进行元学习，以保留领域独特的知识并同时推广跨领域的知识。实验结果表明 DAML 优于现有的看不见的领域识别方法。
DAML 架构。
推举：更优的领域识别方法。
论文 6：Home Use of a Percutaneous Wireless Intracortical Brain-Computer Interface by Individuals With Tetraplegia
作者：John D. Simeral、Thomas Hosman、Jad Saab、Sharlene N. Flesher、Marco Vilela、Brian Franco、Jessica Kelemen、David M. Brandman、John G. Ciancibello、Paymon G. Rezaii、Emad N. Eskandar、David M. Rosler、Krishna V. Shenoy§、Jaimie M. Henderson§、Arto V. Nurmikko、Leigh R. Hochberg论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9390339择要：脑机接口技能进行意念操控，已经不是什么新鲜事。不过，以往脑机接口设备都要通过有线系统将脑电波旗子暗记传输到打算机，如果改用无线技能，将是一项重大的进步。2015 年，四肢瘫痪的患者借助 BrainGate 仅用自己的思维就可以打字。但要完成这个操作，须要将参与者连接到固定的打算机上，以便传输大量处理数据。
近日，BrainGate 的研究团队又取得了新的打破。研究者们成功创建了一种无线脑机接口（BCI），性能靠近有线脑机接口，延迟非常低。比较于 2015 年，新研究成果能够省却许多繁琐的设置，利用户不仅能够用思维打字，还能在家轻松浏览网络内容。在该研究的论文中，研究者描述了两位四肢瘫痪的志愿者如何利用新的无线 BCI 系统，并借助该系统打开 Windows 中的开始菜单，利用个中的运用程序。
有线和无线配置下的人类皮质内旗子暗记记录比较
推举：无线意念操控，性能靠近有线脑机接口，低延迟。
论文 7：Learning Position and Target Consistency for Memory-based Video Object Segmentation
作者：Li Hu、Peng Zhang、Bang Zhang、Pan Pan、Yinghui Xu、Rong Jin论文链接：https://arxiv.org/pdf/2104.04329.pdf择要：视频目标分割 (Video Object Segmentation，VOS) 是打算机视觉的根本任务，广泛运用于视频编辑、内容生产、自动驾驶等领域。从最近的研究成果来看，Memory-based 的方法是目前 VOS 领域性能表现最佳的一类方法，其代表作是 STM。STM 提出利用过往所有历史帧的信息，对付当前待分割的帧，STM 会将其与所有历史帧在时空域上做一个匹配学习，从而将当前帧的特色和历史帧的特色关联起来，得到了远超之前方法的效果。然而 STM 的分割结果中仍旧有很多不敷。
为了进一步提升 Memory-based 的 VOS 方法，该研究提出从两个方面去改进：位置同等性与目标同等性。首先，目标物体在视频帧间的运动是遵照一定轨迹的，如果在某一帧的一些位置涌现和目标物体相似的同类物体，如果其位置不合理，那么该物体是目标物体的可能性就会降落，不应该被分割。其次，视频目标分割实质上也可以理解为是一个像素级别的物体跟踪。虽然分割是像素级的任务，但 VOS 的处理工具是物体 (object)，须要有一个类似图像实例分割中对付物体级别的约束。显然那些缺点的碎块分割结果是不知足一个目标物体整体的观点的。
推举：从位置同等性、目标同等性两个方面提升了 Memory-based 的 VOS 方法。
ArXiv Weekly Radiostation
机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的根本上，精选本周更多主要论文，包括NLP、CV、ML领域各10篇精选，详情如下：
本周 10 篇 NLP 精选论文是：
1. Generating Bug-Fixes Using Pretrained Transformers. (from Alexey Svyatkovskiy)
2. Human-like informative conversations: Better acknowledgements using conditional mutual information. (from Christopher D. Manning)
3. Case-based Reasoning for Natural Language Queries over Knowledge Bases. (from Andrew McCallum)
4. On Sampling-Based Training Criteria for Neural Language Modeling. (from Hermann Ney)
5. Sensitivity as a Complexity Measure for Sequence Classification Tasks. (from Dan Jurafsky)
6. Frequency-based Distortions in Contextualized Word Embeddings. (from Dan Jurafsky)
7. Improving Neural Model Performance through Natural Language Feedback on Their Explanations. (from Yiming Yang)
8. XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment. (from Philipp Koehn)
9. Embedding-Enhanced Giza++: Improving Alignment in Low- and High- Resource Scenarios Using Embedding Space Geometry. (from Philipp Koehn)
10. Back to Square One: Bias Detection, Training and Commonsense Disentanglement in the Winograd Schema. (from Hongming Zhang, Dan Roth)
本周 10 篇 CV 精选论文是：
1. TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval. (from Yang Liu, Andrew Zisserman)
2. Multiscale Vision Transformers. (from Jitendra Malik)
3. Robust Object Detection via Instance-Level Temporal Cycle Confusion. (from Trevor Darrell)
4. Exploring Visual Engagement Signals for Representation Learning. (from Claire Cardie, Serge Belongie)
5. Understanding Synonymous Referring Expressions via Contrastive Features. (from Ming-Hsuan Yang)
6. Weakly Supervised Object Localization and Detection: A Survey. (from Ming-Hsuan Yang)
7. VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text. (from Shih-Fu Chang)
8. Meta Faster R-CNN: Towards Accurate Few-Shot Object Detection with Attentive Feature Alignment. (from Shih-Fu Chang)
9. Self-Supervised Pillar Motion Learning for Autonomous Driving. (from Alan Yuille)
10. Towards Human-Understandable Visual Explanations:Imperceptible High-frequency Cues Can Better Be Removed. (from Tinne Tuytelaars)
本周 10 篇 ML 精选论文是：
1. Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural Networks. (from Philip S. Yu)
2. Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks. (from Philip S. Yu)
3. Measuring what Really Matters: Optimizing Neural Networks for TinyML. (from Lothar Thiele)
4. Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020. (from Isabelle Guyon)
5. Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators. (from Bernt Schiele)
6. EarthNet2021: A large-scale dataset and challenge for Earth surface forecasting as a guided video prediction task. (from Markus Reichstein)
7. Risk score learning for COVID-19 contact tracing apps. (from Kevin Murphy, Abhishek Kumar)
8. Extraction of Hierarchical Functional Connectivity Components in human brain using Adversarial Learning. (from Christos Davatzikos)
9. Gradient Matching for Domain Generalization. (from Philip H.S. Torr)
10. Machine Learning Approaches for Type 2 Diabetes Prediction and Care Management. (from Vikas Kumar)
