2018-07-31
这篇文章介绍两篇 ECCV 2018最新的 paper，一篇提出semi-convolutional等创新点来改进Mask RCNN；另一篇是提出CrossNet，一种使用跨尺度变形的端到端和全卷积深度神经网络，实现超分辨率。
《Semi-convolutional Operators for Instance Segmentation》
ECCV 2018
Abstract：目标检测（Object detection）和实例分割（instance segmentation）由基于区域的方法（例如Mask RCNN）主导。然而，人们越来越关注将这些问题减少到像素标记任务，因为后者可以更高效，可以在许多其他任务中使用的图像到图像（image-to-image）网络架构中无缝集成，并且对于不能由边界框近似的目标更加准确。在本文中，我们从理论和经验上表明，使用卷积算子不能轻易地实现构建可以分离对象实例的 dense pixel embeddings 。同时，我们表明简单的修改，我们称之为 semi-convolutional，其在这项任务中有更好的表现。我们证明了这些算子也可用于改进Mask RCNN等方法，展示了比单独使用Mask RCNN可实现的复杂生物形状和PASCAL VOC类别更好的分割。
arXiv：https://arxiv.org/abs/1807.10712
《CrossNet: An End-to-end Reference-based Super Resolution Network using Cross-scale Warping》
ECCV 2018
Abstract：The Reference-based Super-resolution (RefSR) super-resolves a low-resolution (LR) image given an external high-resolution (HR) reference image，其中参考图像和LR图像共享相似的视点但具有显著的分辨率间隙 x8。现有的RefSR方法以级联的方式工作，例如 patch匹配，然后是具有两个独立定义的目标函数的合成 pipeline，导致inter-patch misalignment，grid effect and inefficient optimization。为了解决这些问题，我们提出了CrossNet，一种使用跨尺度变形的端到端和全卷积深度神经网络。我们的网络包含图像编码器（encoder），cross-scale warping layers和融合解码器（decoder）：编码器用于从LR和参考图像中提取多尺度特征;cross-scale warping layers在空间上将参考特征图与LR特征图对齐;解码器最终聚合来自两个域的特征映射以合成HR输出。使用跨尺度变形，我们的网络能够以端到端的方式在像素级执行空间对齐，从而改善现有方案的精度（大约2dB-4dB）和效率（超过100倍） 。