AR学习笔记（四）：相关文献查阅

• 导览
• Ivosmile App(Kapanu)
• 文献
• • *Dynamic documentation of the smile and the 2D/3D digital smile design
  • *State of the Art on Monocular 3D Face Reconstruction, Tracking, and Applications
  • *Model-Based Teeth Reconstruction
  • *Digital Smile Design A Tool for Treatment Planning and Communication in Esthetic Dentistry
  • *2D and 3D patient’s representation of simulated restorative esthetic outcomes using different computer-aided design software programs
• 视频资料

找一找文献借鉴一下人家取牙齿的2d-3d配准特征点的方法，做一个记录，国内关于数字微笑设计（DSD）的文章并不多，所以大部分是英文文献，下载并阅读了原文的打了*

导览

主要从两个方向来找资料，一是查找IvoSmile App公司相关的材料，二是查找数字微笑设计（DSD）的相关文献或视频

文献摘要

1. *Dynamic documentation of the smile and the 2D/3D digital smile design 2017（微笑的动态文档与二维/三维数字微笑设计过程）：
   Comparison of Two Innovative Strategies Using Augmented Reality for Communication in Aesthetic Dentistry: A Pilot Study的引用
   首先讲拍摄患者视频时的光照、距离等的要求，拍摄四个角度的视频进行分析，然后分八步创建面部的微笑引导框架，最后给出设计结论

2. *State of the Art on Monocular 3D Face Reconstruction, Tracking, and Applications 2018（单目三维人脸重建、跟踪和应用的研究现状）：
   Comparison of Two Innovative Strategies Using Augmented Reality for Communication in Aesthetic Dentistry: A Pilot Study的引用
   整篇论文介绍了人脸三维重建研究和应用现状，包括眼睛、头发、嘴唇、牙齿等等，着重看一下9.2节对口腔内牙齿的捕捉

4. *Digital Smile Design A Tool for Treatment Planning and Communication in Esthetic Dentistry 2012（数字微笑设计:牙科美容治疗计划和沟通的工具）
   笼统介绍了一下DSD这一种工具，其方式、用途等，主要看一下DSD的工作流，还是需要手动处理牙齿图像，然后设计蜡模

5. *2D and 3D patient’s representation of simulated restorative esthetic outcomes using different computer-aided design software programs 2021（三维和三维患者使用不同的计算机辅助设计软件程序模拟修复性美学结果）
   介绍了一系列的2D和3D的CAD软件进行牙齿的美学修复效果

6. *Augmented Reality in Esthetic Dentistry: a Case Report 2021（美容牙科中的增强现实：一个案例 告）
   介绍了一个牙齿修复的案例，对于AR或者牙齿检测的介绍很少

相关性较低的文献

1. *Virtual smile design tip: From 2D to 3D design with free software 2018（虚拟微笑设计提示：从2D到3D软件设计）
   通过keynote/power point等免费软件实现JPEG到STL文件，借鉴意义不大

2. *Augmented reality (AR) and virtual reality (VR) applied in dentistry 2018（应用于牙科的增强现实(AR)和虚拟现实(VR)技术）
   Comparison of Two Innovative Strategies Using Augmented Reality for Communication in Aesthetic Dentistry: A Pilot Study的引用

3. *Recent development of Augmented Reality in Surgery A Review 2017（外科增强现实的最新发展综述）
   Comparison of Two Innovative Strategies Using Augmented Reality for Communication in Aesthetic Dentistry: A Pilot Study的引用

4. *An Augmented Reality Based Teeth Shade Matching System 2011（一种基于增强现实的牙齿阴影匹配系统）

5. *Augmented reality as a new perspective in Dentistry: development of a complementary tool 2016（增强现实作为牙科的一个新视角：一个互补工具的开发）

Ivosmile App(Kapanu)

官方 站：Kapanu 是世界上第一家也是迄今为止唯一一家提供实时牙科增强现实可视化的公司

Ivosmile是IOS平台的一款AR换牙应用，发布于2018年11月，其设计公司Kapanu AG成立于2015年，在2017年的IDS上展示了世界上第一个实时牙科增强现实应用程序

这里有一些油管关于ivosmile的视频，基本类似广告，介绍了一下App使用方法：

1. Ivosmile Tutorial – Ivoclar Vivadent 2019.10.17

2. IDS 2019 | IvoSmile 2019.3.16
   IvoSmile在2019年的IDS上的演示

3. Kapanu | Augmented Reality for the Future of Dentistry 2017.3.6
   IvoSmile设计公司制作的演示视频，在其官 上也有

下图是部分技术主页的介绍

5. *Coherent rendering of virtual smile previews with fast neural style transfer
   摘要：一致性渲染的虚拟微笑预览与快速的神经风格转移。由于AR投影使用的牙齿模型是理想的，没有考虑相机缺陷、图像噪声等，限制了AR换牙应用的真实性，这篇文章应用了艺术风格转移的方法，提出和比较各种卷积神经 络结构，评估生成图像的质量，核心思想是将原始未改变的图像的风格应用到渲染的虚拟内容图像上，使两者无缝地融合在一起。这是在完成3D牙模在视频上的投影后，进一步优化显示效果的文章，所以没有太大帮助，论文中的部分输出结果如下

*Model-Based Teeth Reconstruction

论文后面还增加了一个额外的滤波步骤来减少噪声和锐化边缘，涉及到的数学公式比较复杂

*Digital Smile Design A Tool for Treatment Planning and Communication in Esthetic Dentistry

DSD的工作流（部分）：
1.找十字线：必须将两条线放在窗口的中心，形成一个十字
2.数字面弓：将整个微笑图像与水平参考线联系起来是微笑设计过程中最重要的一步，瞳孔间线应该是建立水平平面的第一个参考线，但它不应该是唯一的一个，在确定最佳的水平参考之前，必须分析脸部以实现和谐，在确定水平参考线后，根据面部特征如鳃、鼻子和下巴勾画出面部中线轮廓
3.微笑分析：在嘴上拖动水平线，可以对面部线条与微笑的关系进行初步评估，将线条和面部照片分组将允许临床医生放大图像，而不丢失线条和照片之间的参考资料，中线和咬合平面的位移和倾斜可以很容易地检测到

这篇文章主要还是手动来提取牙齿的特征信息的，所以后面的步骤没有什么借鉴意义。
有效的信息：需要先根据人脸图像确定出水平参考线和中线，这样可以确定出牙齿的中线（应该在两颗门牙中间），从而解决2D牙齿图像对应牙模上哪颗牙齿的问题

*2D and 3D patient’s representation of simulated restorative esthetic outcomes using different computer-aided design software programs

介绍了一系列的2D和3D的CAD软件进行牙齿的美学修复效果，主要有以下这些软件

Spark AR Mouth Patch – Dracula Teeth Example | eye color block (EN Captions)
Spark AR实现牙齿AR效果的教程，类似搭积木来完成