我的妻子从拍摄回来带回了一批照片,所有照片都略微模糊。我想这是一个解决的问题,花了一整天时间寻找解决方案。然而,问题并没有解决。其中一半的应用程序根本没有提供任何有用的功能。另一半应用程序的更严重问题是:他们会先降低图片分辨率,然后在小版本上运行模型,然后放大。她的相机拍摄图片分辨率为4000×3000,所以回来的图片比进去的图片要模糊且小。最终我找到了一个服务,它的效果还可以,但此时我已经意识到真正的发现:这个问题确实存在,且解决这个问题确实很难。 我想构建一个完全在设备上运行的照片应用程序已经很久了。手机里的处理器确实很强大。人们通常不知道自己手里握着什么。我的白天工作是计算机视觉和iOS,我花了很长时间将神经网络转换为在移动设备上运行,优化CV管道以提高速度。这就是所有这些努力的结果。两年前我向朋友提出了这个想法,他同意了。从那时起,大部分代码都被重写了至少一次。处理大型图片而不缩放它们仍然是我的坚持——切片、内存压力、切片之间的缝隙。所有这些都是这个应用程序存在的原因。六个月前我们打破了自己的规则,添加了服务器端处理。有些模型需要比iPhone有更多的RAM和计算能力。这样做使我们能够在本地无法实现的两件事情:恢复旧的受损照片(划痕、折痕、褪色、色彩化),和创造性的放大,网络能够创造出原文件中从未存在的可信细节。 本地处理仍然是默认选项;云服务是可选的,只用于繁重的工作。视频放大也在本地处理。最近我们发布了帧插值——生成中间帧以提高FPS,这也意味着您可以将普通的剪辑转换为慢动作。以下是一个短的演示,我故意选择了一个困难的剪辑而不是干净的剪辑:https://youtu.be/JWo5Y0KlfaM 它被称为UScale:https://upscales.app iOS(暂时):https://apps.apple.com/app/id6736931330 它有一个三天的免费试用期,所有计划都适用。 欢迎回答任何问题:Core ML转换、如何在不耗尽内存的情况下切片大型图片、我们放弃并转移到服务器的方法,或者如何分配本地/云服务的价格。后者比模型更难解决。
两年前我妻子的照片都模糊不清,所以我为她打造了一个修复照片的应用。现在,这是我做过的最成功的东西。
评论 (0)