社交媒体用户喜欢的东西比用食物照片充斥他们的饲料更少。然而，我们很少使用这些图像，而不仅仅是在我们的手机上快速滚动。
麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员认为，分析这些照片可以帮助我们学习食谱并更好地了解人们的饮食习惯。在卡塔尔计算研究所(QCRI)的一篇新论文中，该团队培训了一种名为Pic2Recipe的人工智能系统来查看食物照片，并能够预测成分并提出相似的食谱。
“在计算机视觉中，食物大多被忽视，因为我们没有预测所需的大规模数据集，”麻省理工学院博士后Yusuf Aytar说，他与麻省理工学院教授Antonio Torralba共同撰写了一篇关于该系统的论文。“但社交媒体上看似无用的照片实际上可以提供有关健康习惯和饮食偏好的宝贵见解。”
该论文将于本月晚些时候在檀香山举行的计算机视觉和模式识别会议上发表。CSAIL研究生Nick Hynes是西班牙加泰罗尼亚理工大学的Amaia Salvador的主要作者。共同作者包括CSAIL postdoc Javier Marin，以及科学家Ferda Ofli和QCRI的研究主管Ingmar Weber。
网络推动了食品数据分类领域的大量研究，但其中大部分都使用了更小的数据集，这往往导致食品标签上的重大差距。
2014年，瑞士研究人员创建了“Food-101”数据集，并用它开发了一种能够以50%的准确度识别食物图像的算法。未来的迭代仅将准确度提高到大约80%，这表明数据集的大小可能是一个限制因素。
即使是较大的数据集，它们在人群中的概括程度也经常受到限制。香港城市大学的数据库有超过110,000张图片和65,000份食谱，每份都有成分表和说明，但只包含中国菜。
CSAIL团队的项目旨在建立这项工作，但范围大大扩大。研究人员对All Recipes和Food.com等网站进行了精心研究，开发了“Recipe1M”，这是一个包含100多万份食谱的数据库，这些食谱上注释了各种菜肴中的成分信息。然后，他们使用该数据训练神经网络以找到图案并在食物图像与相应的成分和配方之间建立联系。
鉴于食物项目的照片，Pic2Recipe可以识别面粉，鸡蛋和黄油等成分，然后建议几种确定与数据库中的图像相似的食谱。(该团队有一个在线演示，人们可以上传他们自己的食物照片进行测试。)
“您可以想象人们使用它来追踪他们的日常营养，或者在餐馆拍摄他们的餐点，并知道以后在家做饭需要什么，”新媒体技术部维也纳MODUL大学助理教授Christoph Trattner说。谁没有参与论文。“团队的方法与人类判断的工作水平相似，这是非常了不起的。”
该系统特别适合饼干或松饼等甜点，因为这是数据库中的主题。然而，它难以确定更加含糊不清的食物的成分，如寿司卷和冰沙。
当有相同菜肴的类似食谱时，它也常常难倒。例如，有几种方法可以制作烤宽面条，因此团队需要确保系统在试图分离不同的食谱时不会“惩罚”相似的食谱。(解决这个问题的一种方法是在比较食谱本身之前，先查看每种食材中的成分是否相似)。
在未来，该团队希望能够改进系统，以便更加细致地了解食物。这可能意味着能够推断出食物的制备方式(即炖与切块)或区分食物的不同变化，如蘑菇或洋葱。
研究人员也有兴趣将该系统发展成一个“晚餐助手”，可以根据饮食偏好和冰箱中的物品清单找出烹饪方法。
“这可能有助于人们在没有明确的营养信息的情况下弄清楚他们的食物是什么，”海因斯说。“例如，如果你知道什么成分进入一道菜而不是数量，你可以拍照，输入成分，并运行模型找到一个已知数量的类似食谱，然后使用这些信息近似你自己的膳食。”
该项目的部分资金来自QCRI，以及欧洲区域发展基金(ERDF)和西班牙经济，工业和竞争力部。