Наука, стоящая за оценкой порций по одной фотографии

Оценка пищевой ценности блюда по одной фотографии на первый взгляд звучит так, будто должна быть слишком неточной, чтобы быть полезной. Здесь нет весов, нет точного списка ингредиентов и нет способа увидеть, что происходит внутри еды. И тем не менее на практике оценка по фото оказывается достаточно близкой к истине, чтобы быть по-настоящему полезной для подавляющего большинства повседневных блюд. Причина сводится к тому, сколько визуальной информации на самом деле содержит тарелка еды.

Фото несёт сразу несколько полезных сигналов: узнаваемые продукты и их общую категорию (белок, крахмал, овощ, соус), их пропорции относительно друг друга, их объём относительно известных опорных объектов, таких как тарелка, миска или приборы в кадре, и визуальные подсказки о способе приготовления — например, жарка в масле против гриля, что даёт существенно разный калорийный профиль даже для одного и того же базового ингредиента.

Это похоже, в гораздо большем масштабе и гораздо быстрее, на то, что делает обученный диетолог, визуально оценивая блюдо во время консультации, — он тоже не взвешивает тарелку, а рассуждает на основе опыта о том, сколько обычно весит и содержит определённый объём определённого типа еды. Большая языковая модель, обученная на огромных объёмах изображений еды и данных о питании, выполняет версию того же визуального рассуждения, только автоматизированную и почти мгновенную.

Точность этого подхода естественным образом неравномерна для разных типов еды. Куриную грудку на гриле, запечённый картофель или тарелку риса относительно легко оценить точно, потому что их объём и плотность достаточно предсказуемы, а визуальные границы чёткие. Рагу, запеканку или что угодно, где ингредиенты перемешаны и частично скрыты — лишнее масло, сливочное масло или сливки, вмешанные в соус, — по своей природе сложнее оценить точно, потому что значительная часть калорийности вообще не видна.

Именно поэтому оценка по фото позиционируется как быстрая, разумная оценка, а не заявка на лабораторную точность, и именно поэтому она сочетается со сканированием штрихкода для упакованных продуктов, у которых уже есть точный, напечатанный ответ. Эти два метода подходят для разных задач: сканирование штрихкода — там, где точные данные уже существуют, оценка по фото — там, где их нет и никогда не будет, потому что у блюда изначально не могло быть этикетки.

Стоит также отметить, что оценка по фото улучшается при наличии дополнительного контекста, поэтому указание названия блюда или краткого описания вместе с фото — «жарка с курицей и рисом» вместо просто неподписанного изображения — обычно даёт более точную оценку, чем одно только фото. И визуальная информация, и текстовое описание сужают диапазон вероятных значений питательной ценности, и их сочетание стабильно превосходит опору на что-то одно.

Реалистично думать об оценке по фото как о значительном повышении точности по сравнению с той альтернативой, которую она реально заменяет — приблизительной догадкой по поиску в базе данных ближайшего по названию продукта, — а не как о конкуренте кухонным весам и полному списку ингредиентов. Для подавляющего большинства домашних блюд это заметно более точная оценка, полученная за долю времени, а именно этот компромисс реально определяет, продолжится ли учёт изо дня в день.