Vetenskapen bakom att uppskatta portioner från ett enda foto

Att uppskatta en måltids näringsinnehåll från ett enda fotografi låter, på ytan, som att det borde vara alldeles för oprecist för att vara användbart. Det finns ingen våg inblandad, ingen exakt ingredienslista, och inget sätt att se vad som händer inuti maten. Och ändå, i praktiken, hamnar fotobaserad uppskattning tillräckligt nära för att vara genuint användbar för den stora majoriteten av vardagliga måltider. Anledningen handlar om hur mycket visuell information en tallrik mat faktiskt innehåller.

Ett foto bär flera användbara signaler på en gång: de identifierbara livsmedlen och deras allmänna kategori (protein, stärkelse, grönsak, sås), deras inbördes proportioner, deras volym i förhållande till kända referensobjekt som tallriken, skålen eller bestick i bild, och visuella ledtrådar om tillagningsmetod — friterat kontra grillat, till exempel, vilket ger en meningsfullt annorlunda kaloriprofil även för samma grundingrediens.

Det här är en liknande process, i en mycket större och snabbare skala, till vad en utbildad dietist gör när hon visuellt uppskattar en måltid under en konsultation — hon väger inte heller tallriken, hon resonerar utifrån erfarenhet om vad en viss volym av en viss typ av mat typiskt väger och typiskt innehåller. En stor språkmodell tränad på enorma mängder matbilder och näringsdata gör en version av samma visuella resonemang, bara automatiserat och nästan ögonblickligt.

Precisionen i det här tillvägagångssättet är naturligt ojämn mellan olika typer av mat. En grillad kycklingfilé, en bakad potatis, eller en skål ris är relativt lätta att uppskatta exakt eftersom deras volym och densitet är ganska förutsägbara och deras visuella gränser är tydliga. En gryta, en gratäng, eller något där ingredienserna är blandade och delvis dolda — extra olja, smör eller grädde inblandat i en sås — är inneboende svårare att uppskatta exakt, eftersom en betydande del av kaloriinnehållet inte syns alls.

Det är precis därför fotouppskattning positioneras som en snabb, rimlig uppskattning snarare än ett anspråk på laboratorieprecision, och varför den paras ihop med streckkodsskanning för förpackad mat som redan har ett exakt, tryckt svar tillgängligt. De två metoderna passar olika problem: streckkodsskanning där exakt data redan finns, fotouppskattning där den inte finns och aldrig kommer att finnas, eftersom måltiden aldrig skulle komma med en etikett från början.

Det är också värt att notera att fotouppskattning förbättras med ytterligare kontext, vilket är varför att ange ett livsmedels namn eller en kort beskrivning tillsammans med fotot — "kycklingwok med ris" istället för bara en oetiketterad bild — tenderar att ge en mer exakt uppskattning än vad fotot bär på egen hand. Både den visuella informationen och textbeskrivningen smalnar av intervallet av troliga näringsvärden, och att kombinera dem överträffar konsekvent att förlita sig på endast en av dem.

Det realistiska sättet att tänka på fotobaserad uppskattning är som en betydande precisionsuppgradering jämfört med alternativet den faktiskt ersätter — en grov gissning från en databassökning på det närmast klingande livsmedlet — snarare än som en konkurrent till en köksvåg och en komplett ingredienslista. För den överväldigande majoriteten av hemlagade måltider är det en meningsfullt bättre uppskattning levererad på en bråkdel av tiden, vilket är den avvägning som faktiskt spelar roll för om registreringen fortsätter dag efter dag.