1.本公开涉及程序、终端装置和终端装置的控制方法。
背景技术：
2.专利文献1公开了如下技术：在检测到通过冷藏库的开口部的物体时，设置在冷藏库的上部的摄像机执行拍摄，基于拍摄结果，冷藏库、终端装置显示收纳于冷藏库的食品的信息。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2019-070476号公报
技术实现要素：
6.发明要解决的课题
7.本公开提供一种用户能够直观地掌握收纳于冷藏库的食品是什么样的食品的程序、终端装置和终端装置的控制方法。
8.用于解决课题的方法
9.本公开的程序使包括显示部的终端装置的计算机作为显示控制部发挥功能，该显示控制部通过所述显示部显示表示从冷藏库的正面看所述冷藏库的库内的情况的库内图像，在所显示的所述库内图像中，在与收纳于所述库内的食品的收纳区域对应的区域显示表示所述食品的食品图像。
10.此外，本公开的终端装置包括：显示部；和显示控制部，通过所述显示部显示表示从冷藏库的正面看所述冷藏库的库内的情况的库内图像，在所显示的所述库内图像中，在与收纳于所述库内的食品的收纳区域对应的区域显示表示所述食品的食品图像。
11.此外，本公开的终端装置的控制方法显示表示从冷藏库的正面看所述冷藏库的库内的情况的库内图像，在所显示的所述库内图像中，在与收纳于所述库内的食品的收纳区域对应的区域显示表示所述食品的食品图像。
12.另外，在本说明书中，包含在2021年2月25日申请的日本专利申请2021-029012号的全部内容。
13.发明效果
14.本公开的程序、终端装置和终端装置的控制方法在表示冷藏库的库内的图像内，在与收纳于冷藏库的食品的收纳区域对应的区域显示该食品的图像。因此，用户能够直观地掌握收纳于冷藏库的食品是什么样的食品。
附图说明
15.图1是表示实施方式1的食品管理系统的结构的图。
16.图2是实施方式1的从右方侧看设置于冷藏库的摄像机单元的侧视图。
17.图3是实施方式1的从左前方侧看与主箱体的前端缘抵接的位置限制部件的立体图。
18.图4是实施方式1的从前方侧看冷藏库和摄像机单元的主视图。
19.图5是实施方式1的从右侧看冷藏库和摄像机单元的俯视图。
20.图6是表示实施方式1的摄像机单元的结构的框图。
21.图7是表示实施方式1的终端装置和食品管理服务器的结构的框图。
22.图8是表示实施方式1的冷藏室管理数据库的一例的图。
23.图9是表示实施方式1的冷藏室库内图像的一例的图。
24.图10是表示实施方式1的抽屉管理数据库的一例的图。
25.图11是表示实施方式1的调整用画面的一例的图。
26.图12是表示实施方式1的中央位置记录纸张的一例的图。
27.图13是表示实施方式1的摄像机单元的动作的流程图。
28.图14是表示实施方式1的食品管理系统的动作的流程图。
29.图15是用于说明实施方式1的出入库判定图像的图。
30.图16是表示实施方式1的冷藏室9游会主页画面的一例的图。
31.图17是表示实施方式1的备注的输入流程的图。
32.图18是表示实施方式1的收纳列表画面的一例的图。
33.图19是表示实施方式1的新追加列表画面的一例的图。
34.图20是用于说明实施方式1的食品信息的追加流程的图。
35.图21是表示实施方式1的删除对象列表画面的一例的图。
36.图22是表示实施方式1的食品管理系统的动作的流程图。
37.图23是表示实施方式1的蔬菜室9游会主页画面的一例的图。
38.图24是表示实施方式1的食品图像列表画面的一例的图。
39.图25是表示实施方式1的食品管理系统的动作的流程图。
40.图26是表示实施方式2的终端装置和食品管理服务器的结构的框图。
具体实施方式
41.(成为本公开的基础的知识见解等)
42.发明者们想到本公开的当时，存在终端装置显示收纳于冷藏库的食品的列表的技术。然而，发明者们发现这样的课题：如现有技术那样，仅显示食品的列表，用户无法直观地掌握什么样的食品被收纳于冷藏库，为了解决该课题，完成了本公开的主题。
43.因此，本公开提供一种用户能够直观地掌握收纳于冷藏库的食品是什么样的食品的程序、终端装置和终端装置的控制方法。
44.下面，参照附图详细地说明实施方式。但是，有时省略必要以上的详细说明。例如，存在省略对于已经公知的事项的详细说明、或者对于实质上相同的结构的重复说明的情况。
45.此外，附图和以下的说明是为了本领域技术人员充分理解本发明而提供的，不意图通过这些说明来限定权利要求书所记载的主题。
46.(实施方式1)
47.首先，对实施方式1进行说明。
48.[1-1.结构]
[0049]
[1-1-1.食品管理系统的结构]
[0050]
图1是表示食品管理系统1000的结构的图。
[0051]
食品管理系统1000是对于冷藏库1所收纳的食品管理收纳于冷藏库1的收纳日期时间等的系统。
[0052]
冷藏库1对应于本发明的贮藏库的一例。食品对应于本发明的物品的一例。
[0053]
食品管理系统1000包括冷藏库1。冷藏库1包括前表面开口的主箱体10。在主箱体10形成有冷藏室11、制冰室12、新鲜冻结室13、冷冻室14和蔬菜室15。在冷藏室11的前面的开口部设置有旋转式的左门11a和右门11b。制冰室12、新鲜冻结室13、冷冻室14和蔬菜室15的各自中设置有收纳食品的抽屉12a、13a、14a、15a。本发明的抽屉14a、15a包括上层盒体jca和下层盒体gca两个盒体ca。
[0054]
上层盒体jca对应于本发明的第1盒体的一例。下层盒体gca对应于本发明的第2盒体的一例。
[0055]
在以下说明中，在不区分左门11a和右门11b的情况下，称为“门”，赋予“11c”的符号。此外，在以下说明中，在不区分抽屉12a、13a、14a、15a的情况下，称为“抽屉”，赋予“16a”的符号。
[0056]
食品管理系统1000包括摄像机单元2。摄像机单元2是进行拍摄，从拍摄图像检测出入冷藏库1的食品的装置。摄像机单元2设置于冷藏库1的主箱体10的上表面10b。
[0057]
摄像机单元2对应于本发明的摄影装置的一例。
[0058]
食品管理系统1000包括终端装置3。终端装置3例如是智能手机、平板终端。终端装置3安装有用于管理冷藏库1的食品的应用程序，通过该应用程序的功能与食品管理服务器4通信。
[0059]
在以下说明中，将该应用程序称为“食品管理应用”，赋予“311”的符号。
[0060]
食品管理应用311对应于本发明的程序和应用程序的一例。
[0061]
在图1中，用实线表示在家的用户p，用虚线表示从自家h外出的用户p。终端装置3在由在家的用户p使用的情况下，通过食品管理应用311的功能，经由通信装置5或者不经由通信装置5而与食品管理服务器4通信。此外，终端装置3在由从自家h外出的用户p使用且无法与通信装置5建立通信连接的情况下，通过食品管理应用311的功能，不经由通信装置5而与食品管理服务器4通信。
[0062]
通信装置5与包括因特网、电话网、其他通信网的全球网络gn连接，与连接于全球网络gn的食品管理服务器4通信。通信装置5是用于将终端装置3与全球网络gn连接的接口装置。
[0063]
食品管理系统1000具有食品管理服务器4。食品管理服务器4是管理冷藏库1的食品的服务器装置，与全球网络gn连接。另外，在各图中，用一个块来表现食品管理服务器4，但这并不意味着食品管理服务器4由单一的服务器装置构成。例如，食品管理服务器4也可以包括处理内容不同的多个服务器装置而构成。
[0064]
接下来，对摄像机单元2、终端装置3和食品管理服务器4的结构进行说明。
[0065]
[1-1-2.摄像机单元的结构]
[0066]
参照图2～图4对摄像机单元2进行说明。
[0067]
在图2～图4中，示出了x轴、y轴和z轴。x轴、y轴和z轴相互正交。z轴表示上下方向。x轴和y轴与水平方向平行。x轴表示左右方向，另外，表示冷藏库1和摄像机单元2的宽度方向。y轴表示前后方向，另外，表示冷藏库1和摄像机单元2的进深方向。x轴的正方向表示右方向。y轴的正方向表示前方向。z轴的正方向表示上方向。
[0068]
图2是从右方侧看设置于冷藏库1的摄像机单元2的侧视图。图3是从左前方侧看与主箱体10的前端缘10a抵接的位置限制部件205的立体图。
[0069]
如图2和图3所示，摄像机单元2包括设置于主箱体10的上表面10b的外观箱状的主体201。此外，摄像机单元2在主体201的前部上方包括从主体201向前方延伸的拍摄部件202。拍摄部件202包括冷藏室用摄像机203和抽屉用摄像机204。冷藏室用摄像机203和抽屉用摄像机204在拍摄部件202的下部分别设置在比主体201靠前方的位置。
[0070]
主体201包括通过与主箱体10的前端缘10a抵接来限制拍摄部件202在冷藏库1的前后方向上的位置的位置限制部件205。位置限制部件205是在设置状态下从主体201的底面206向下方延伸的位置限制片。位置限制部件205在主体201的前表面沿主体201的左右方向延伸，在主体201的左右方向的中央具有标记207。该标记207表示摄像机单元2的左右方向上的中央的位置。
[0071]
位置限制部件205的长度在设置状态下形成为比从主箱体10的上表面10b到设置在冷藏库1与门11c之间的衬垫为止的长度短。更详细而言，位置限制部件205的长度形成为在设置状态下从主箱体10的上表面10b到在门11c的内表面上部与上表面10b大致平行地设置的门衬垫为止的长度短。
[0072]
主体201通过内置的磁铁208固定在由位置限制部件205限制的位置。固定主体201的手段不限于磁体208，可以是双面胶等其他手段。
[0073]
图4是从前方侧看冷藏库1和摄像机单元2的主视图。图4所示的冷藏库1的左门11a和右门11b为开状态。图5是从右侧看冷藏库1和摄像机单元2的俯视图。图5所示的冷藏库1是抽屉15a处于开状态(即，被拉出的状态)。在图4和图5所示的摄像机单元2中，标记207位于冷藏库1的左右方向的大致中央，位置限制部件205与前端缘10a抵接。
[0074]
摄像机单元2具有冷藏室用摄像机203和抽屉用摄像机204。
[0075]
冷藏室用摄像机203通过从冷藏库1的前上方拍摄下方，拍摄出入冷藏室11的食品。
[0076]
例如，冷藏室用摄像机203的拍摄范围在前视图中包括图4所示的范围a1。范围a1是在门11c为开状态下包括设置于门11c的门搁架111和冷藏室11的前表面的开口部的范围。此外，冷藏室用摄像机203的拍摄范围在侧视时包括图5所示的范围a3。范围a3是在前后方向上包括从开状态的门11c到架子112的前端部为止的范围，并且是在上下方向上包括冷藏室11的开口部的范围。
[0077]
抽屉用摄像机204通过从冷藏库1的前上方拍摄下方，拍摄出入抽屉式收纳室的食品。
[0078]
例如，在前视时，抽屉用摄像机204的拍摄范围包括图4所示的范围a2。范围a2是在冷藏库1的前视时包括抽屉16a的范围。此外，抽屉用摄像机204的拍摄范围在侧视时包括图5所示的范围a4。范围a4是在前后方向上包括最大限度地拉出的状态的抽屉16a的范围。
[0079]
摄像机单元2具有左门用测距传感器209、右门用测距传感器210和抽屉用测距传感器211。
[0080]
左门用测距传感器209是用于检测左门11a的开闭状态的测距传感器。左门用测距传感器209检测与左门11a的分开距离作为左门11a的开闭状态。
[0081]
右门用测距传感器210是用于检测右门11b的开闭状态的测距传感器。右门用测距传感器210也检测与右门11b的分开距离作为右门11b的开闭状态。
[0082]
抽屉用测距传感器211是用于检测抽屉16a的开闭状态的测距传感器。另外，抽屉16a为开状态是指从对应的抽屉式收纳室拉出的状态。此外，抽屉16a为闭状态是指收纳于对应的抽屉式收纳室的状态。抽屉用测距传感器211检测与抽屉16a的分开距离作为抽屉16a的开闭状态。
[0083]
在本实施方式中，抽屉用测距传感器211检测抽屉14a、15a各自的开闭状态。
[0084]
摄像机单元2具有人感传感器212。人感传感器212将检测值输出到摄像机单元控制部20。人感传感器212设置在拍摄部件202的规定位置。
[0085]
人感传感器212对应于本发明的“传感器”的一例。
[0086]
另外，图4和图5中的各传感器和各摄像机的排列顺序和设置位置是为了便于说明摄像机单元2而图示的，它们的排列顺序和设置位置不限于图4和图5所示的排列顺序和设置位置。
[0087]
图6是表示摄像机单元2的结构的框图。
[0088]
摄像机单元2包括摄像机单元控制部20、摄像机单元通信部21、传感器部22、拍摄部23和电力供给部24。
[0089]
摄像机单元控制部20包括cpu(中央处理单元)、mpu(微处理单元)等处理器即摄像机单元处理器220和摄像机单元存储部230。摄像机单元控制部20通过摄像机单元处理器220读出、执行摄像机单元存储部230所存储的控制程序，来控制摄像机单元2的各部分。摄像机单元处理器220通过执行存储于摄像机单元存储部230的控制程序，用作摄像机单元通信控制部221、检测值处理部222、摄像控制部223、录像控制部224和食品检测部225。
[0090]
摄像机单元存储部230包括存储摄像机单元处理器220所执行的程序、摄像机单元处理器220所处理的数据的存储器。摄像机单元存储部230存储摄像机单元处理器220所执行的控制程序、摄像机单元2的识别信息即摄像机单元id4112、其他各种数据。摄像机单元存储部230具有非易失性的存储区域。此外，摄像机单元存储部230可以包括易失性的存储区域，构成摄像机单元处理器220的工作区域。
[0091]
摄像机单元通信部21是包括按照规定的通信标准的通信电路、连接器等的通信接口，在摄像机单元控制部20的控制下与食品管理服务器4和终端装置3通信。在本实施方式中，摄像机单元通信部21所使用的通信标准例示无线通信标准，但可以是有线通信标准。
[0092]
传感器部22包括左门用测距传感器209、右门用测距传感器210、抽屉用测距传感器211和人感传感器212，按每个传感器将检测值输出到摄像机单元控制部20。
[0093]
拍摄部23包括冷藏室用摄像机203和抽屉用摄像机204。拍摄部23将冷藏室用摄像机203和抽屉用摄像机204各自的拍摄结果输出到摄像机单元控制部20。冷藏室用摄像机203和抽屉用摄像机204拍摄动态图像。
[0094]
以下，在不区分冷藏室用摄像机203和抽屉用摄像机204的情况下，称为“摄像机”，
赋予“213”的符号。
[0095]
电力供给部24包括电力供给电路等硬件，向摄像机单元2的各部分供给电力。在本实施方式中，摄像机单元2的电源线缆7与工频交流电源8连接，电力供给部24基于从外部的工频交流电源8供给的电力，向摄像机单元2各个供给电力。
[0096]
另外，向电力供给部24供给电力的供给源不限于外部的工频交流电源8，可以是冷藏库1或电池。在供给源为前者的情况下，电力供给部24和冷藏库1包括按照能够进行usb供电的标准的端口等硬件。此外，在供给源为前者的情况下，摄像机单元2的usb线缆与冷藏库1的usb端口连接，冷藏库1经由usb线缆向电力供给部24供给电力。在供给源为后者的情况下，摄像机单元2包括电池。
[0097]
如上所述，摄像机单元控制部20用作摄像机单元通信控制部221、检测值处理部222、摄像控制部223、录像控制部224和食品检测部225。
[0098]
食品检测部225对应于物品检测部的一例。
[0099]
摄像机单元通信控制部221经由摄像机单元通信部21与食品管理服务器4通信。
[0100]
检测值处理部222基于从传感器部22输出的各传感器的检测值，针对左门11a、右门11b、抽屉14a、15a分别判定是开状态还是闭状态。检测值处理部222在判定出左门11a、右门11b中的任一个为开状态的情况下，将表示门11c为开状态的开状态信息输出到录像控制部224和食品检测部225。此外，检测值处理部222在判定出左门11a、右门11b均为闭状态的情况下，将表示门11c为闭状态的关状态信息输出到录像控制部224和食品检测部225。检测值处理部222在判定出抽屉14a、15a中的任一个为开状态的情况下，将表示抽屉14a、15a中的任一个为开状态的抽屉开状态信息输出到录像控制部224和食品检测部225。此外，检测值处理部222在判定出抽屉14a、15a均为闭状态的情况下，将表示抽屉14a、15a为闭状态的抽屉闭状态信息输出到录像控制部224和食品检测部225。
[0101]
此外，检测值处理部222基于从传感器部22输出的人感传感器212的检测值，判定在冷藏库1的周边是否存在人。检测值处理部222在判定出在冷藏库1的周边存在人的情况下，将表示存在人的存在有无信息输出到摄像控制部223。此外，检测值处理部222在判定出在冷藏库1的周边不存在人的情况下，将表示不存在人的存在有无信息输出到摄像控制部223。
[0102]
摄像控制部223在检测值处理部222输出了表示存在人的存在有无信息的情况下，使冷藏室用摄像机203和抽屉用摄像机204开始拍摄。摄像控制部223在检测值处理部222输出了表示不存在人的存在有无信息的情况下，使冷藏室用摄像机203和抽屉用摄像机204结束拍摄。
[0103]
录像控制部224在检测值处理部222输出了门开状态信息的情况下，开始冷藏室用摄像机203的拍摄结果的录像。录像控制部224在检测值处理部222输出了门闭状态信息的情况下，结束开始了的冷藏室用摄像机203的拍摄结果的录像。此外，录像控制部224在检测值处理部222输出了抽屉开状态信息的情况下，开始抽屉用摄像机204的拍摄结果的录像。录像控制部224在检测值处理部222输出了抽屉闭状态信息的情况下，结束开始了的抽屉用摄像机204的拍摄结果的录像。录像控制部224在结束录像时，生成从开始录像起到结束为止的动态图像作为一个录像文件231，存储在摄像机单元存储部230。
[0104]
食品检测部225基于存储于摄像机单元存储部230的录像文件231，检测出入冷藏
库1的食品。
[0105]
图7是表示终端装置3和食品管理服务器4的结构的框图。
[0106]
[1-1-3.食品管理服务器的结构]
[0107]
首先，关于食品管理服务器4的结构进行说明。
[0108]
食品管理服务器4具有服务器控制部40和服务器通信部41。
[0109]
服务器控制部40包括cpu或mpu等处理器即服务器处理器400和服务器存储部410。服务器控制部40通过服务器处理器400读出、执行存储于服务器存储部410的控制程序，来控制食品管理服务器4的各部分。服务器处理器400通过执行服务器存储部410所存储的控制程序，用作服务器通信控制部401和信息处理部402。
[0110]
服务器存储部410具有存储服务器处理器400所执行的程序、由服务器处理器400处理的数据的存储器。服务器存储部410存储服务器处理器400所执行的控制程序、冷藏室食品管理数据库411、抽屉食品管理数据库412、其他各种数据。服务器存储部410具有非易失性的存储区域。服务器存储部410也可以具有易失性的存储区域，构成服务器处理器400的工作区域。
[0111]
图8是表示冷藏室食品管理数据库411所保存的一条记录的一例的图。
[0112]
冷藏室食品管理数据库411是保存与冷藏室11所收纳的食品相关的各种信息的数据库。
[0113]
在以下说明中，将冷藏室食品管理数据库411所保存的一条记录称为“冷藏室食品管理记录”，赋予“rr”的符号。
[0114]
冷藏室食品管理记录rr具有账户id4111、摄像机单元id4112、冷藏库机型信息4113、冷藏室库内图像数据4114、出入库有无信息4115、食品图像数据4116、收纳日期时间信息4117、分割区域编号4118、备注输入有无信息4119、备注信息4130、删除信息4131和删除日期时间信息4132。
[0115]
账户id4111是识别分配给利用食品管理应用311的用户p的账户的识别信息。
[0116]
冷藏库机型信息4113是表示在相同记录中建立对应的账户id4111所表示的用户p所使用的冷藏库1的机型的信息。
[0117]
冷藏室库内图像数据4114是表示冷藏库1的冷藏室11的库内的图像的图像数据。以下，将表示冷藏室11的库内的图像称为“冷藏室库内图像”，赋予“rg”的符号。冷藏室库内图像数据4114表示与在相同记录中建立对应的冷藏库机型信息4113所表示的机型对应的冷藏室库内图像rg。
[0118]
冷藏室库内图像rg对应于库内图像的一例。
[0119]
图9是表示冷藏室库内图像rg的一例的图。
[0120]
图9所示的冷藏室库内图像rg包括左门搁架图像rg1、冷藏室前表面图像rg2和右门搁架图像rg3。在图9所示的冷藏室库内图像rg中，左门搁架图像rg1、冷藏室前表面图像rg2和右门搁架图像rg3从图中左侧依次排列。左门搁架图像rg1是表示在左门11a形成的门搁架111的图像。冷藏室前表面图像rg2是在左门11a和右门11b为开状态的情况下的从正面看冷藏室11的图像。右门搁架图像rg3是表示在右门11b形成的门搁架111的图像。
[0121]
冷藏室库内图像rg的图像区域被分割为多个区域。将该各区域称为“分割区域”，赋予“ba”的符号。图9所示的冷藏室库内图像rg被分割为15个分割区域ba。对各个分割区域
ba分配相互不同的编号。在以下说明中，将该编号称为分割区域编号，赋予“4118”的符号。另外，在图9中，为了方便而图示了对哪个分割区域ba分配了哪个分割区域编号，在后述的冷藏室9游会主页画面gm2所显示的冷藏室库内图像rg中不显示分割区域编号4118。
[0122]
返回图8的说明，出入库有无信息4115是表示是否有新的出入库的信息。
[0123]
食品图像数据4116是食品的图像数据。在本实施方式中，该食品图像数据4116所表示的图像是冷藏室用摄像机203的拍摄图像。
[0124]
收纳日期时间信息4117是表示食品收纳于冷藏库1的收纳日期时间的信息。
[0125]
冷藏室食品管理记录rr按每个食品图像数据4116具有分割区域编号4118。
[0126]
备注输入有无信息4119是表示是否有备注的输入的信息。
[0127]
备注信息4130是表示输入的备注的信息。
[0128]
删除信息4131是表示建立对应的子记录是否是从冷藏室食品管理记录rr中作为删除对象的子记录的信息。子记录是保存于冷藏室食品管理记录rr的记录，具有食品图像数据4116、收纳日期时间信息4117、分割区域编号4118、备注输入有无信息4119和备注信息4130。
[0129]
删除日期时间信息4132是表示建立对应的子记录成为删除对象的日期时间的信息。在删除信息4131表示删除对象的情况下，后述的信息处理部402在规定的时机，从冷藏室食品管理记录rr中删除子记录以及与该子记录建立对应的删除信息4131和删除日期时间信息4132。
[0130]
图10是表示抽屉食品管理数据库412所保存的一条记录的图。
[0131]
抽屉食品管理数据库412是保存与抽屉式收纳室的食品相关的各种信息的数据库。另外，在参照图23～图25的说明中，抽屉食品管理数据库412是与蔬菜室15相关的数据库。
[0132]
在以下说明中，将抽屉食品管理数据库412所保存的一条记录称为“抽屉食品管理记录”，赋予“hr”的符号。
[0133]
抽屉食品管理记录hr具有账户id4111、摄像机单元id4112、更新日期时间信息4121、上层盒体信息4122和下层盒体信息4124。
[0134]
更新日期时间信息4121是表示更新了抽屉食品管理记录hr的内容的日期时间的信息。
[0135]
上层盒体信息4122具有上层盒体图像数据4123、食品图像数据4116、备注输入有无信息4119和备注信息4130。
[0136]
上层盒体图像数据4123是上层盒体jca的图像即上层盒体图像jcg的图像数据。上层盒体图像jcg是抽屉用摄像机204的拍摄图像。
[0137]
上层盒体图像jcg对应于本发明的第1盒体图像的一例。
[0138]
在本实施方式中，上层盒体信息4122所具有的食品图像数据4116所表示的图像是从上层盒体图像jcg切出的图像。
[0139]
下层盒体信息4124具有下层盒体图像数据4125、食品图像数据4116、备注输入有无信息4119和备注信息4130。
[0140]
下层盒体图像数据4125是下层盒体gca的图像即下层盒体图像gcg的图像数据。下层盒体图像gcg是抽屉用摄像机204的拍摄图像。
[0141]
下层盒体图像gcg对应于本发明的第2盒体图像的一例。
[0142]
以下，在不区分上层盒体图像jcg和下层盒体图像gcg的情况下，称为“盒体图像”，标注“cg”的符号。
[0143]
在本实施方式中，下层盒体信息4124所具有的食品图像数据4116所表示的图像是从下层盒体图像gcg切出的图像。
[0144]
返回图7的说明，服务器通信部41是包括按照规定的通信标准的无线电路、天线等与通信相关的结构的通信接口，按照规定的通信标准与和全球网络gn连接的设备通信。在本实施方式中，服务器通信部41与摄像机单元2和终端装置3通信。
[0145]
如上所述，服务器控制部40用作服务器通信控制部401和信息处理部402。
[0146]
服务器通信控制部401经由服务器通信部41与摄像机单元2和终端装置3通信。
[0147]
信息处理部402基于服务器通信控制部401从摄像机单元2和终端装置3接收到的信息，进行各种信息处理。
[0148]
[1-1-4.终端装置的结构]
[0149]
接着，关于终端装置3的功能性结构进行说明。
[0150]
终端装置3具有终端控制部30、终端通信部31和触摸面板32。
[0151]
触摸面板32对应于显示部的一例。
[0152]
终端控制部30包括cpu、mpu等处理器即终端处理器300和终端存储部310。终端控制部30通过终端处理器300读出、执行存储于终端存储部310的控制程序，来控制终端装置3的各部分。在终端装置3安装有食品管理应用311。终端处理器300通过读出、执行食品管理应用311，用作应用执行部301。
[0153]
终端处理器300对应于本发明的计算机的一例。此外，应用执行部301对应于本发明的显示控制部的一例。
[0154]
终端存储部310具有存储终端处理器300所执行的程序、由终端处理器300处理的数据的存储器。终端存储部310存储终端处理器300所执行的控制程序、食品管理应用311、账户id4111、其他各种数据。终端存储部310具有非易失性的存储区域。此外，终端存储部310可以包括易失性的存储区域，构成终端处理器300的工作区域。
[0155]
终端通信部31是包括按照规定的通信标准的无线电路、天线等构成的通信接口，按照规定的通信标准，与和全球网络gn连接的设备通信。在本发明中，作为终端通信部31所使用的通信标准，例示无线通信标准。
[0156]
触摸面板32具有液晶显示面板等的显示面板，和与显示面板重叠地、或者一体地设置的触摸传感器。
[0157]
如上所述，终端控制部30用作应用执行部301。
[0158]
应用执行部301经由终端通信部31与食品管理服务器4收发各种信息。
[0159]
此外，应用执行部301使触摸面板32显示与冷藏库1的食品的管理相关的用户界面。在以下的说明中，将该用户界面称为“应用程序ui”，标注“320”的附图标记。应用执行部301通过使触摸面板32显示应用ui320，向用户p提供与冷藏库1的食品相关的各种信息，此外，从用户p接收与冷藏库1的食品相关的各种输入。
[0160]
[1-2.动作]
[0161]
接下来，对食品管理系统1000的各部分的动作进行说明。
[0162]
[1-2-1.摄像机单元的设置]
[0163]
摄像机单元2与冷藏库1分体。因此，摄像机单元2由用户p设置在冷藏库1的上表面10b。如上所述，位置限制部件205限制摄像机单元2在冷藏库1的前后方向上的位置，所以用户p在进行摄像机单元2的设置时，调整冷藏库1的左右方向上的位置。
[0164]
以下，例示摄像机单元2在冷藏库1的左右方向上的位置调整的多个方法。
[0165]
[1-2-1-1.第1位置调整]
[0166]
在第1位置调整中，用户p使用应用ui320。
[0167]
在第1位置调整中，应用执行部301使触摸面板32显示调整用画面gm1的应用ui320。
[0168]
图11是表示调整用画面gm1的一例的图。
[0169]
调整用画面gm1设置拍摄结果显示区域ha1。拍摄结果显示区域ha1是矩形的区域，是显示冷藏室用摄像机203和抽屉用摄像机204中的任一个的拍摄结果的区域。在拍摄结果显示区域ha1中，在图中的左右方向上的大致中央设置有沿上下方向延伸的线l1。
[0170]
调整用画面gm1包括调整方法信息j1。调整方法信息j1促进以拍摄结果显示区域ha1中映现的冷藏库1的左右方向的中心成为设置在拍摄结果显示区域ha1的线l1的方式进行位置调整。
[0171]
用户p按照调整方法信息j1所表示的调整方法，将摄像机单元2设置于冷藏库1。由此，能够在摄像机单元2的冷藏室用摄像机203和抽屉用摄像机204各自的拍摄范围中包含出入冷藏库1的食品。此外，摄像机单元2成为所包括的各测距传感器能够检测对应的门11c或抽屉16a的开闭。
[0172]
在第1位置调整中，摄像机单元2将冷藏室用摄像机203和抽屉用摄像机204中的任一个的拍摄结果发送到终端装置3。另外，在第1位置调整中，摄像机单元2与终端装置3经由食品管理服务器4或者通过近距离无线通信等直接通信。
[0173]
摄像机单元2的摄像机单元通信控制部221将冷藏室用摄像机203和抽屉用摄像机204中的任一个的拍摄结果发送到终端装置3。然后，应用执行部301将接收到的拍摄结果显示于拍摄结果显示区域ha1。
[0174]
[1-2-1-2.第2位置调整]
[0175]
在第2位置调整中，用户p使用中央位置记录纸张cy。
[0176]
图12是表示中央位置记录纸张cy的一例的图。
[0177]
中央位置记录纸张cy是记录有表示冷藏库1的左右方向上的中央的位置的中央标记mr2的纸张。在中央位置记录纸张cy，除了中央标记mr2以外，还记录有表示冷藏库1的左右方向上的左端的位置的左端标记mr1、和表示冷藏库1的左右方向上的右端的位置的右端标记mr3。
[0178]
中央位置记录纸张cy与冷藏库1一起捆绑而到达用户p。另外，摄像机单元2可以与中央位置记录纸张cy和冷藏库1一起捆绑，也可以不捆绑。对于与冷藏库1一起捆绑的中央位置记录纸张cy，从左端标记mr1到右端标记mr3为止的长度是与该冷藏库1的宽度对应的长度。
[0179]
在第2位置调整中，用户p使用中央位置记录纸张cy来掌握冷藏库1的左右方向上的中央的位置在哪里。例如，用户p以左端标记mr1成为冷藏库1的左端，右端标记mr3成为冷
藏库1的右端的方式，将中央位置记录纸张cy粘贴于冷藏库1，将中央标记mr2作为记号来掌握冷藏库1的左右方向上的中央的位置。然后，用户p调整摄像机单元2的位置，使得摄像机单元2的位置限制部件205所具有的标记207成为所掌握的中央的位置。
[0180]
通过第2位置调整，摄像机单元2能够与第1位置调整同样地进行各种检测。
[0181]
[1-2-1-3.第3位置调整]
[0182]
在第3位置调整中，在冷藏库1的规定位置赋予有表示冷藏库1的左右方向上的中央的位置的标记。在第3位置调整中，使用位置限制部件205所具有的标记207和赋予冷藏库1的标记。
[0183]
在第3位置调整中，用户p在冷藏库1的左右方向上对摄像机单元2进行位置调整，使得赋予冷藏库1的标记的位置与位置限制部件205所具有的标记207的位置一致。
[0184]
通过第3位置调整，摄像机单元2能够与第1位置调整同样地进行各种检测。
[0185]
接下来，对摄像机单元2设置于冷藏库1后的食品管理系统1000的动作进行说明。
[0186]
[1-2-2.与录像相关的动作]
[0187]
首先，将描述与录像相关的动作。
[0188]
图13是表示摄像机单元2的动作的流程图fa。
[0189]
在图13所示的动作中，传感器部22将各传感器的检测值输出到摄像机单元控制部20。此外，在图13所示的动作中，检测值处理部222基于从传感器部22接收到的各种检测值来执行处理。
[0190]
检测值处理部222基于人感传感器212的检测值，判别在冷藏库1的周边是否存在人(步骤sa1)。
[0191]
检测值处理部222在判别出在冷藏库1的周边存在人的情况下(步骤sa1：是)，将表示存在人的存在有无信息输出到摄像控制部223(步骤sa2)。
[0192]
摄像控制部223在从检测值处理部222输入表示存在人的存在有无信息时，使冷藏室用摄像机203和抽屉用摄像机204开始拍摄(步骤sa3)。
[0193]
接着，检测值处理部222基于从传感器部22输出的各种传感器的检测值，判别左门11a、右门11b、抽屉14a、15a中的任一个是否为开状态(步骤sa4)。
[0194]
检测值处理部222在判别出左门11a、右门11b、抽屉14a、15a均不为打开状态的情况下(步骤sa4：否)，进行步骤sa16的处理。
[0195]
检测值处理部222在判别出左门11a、右门11b、抽屉14a、15a中的任一个为开状态的情况下(步骤sa4：是)，判别门11c为开状态还是抽屉14a、15a中的任一个为开状态(步骤sa5)。
[0196]
检测值处理部222在判别出门11c为开状态的情况下(步骤sa5：门)，将门开状态信息输出到录像控制部224(步骤sa6)。
[0197]
接着，录像控制部224在从检测值处理部222输入门开状态信息时，开始冷藏室用摄像机203的拍摄结果的录像(步骤sa7)。
[0198]
接着，检测值处理部222判别门11c是否为闭状态(步骤sa8)。
[0199]
检测值处理部222在判别出门11c为闭状态的情况下(步骤sa8：是)，将门关状态信息输出到录像控制部224(步骤sa9)。
[0200]
接着，录像控制部224在从检测值处理部222输入门关状态信息时，结束冷藏室用
摄像机203的拍摄结果的录像(步骤sa10)。由此，在摄像机单元存储部230生成一个冷藏室用摄像机203的录像文件231。
[0201]
返回步骤sa5的说明，检测值处理部222在判别出抽屉14a、15a中的任一个为开状态的情况下(步骤sa5：抽屉)，将抽屉开状态信息输出到录像控制部224(步骤sa11)。
[0202]
接着，录像控制部224在从检测值处理部222输入了抽屉开状态信息时，开始抽屉用摄像机204的拍摄结果的录像(步骤sa12)。
[0203]
接着，检测值处理部222判别打开的抽屉14a、15a中的任一个是否为闭状态(步骤sa13)。
[0204]
检测值处理部222在判别出打开的抽屉14a、15a中的任一个为闭状态的情况下(步骤sa13：是)，将抽屉闭状态信息输出到录像控制部224(步骤sa14)。
[0205]
接着，录像控制部224在从检测值处理部222输入抽屉闭状态信息时，结束抽屉用摄像机204的拍摄结果的录像(步骤sa15)。由此，在摄像机单元存储部230生成一个抽屉用摄像机204的录像文件231。
[0206]
检测值处理部222判别在冷藏库1的周边是否存在人(步骤sa16)。
[0207]
检测值处理部222在判别出在冷藏库1的周边存在人的情况下(步骤sa16：是)，再次进行步骤sa4以后的处理。
[0208]
另一方面，检测值处理部222在判别出在冷藏库1的周边不存在人的情况下(步骤sa16：否)，将表示不存在人的存在有无信息输出到摄像控制部223(步骤sa17)。
[0209]
摄像控制部223在从检测值处理部222输入表示不存在人的存在有无信息时，使冷藏室用摄像机203和抽屉用摄像机204结束拍摄(步骤sa18)。
[0210]
[1-2-3.与食品的检测相关的动作]
[0211]
接下来，对与食品的检测相关的动作进行说明。
[0212]
图14是表示食品管理系统1000的动作的流程图。
[0213]
在图14中，流程图fb表示摄像机单元2的动作，流程图fc表示食品管理服务器4的动作。
[0214]
摄像机单元2的食品检测部225判别在摄像机单元存储部230中是否存储有录像文件231(步骤sb1)。
[0215]
食品检测部225在判别出在摄像机单元存储部230中存储有录像文件231的情况下(步骤sb1：是)，判别所存储的录像文件231是冷藏室用摄像机203的录像文件231还是抽屉用摄像机204的录像文件231(步骤sb2)。步骤sb2的判别根据检测值处理部222输出的信息来判别。
[0216]
食品检测部225在判别出是冷藏室用摄像机203的录像文件231的情况下(步骤sb2：冷藏室用摄像机)，基于所存储的录像文件231，检测食品(步骤sb3)。
[0217]
在步骤sb3，例如，食品检测部225基于形状、颜色等特征量，从冷藏室用摄像机203的录像文件231检测食品。食品检测所需的数据被存储在食品检测部225能够取得的存储区域中。
[0218]
食品检测部225判别是否能够从冷藏室用摄像机203的录像文件231检测到食品(步骤sb4)。
[0219]
食品检测部225在判别出无法从冷藏室用摄像机203的录像文件231检测到食品的
情况下(步骤sb4：否)，使处理转移到步骤sb10。
[0220]
另一方面，食品检测部225在能够从冷藏室用摄像机203的录像文件231检测到食品的情况下(步骤sb4：是)，进行出入库判定处理(步骤sb5)。
[0221]
出入库判定处理是判定在步骤sb3检测到的食品是入库到冷藏库1的食品还是从冷藏库1出库的食品的处理。在出入库判定处理中，使出入库判定图像hg与冷藏室用摄像机203的录像文件231所表示的动态图像重叠。
[0222]
图15是用于说明出入库判定图像hg的图。
[0223]
图15所示的出入库判定图像hg表示用户p重叠于使蛋包入库到冷藏库1的动态图像的情况。
[0224]
出入库判定图像hg设置有边界线l2。
[0225]
边界线l2具有边界线l21、l22、l23、l24、l25。边界线l21是在出入库判定图像hg的图中上部，从出入库判定图像hg的图中左端向右方延伸的线。边界线l22是连结边界线l21的右端与边界线l23的左端的线。边界线l23是在出入库判定图像hg的上下方向上的大致中央，从边界线l21的右端的左右方向上的位置向右方延伸的线。边界线l24是连结边界线l23的右端与边界线l24的左端的线。边界线l25是在出入库判定图像hg的上部，从边界线l23的右端的左右方向上的位置向右方延伸到出入库判定图像hg的右端的线。
[0226]
出入库判定图像hg的图像区域被边界线l2分割为凹状的区域即凹状区域hg1和凸状的区域即凸状区域hg2。
[0227]
食品检测部225通过在重叠有出入库判定图像hg的动态图像中进行图像解析，来判别在步骤sb3检测到的食品是从凸状区域hg2向凹状区域hg1前进还是从凹状区域hg1向凸状区域hg2前进。食品检测部225在判别出在步骤sb3检测到的食品从凸状区域hg2向凹状区域hg1前进的情况下，判定为在步骤sb3检测到的食品入库到冷藏库1。另一方面，食品检测部225在判别出在步骤sb3检测到的食品从凹状区域hg1向凸状区域hg2前进的情况下，判定为在步骤sb3检测到的食品从冷藏库1出库。
[0228]
返回图14的流程图fb的说明，食品检测部225进行分割区域编号确定处理(步骤sb6)。
[0229]
分割区域编号确定处理是确定与在步骤sb3检测到的食品出入库的收纳区域对应的分割区域ba，确定分配给所确定的分割区域ba的分割区域编号4118的处理。
[0230]
例如，食品检测部225通过图像解析，确定在步骤sb3检测到的食品出入库的冷藏室11的收纳区域。此外，例如，对架子112各个前端和门搁架111各个中赋予识别收纳区域的标记，食品检测部225基于动态图像中的该标记与检测到的食品的位置关系，确定收纳区域。接着，食品检测部225判别所确定的收纳区域相当于冷藏室库内图像rg的哪个分割区域ba，确定分配给所判别的分割区域ba的分割区域编号4118。另外，收纳区域、分割区域ba和分割区域编号4118的对应关系作为数据存储于摄像机单元存储部230。
[0231]
食品检测部225在进行分割区域编号确定处理时，从冷藏室用摄像机203的录像文件231，按在步骤sb3检测到的每个食品，切出食品的图像(步骤sb7)。以下，将从摄像机213的拍摄结果切出的食品的图像称为“拍摄食品图像”，赋予“fg”的符号。
[0232]
拍摄食品图像fg对应于本发明的食品图像的一例。
[0233]
接着，食品检测部225生成第1更新信息(步骤sb8)。
[0234]
在步骤sb8生成的第1更新信息包括摄像机单元存储部230的摄像机单元id4112。
[0235]
此外，在步骤sb8生成的第1更新信息包括表示冷藏室用摄像机203的录像文件231被生成的日期时间的日期时间信息。
[0236]
此外，在步骤sb8生成的第1更新信息按在步骤sb3检测到的每个食品，包括表示在步骤sb7切出的拍摄食品图像fg的食品图像数据4116、表示出入库判定处理的判定结果的出入库判定结果信息、和通过分割区域编号确定处理确定的分割区域编号4118。
[0237]
接着，摄像机单元通信控制部221将食品检测部225生成的第1更新信息发送到食品管理服务器4(步骤sb9)。
[0238]
食品检测部225从摄像机单元存储部230删除录像文件231(步骤sb10)。
[0239]
返回步骤sb2的说明，食品检测部225在判别出是抽屉用摄像机204的录像文件231的情况下(步骤sb2：抽屉用摄像机)，判别映现在抽屉用摄像机204的录像文件231的动态图像的上层盒体jca和下层盒体gca中的至少任一个是否被拉出规定阈值以上(步骤sb11)。
[0240]
例如，食品检测部225基于形状、颜色等特征量，在动态图像中区分盒体ca。然后，食品检测部225通过录像文件231的图像解析，判别上层盒体jca和下层盒体gca是否相对于冷藏库1被拉出了规定阈值以上。
[0241]
此外，例如，对上层盒体jca和下层盒体gca分别在规定位置赋予有识别盒体ca的标记，食品检测部225通过从动态图像读取该标记，来区分动态图像中的盒体ca。然后，食品检测部225通过计算动态图像中的该标记的移动距离，判定是否相对于冷藏库1被拉出了规定阈值以上。
[0242]
食品检测部225在判别出上层盒体jca和下层盒体gca均未被拉出规定阈值以上的情况下(步骤sb11：否)，进行步骤sb18的处理。
[0243]
另一方面，食品检测部225在判别出上层盒体jca和下层盒体gca中的至少任一个被拉出了规定阈值以上的情况下(步骤sb11：是)，从录像文件231切出盒体图像cg(步骤sb12)。
[0244]
在步骤sb12，食品检测部225在仅上层盒体jca被拉出了规定阈值以上的情况下，从录像文件231切出上层盒体图像jcg。
[0245]
在步骤sb12，食品检测部225在仅下层盒体gca被拉出了规定阈值以上的情况下，从录像文件231切出下层盒体图像gcg。
[0246]
在步骤sb12，食品检测部225在上层盒体jca和下层盒体gca被拉出了规定阈值以上的情况下，从录像文件231切出上层盒体图像jcg和下层盒体图像gcg。
[0247]
接着，食品检测部225从切出的盒体图像cg检测食品(步骤sb13)。
[0248]
接着，食品检测部225判别是否能够从盒体图像cg检测到食品(步骤sb14)。
[0249]
食品检测部225在判别出无法检测到食品的情况下(步骤sb14：否)，进行步骤sb16的处理。
[0250]
另一方面，食品检测部225在判别出能够检测到食品的情况下(步骤sb14：是)，从盒体图像cg按检测到的每个食品切出拍摄食品图像fg(步骤sb15)。
[0251]
接着，食品检测部225生成第2更新信息(步骤sb16)。
[0252]
在仅切出了上层盒体图像jcg的情况下，在步骤sb16生成的第2更新信息包括摄像机单元存储部230的摄像机单元id4112、表示切出的上层盒体图像jcg的上层盒体图像数据
4123、和表示从上层盒体图像jcg切出的拍摄食品图像fg的食品图像数据4116。另外，在步骤sb14中判别为否的情况下，在该第2更新信息中不包括食品图像数据4116。
[0253]
此外，在仅切出下层盒体图像gcg的情况下，在步骤sb16生成的第2更新信息包括摄像机单元存储部230的摄像机单元id4112、表示切出的下层盒体图像gcg的下层盒体图像数据4125、和表示从下层盒体图像gcg切出的拍摄食品图像fg的食品图像数据4116。另外，在步骤sb14中判别为否的情况下，在该第2更新信息中不包括食品图像数据4116。
[0254]
此外，在切出上层盒体图像jcg和下层盒体图像gcg的情况下，在步骤sb16生成的第2更新信息包括摄像机单元存储部230的摄像机单元id4112、上层盒体图像数据组和下层盒体图像数据组。上层盒体图像数据组包括表示切出的上层盒体图像jcg的上层盒体图像数据4123、和表示从上层盒体图像jcg切出的拍摄食品图像fg的食品图像数据4116。下层盒体图像数据组包括表示切出的下层盒体图像gcg的下层盒体图像数据4125、和表示从下层盒体图像gcg切出的拍摄食品图像fg的食品图像数据4116。另外，在步骤sb14中判别为否的情况下，在该第2更新信息中不包括食品图像数据4116。
[0255]
接着，摄像机单元通信控制部221将食品检测部225生成的第2更新信息发送到食品管理服务器4(步骤sb17)。
[0256]
接着，食品检测部225从摄像机单元存储部230删除录像文件231(步骤sb18)。
[0257]
如流程图fc所示，食品管理服务器4的服务器通信控制部401判别是否接收到第1更新信息和第2更新信息中的任一个更新信息(步骤sc1)。
[0258]
在服务器通信控制部401判别出接收到更新信息的情况下(步骤sc1：是)，信息处理部402基于服务器通信控制部401接收到的更新信息来更新数据库(步骤sc2)。
[0259]
对步骤sc2进行详述。
[0260]
在服务器通信控制部401接收到的更新信息为第1更新信息的情况下，信息处理部402确定具有第1更新信息中所包括的摄像机单元id4112的冷藏室食品管理记录rr。然后，信息处理部402将所确定的冷藏室食品管理记录rr的出入库有无信息4115更新为表示“有”的信息。
[0261]
接着，在第1更新信息所包括的出入库判定结果信息表示入库的情况下，信息处理部402生成子记录，将空白的删除信息4131和删除日期时间信息4132与所生成的子记录建立对应，以保存于所确定的冷藏室食品管理记录rr。这里所生成的子记录包括第1更新信息所包括的食品图像数据4116、表示与第1更新信息所包括的日期时间信息相同的日期时间的收纳日期时间信息4117、第1更新信息所包括的分割区域编号4118、空白的备注输入有无信息4119和空白的备注信息4130。
[0262]
此外，在第1更新信息所包括的出入库判定结果信息表示出库的情况下，信息处理部402从冷藏室食品管理记录rr确定包括第1更新信息所包括的食品图像数据4116所表示的拍摄食品图像fg和表示一致度高的拍摄食品图像fg的食品图像数据4116的子记录。该确定按第1更新信息所包括的每个食品图像数据4116进行。然后，信息处理部402将与所确定的子记录建立对应的删除信息4131更新为表示删除对象的信息。此外，信息处理部402将与所确定的子记录建立对应的删除日期时间信息4132更新为表示当前日期时间的信息作为删除日期时间。
[0263]
进一步地，对步骤sc2进行详述。
[0264]
在服务器通信控制部401接收到的更新信息为第2更新信息的情况下，信息处理部402确定具有第2更新信息中所包括的摄像机单元id4112的抽屉食品管理记录hr。
[0265]
在为仅切出上层盒体图像jcg时的第2更新信息的情况下，信息处理部402将所确定的抽屉食品管理记录hr的上层盒体信息4122所具有的上层盒体图像数据4123和食品图像数据4116更新为第2更新信息所具有的数据。
[0266]
在为仅切出下层盒体图像gcg时的第2更新信息的情况下，信息处理部402将所确定的抽屉食品管理记录hr的下层盒体信息4124所具有的下层盒体图像数据4125和食品图像数据4116更新为第2更新信息所具有的数据。
[0267]
在为切出上层盒体图像jcg和下层盒体图像gcg时的第2更新信息的情况下，信息处理部402将所确定的抽屉食品管理记录hr的上层盒体信息4122所具有的上层盒体图像数据4123和食品图像数据4116合适地更新为上层盒体图像数据组所包括的数据。此外，信息处理部402将所确定的抽屉食品管理记录hr的下层盒体信息4124所具有的下层盒体图像数据4125和食品图像数据4116更新为下层盒体图像数据组所包括的数据。
[0268]
此外，信息处理部402将所确定的抽屉食品管理记录hr的更新日期时间信息4121更新为表示更新了抽屉食品管理记录hr的日期时间的信息。
[0269]
[1-2-4.与应用ui相关的动作]
[0270]
接下来，将描述与应用ui320相关的动作。
[0271]
在本实施方式中，在应用ui320中，显示与冷藏室11相关的画面和抽屉式收纳室的画面。
[0272]
[1-2-4-1.与冷藏室相关的画面]
[0273]
与冷藏室11相关的画面包括冷藏室9游会主页画面gm2、冷藏室列表画面gm3和食品信息追加列表画面gm4。
[0274]
图16是表示冷藏室9游会主页画面gm2的一例的图。
[0275]
冷藏室9游会主页画面gm2具有食品图像显示区域ha2。
[0276]
食品图像显示区域ha2是显示拍摄食品图像fg的区域。食品图像显示区域ha2显示冷藏室库内图像rg，与该冷藏室库内图像rg重叠地显示拍摄食品图像fg。拍摄食品图像fg各自在冷藏室库内图像rg中重叠地显示于与食品图像数据4116建立对应的分割区域编号4118所表示的分割区域ba。
[0277]
图16的食品图像显示区域ha2显示图9所示的冷藏室库内图像rg。例如，在冷藏室食品管理记录rr中，将“4”的分割区域编号4118与表示图16的拍摄食品图像fg1的食品图像数据4116建立对应。在这种情况下，拍摄食品图像fg1重叠地显示于分配有“4”的分割区域编号4118的分割区域ba。
[0278]
默认的食品图像显示区域ha2在看不到左门搁架图像rg1和右门搁架图像rg3的状态下，显示冷藏室库内图像rg。在食品图像显示区域ha2中，从用户p接收图的左右方向上的滚动操作。食品图像显示区域ha2根据接收到的滚动操作的滚动量和滚动方向，变更冷藏室库内图像rg的显示范围。
[0279]
例如，滚动方向为右方，是显示到左门搁架图像rg1的左端的滚动量。在这种情况下，食品图像显示区域ha2显示完全看不到右门搁架图像rg3的冷藏室库内图像rg。另外，拍摄食品图像fg和备注输入图标mic追随冷藏室库内图像rg的显示范围的变更，换言之随着
重叠的分割区域ba的移动而移动。关于备注输入图标mic在后面叙述。
[0280]
食品图像显示区域ha2在一个分割区域ba显示多个拍摄食品图像fg的情况下，在图的左右方向上并排显示。食品图像显示区域ha2能够在一个分割区域ba同时并排显示最多五张拍摄食品图像fg。食品图像显示区域ha2在一个分割区域ba有六张以上的作为显示对象的拍摄食品图像fg的情况下，从用户p接收滚动操作。一个分割区域ba在接收到滚动操作时，显示第六张以后的拍摄食品图像fg。食品图像显示区域ha2在一个分割区域ba作为显示对象的拍摄食品图像fg有六张以上且接收到向左右方向的滚动操作的情况下，一边维持能够并排显示的最大张数，一边根据滚动量显示第六张以后的拍摄食品图像fg。此时，食品图像显示区域ha2根据滚动量和作为显示对象的拍摄食品图像fg的张数，不显示所显示的第一张至第五张的拍摄食品图像fg，或者从第六张以后的拍摄食品图像fg之后起显示第一张以后的拍摄食品图像fg。另外，备注输入图标mic追随关联的拍摄食品图像fg的移动而移动。即，如果关联的拍摄食品图像fg通过滚动操作而不显示，则备注输入图标mic也不显示。
[0281]
食品图像显示区域ha2所显示的拍摄食品图像fg分别接收备注的输入。备注是用户p想要对冷藏库1的食品留下的信息。
[0282]
图17是表示备注的输入流程的图。
[0283]
用户p在冷藏室9游会主页画面gm2中，对想要输入备注的拍摄食品图像fg进行长按操作等规定的触摸操作。应用执行部301在对一个拍摄食品图像fg接收了规定的触摸操作时，与进行了规定的触摸操作的拍摄食品图像fg关联地显示备注编辑图像mhg。
[0284]
备注编辑图像mhg具有备注输入区域mna、备注保存按钮b1、备注删除按钮b2和食品删除按钮b3。
[0285]
备注输入区域mna是用于输入备注的区域。当对备注输入区域mna进行触摸操作时，应用执行部301使触摸面板32显示软键盘。然后，应用执行部301将与针对软键盘的操作对应的备注输入到备注输入区域mna。
[0286]
备注保存按钮b1是用于保存在备注输入区域mna输入的备注的软件按钮。备注保存按钮b1在备注输入区域mna未输入备注的情况下，无法进行触摸操作。当对备注保存按钮b1进行触摸操作时，应用执行部301在与冷藏室11相关的画面中，以与未输入备注的拍摄食品图像fg的显示方式不同的显示方式显示输入了备注的拍摄食品图像fg。在本实施方式中，应用执行部301将输入了备注的拍摄食品图像fg的框用不同的颜色显示，并且将表示输入了备注的图标即备注输入图标mic与输入了备注的拍摄食品图像fg关联地显示。备注输入图标mic能够进行触摸操作。当对备注输入图标mic进行触摸操作时，在应用ui320中显示所输入的备注。
[0287]
备注输入图标mic对应于本发明的备注输入图像的一例。
[0288]
备注删除按钮b2是用于删除所输入的备注的按钮。当对备注删除按钮b2进行触摸操作时，输入到拍摄食品图像fg的备注被删除。
[0289]
食品删除按钮b3是用于从食品图像显示区域ha2删除拍摄食品图像fg的按钮。
[0290]
返回图16的冷藏室9游会主页画面gm2的说明，在食品图像显示区域ha2中具有列表显示按钮b4。列表显示按钮b4是能够进行触摸操作的软件按钮。
[0291]
当对列表显示按钮b4进行触摸操作时，在应用ui320中，画面转变为冷藏室列表画面gm3。
[0292]
冷藏室列表画面gm3包括收纳列表画面gm31、新追加列表画面gm32和删除对象列表画面gm33。
[0293]
对收纳列表画面gm31进行说明。
[0294]
图18是表示收纳列表画面gm31的图。
[0295]
收纳列表画面gm31具有收纳食品信息显示区域ha3。收纳食品信息显示区域ha3按冷藏室11所收纳的每个食品一览显示第1食品信息j21。第1食品信息j21包括拍摄食品图像fg、收纳日期时间信息4117和分割区域信息j3。分割区域信息j3是用颜色表示分割区域ba的冷藏室库内图像rg。
[0296]
在输入了备注的情况下，第1食品信息j21的拍摄食品图像fg以不同的颜色显示框，与备注输入图标mic关联地显示。另外，在收纳食品信息显示区域ha3中，能够在图的上下方向上进行滚动操作。用户p通过在收纳食品信息显示区域ha3进行滚动操作，能够显示在收纳食品信息显示区域ha3无法完全显示的第1食品信息j21。
[0297]
收纳列表画面gm31具有第1切换按钮b5和第2切换按钮b6。
[0298]
第1切换按钮b5是用于将收纳食品信息显示区域ha3所显示的第1食品信息j21的排列顺序切换为下一个排列顺序的软件按钮。
[0299]
即，当对第1切换按钮b5进行触摸操作时，收纳食品信息显示区域ha3使具有输入了备注的拍摄食品图像fg的第1食品信息j21比具有未输入备注的拍摄食品图像fg的第1食品信息j21靠上位进行显示。另外，靠上位进行显示是指以显示时的滚动量减少的方式进行显示。此外，在具有输入了备注的拍摄食品图像fg的第1食品信息j21有多个的情况下，收纳食品信息显示区域ha3使收纳日期时间信息4117所表示的收纳日期时间早的第1食品信息j21靠上位进行显示。此外，在具有未输入备注的拍摄食品图像fg的第1食品信息j21有多个的情况下，收纳食品信息显示区域ha3使收纳日期时间信息4117所表示的收纳日期时间早的第1食品信息j21靠上位进行显示。
[0300]
另外，图18的图中左侧的收纳列表画面gm31表示对第1切换按钮b5进行了触摸操作的情况下的收纳列表画面gm31。
[0301]
第2切换按钮b6是用于将收纳食品信息显示区域ha3所显示的第1食品信息j21的排列顺序切换为下一个排列顺序的软件按钮。
[0302]
即，当对第2切换按钮b6进行触摸操作时，收纳食品信息显示区域ha3按每个分割区域ba并排显示第1食品信息j21。每个分割区域ba的排列顺序可以是用户p预先决定的顺序。收纳食品信息显示区域ha3在一个分割区域ba中，以与对第1切换按钮b5进行了触摸操作的情况下的排列顺序相同的排列显示第1食品信息j21。
[0303]
另外，图18的图中右侧的收纳列表画面gm31表示对第2切换按钮b6进行了触摸操作的情况下的收纳列表画面gm31。
[0304]
收纳列表画面gm31具有收纳列表显示按钮b7、新追加列表显示按钮b8和删除对象列表显示按钮b9。
[0305]
收纳列表显示按钮b7是用于将应用ui320所显示的画面切换为收纳列表画面gm31的软件按钮。
[0306]
新追加列表显示按钮b8是用于将应用ui320所显示的画面切换为新追加列表画面gm32的软件按钮。
[0307]
删除对象列表显示按钮b9是用于将应用ui320所显示的画面切换为删除对象列表画面gm33的软件按钮。
[0308]
图19是表示新追加列表画面gm32的一例的图。
[0309]
新追加列表画面gm32具有新追加食品信息显示区域ha4。新追加食品信息显示区域ha4一览显示关于新收纳于冷藏室11的食品的第1食品信息j21。另外，新收纳于冷藏室11的食品是指从当前日期时间起在规定期间(例如，三天)内收纳的食品。新追加食品信息显示区域ha4将相当于新收纳的食品的食品的第1食品信息j21按照收纳日期时间信息4117所表示的收纳日期时间为新的顺序靠上位进行显示。
[0310]
新追加食品信息显示区域ha4所显示的第1食品信息j21各自对拍摄食品图像fg接收规定的触摸操作。在新追加列表画面gm32中，与进行了规定的触摸操作的拍摄食品图像fg关联地显示第1编辑图像hng1。
[0311]
第1编辑图像hng1具有食品删除按钮b10、区域修正按钮b11和返回按钮b12。
[0312]
食品删除按钮b10是用于当被触摸操作时将与第1编辑图像hng1建立关联的拍摄食品图像fg所表示的食品作为从冷藏室9游会主页画面gm2的删除对象的软件按钮。
[0313]
区域修正按钮b11是用于当被触摸操作时修正分割区域信息j3所表示的分割区域ba的软件按钮。
[0314]
返回按钮b12是用于停止第1编辑图像hng1的显示的软件按钮。
[0315]
新追加食品信息显示区域ha4在第1食品信息j21的一览的最后具有食品信息追加按钮b13。食品信息追加按钮b13是用于手动追加新的第1食品信息j21的软件按钮。
[0316]
参照图20，对第1食品信息j21的追加流程进行说明。
[0317]
图20是用于说明第1食品信息j21的追加流程的图。
[0318]
当对食品信息追加按钮b13进行触摸操作时，在应用ui320中显示食品信息追加列表画面gm4。食品信息追加列表画面gm4具有多个作为软件按钮的追加按钮b14。此外，食品信息追加列表画面gm4具有空白图像bg和输入食品名的食品名输入区域sna。当对空白图像bg进行触摸操作时，在空白图像bg内，成为表示输入到食品名输入区域sna的食品名的图像。
[0319]
当在食品信息追加列表画面gm4中对追加按钮b14进行触摸操作时，在应用ui320中显示冷藏室库内图像rg。这里，所显示的冷藏室库内图像rg是对各个分割区域ba附加了分割区域编号4118的状态的图像，能够通过触摸操作来选择各个分割区域ba。当在该冷藏室库内图像rg中选择分割区域ba时，在应用ui320中追加下一个第1食品信息j21。
[0320]
即，追加的第1食品信息j21是与被触摸操作的追加按钮b14对应的食品的图像、表示追加第1食品信息j21的日期时间作为收纳日期时间的收纳日期时间信息4117、和表示所选择的分割区域ba的分割区域信息j3。另外，追加的第1食品信息j21所表示的食品的图像可以是图标。在本实施方式中，以与冷藏室9游会主页画面gm2的冷藏室库内图像rg重叠的图像是拍摄食品图像fg为前提，但在追加了第1食品信息j21的情况下，在冷藏室库内图像rg中与拍摄食品图像fg一起显示图标。
[0321]
另外，在第1食品信息j21的追加流程中，可以有用户p输入收纳日期时间的流程。在这种情况下，追加的第1食品信息j21包括表示用户p所输入的收纳日期时间的收纳日期时间信息4117。
[0322]
返回图19的说明，新追加列表画面gm32具有收纳列表显示按钮b7、新追加列表显示按钮b8和删除对象列表显示按钮b9。
[0323]
图21是表示删除对象列表画面gm33的一例的图。
[0324]
删除对象列表画面gm33具有删除对象食品信息显示区域ha5。删除对象食品信息显示区域ha5按每个作为删除对象的食品一览显示第2食品信息j22。另外，作为删除对象的食品表示从冷藏室9游会主页画面gm2删除的对象的食品、和判定出从冷藏室11出库的食品。第2食品信息j22包括拍摄食品图像fg、删除日期时间信息4132和分割区域信息j3。删除对象列表画面gm33使第2食品信息j22按照删除日期时间为新的顺序靠上位进行显示。
[0325]
删除对象食品信息显示区域ha5所显示的第2食品信息j22各自对拍摄食品图像fg接收规定的触摸操作。在删除对象列表画面gm33中，与进行了规定的触摸操作的拍摄食品图像fg关联地显示第2编辑图像hng2。
[0326]
第2编辑图像hng2具有删除取消按钮b15和返回按钮b16。
[0327]
删除取消按钮b15是用于将与第2编辑图像hng2建立关联的拍摄食品图像fg作为显示于冷藏室9游会主页画面gm2的图像的软件按钮。
[0328]
返回按钮b16是用于停止第2编辑图像hng2的显示的软件按钮。
[0329]
[1-2-4-2.食品管理系统的动作]
[0330]
接下来，对显示与冷藏室11相关的画面的情况下的食品管理系统1000的动作进行说明。
[0331]
图22是表示食品管理系统1000的动作的流程图。在图22中，流程图fd表示终端装置3的动作，流程图fe表示食品管理服务器4的动作。
[0332]
终端装置3的应用执行部301判别是否从食品管理服务器4请求冷藏室食品管理记录rr(步骤sd1)。
[0333]
例如，应用执行部301在应用ui320中接收到指示冷藏室9游会主页画面gm2的显示的触摸操作的情况下，在步骤sd1判别为是。
[0334]
此外，例如，应用执行部301在冷藏室9游会主页画面gm2中进行了指示显示的更新的触摸操作的情况下，在步骤sd1判别为是。
[0335]
应用执行部301在判别出请求冷藏室食品管理记录rr的情况下(步骤sd1：是)，将请求冷藏室食品管理记录rr的第1记录请求信息发送到食品管理服务器4(步骤sd2)。在步骤sd2发送的第1记录请求信息中包括终端存储部310所存储的账户id4111。
[0336]
如流程图ff所示，食品管理服务器4的服务器通信控制部401通过服务器通信部41接收第1记录请求信息(步骤se1)。
[0337]
接着，信息处理部402从冷藏室食品管理数据库411确定包括服务器通信控制部401接收到的第1记录请求信息中所包括的账户id4111的冷藏库食品管理记录rr(步骤se2)。
[0338]
然后，服务器通信控制部401将信息处理部402所确定的冷藏室食品管理记录rr发送到终端装置3(步骤se3)。另外，信息处理部402将所发送的冷藏室食品管理记录rr的出入库有无信息4115更新为表示“无”的信息。
[0339]
参照流程图fd，终端装置3的应用执行部301在从食品管理服务器4接收到冷藏室食品管理记录rr时(步骤sd3)，基于该冷藏室食品管理记录rr，生成与冷藏室11相关的画面
(步骤sd4)。
[0340]
对步骤sd4进行详述。
[0341]
应用执行部301生成使冷藏室食品管理记录rr所包括的冷藏室库内图像数据4114所表示的冷藏室库内图像rg显示于食品图像显示区域ha2的冷藏室9游会主页画面gm2。
[0342]
此外，应用执行部301按每个子记录，生成在分割区域编号4118所表示的分割区域ba重叠了食品图像数据4116所表示的拍摄食品图像fg的冷藏室9游会主页画面gm2。
[0343]
此外，应用执行部301在备注输入有无信息4119表示有备注的情况下，按每个子记录，生成将备注输入图标mic与拍摄食品图像fg相关联地显示的冷藏室9游会主页画面gm2。
[0344]
进一步地，对步骤sd4进行详述。
[0345]
应用执行部301按每个食品图像数据4116生成第1食品信息j21。该第1食品信息j21包括食品图像数据4116所表示的拍摄食品图像fg、与该食品图像数据4116建立对应的收纳日期时间信息4117、和以颜色表示分割区域编号4118所表示的分割区域ba的分割区域信息j3。然后，应用执行部301生成一览显示与不表示删除对象的删除信息4131建立对应的子记录相关的第1食品信息j21的收纳列表画面gm31。此外，应用执行部301生成一览显示收纳列表画面gm31所显示的第1食品信息j21中的、表示收纳日期时间信息4117所表示的收纳日期时间从当前时刻起规定期间内的日期时间的第1食品信息j21的新追加列表画面gm32。
[0346]
进一步地，对步骤sd4进行详述。
[0347]
应用执行部301按每个食品图像数据4116生成第2食品信息j22。第2食品信息j22包括食品图像数据4116所表示的拍摄食品图像fg、与该食品图像数据4116建立对应的删除日期时间信息4132、和以颜色表示分割区域编号4118所表示的分割区域ba的分割区域信息j3。然后，应用执行部301生成一览显示所生成的第2食品信息j22的删除对象列表画面gm33。
[0348]
返回流程图fd的说明，应用执行部301根据触摸操作，显示与冷藏室11相关的画面(步骤sd5)。另外，在步骤sd3接收到的冷藏室食品管理记录rr的出入库有无信息4115表示“有”的情况下，在步骤sd5初次显示冷藏室9游会主页画面gm2时，应用执行部301在冷藏室9游会主页画面gm2弹出存在新的出入库的意思。
[0349]
接下来，对在与冷藏室11相关的画面上进行操作的情况下的食品管理系统1000的动作进行说明。
[0350]
应用执行部301在对备注保存按钮b1进行了触摸操作的情况下，将更新与作为操作对象的拍摄食品图像fg相关的子记录的信息发送到食品管理服务器4。该信息包括表示有备注的备注输入有无信息4119、和表示所输入的备注的备注信息4130。食品管理服务器4基于接收到的信息恰当地更新子记录。
[0351]
应用执行部301在对备注删除按钮b2进行了触摸操作的情况下，将更新与作为操作对象的拍摄食品图像fg相关的子记录的信息发送到食品管理服务器4。该信息包括表示没有备注的输入的备注输入有无信息4119。食品管理服务器4基于接收到的信息恰当地更新子记录。
[0352]
应用执行部301在对食品删除按钮b3、b10进行了触摸操作的情况下，将更新与作为操作对象的拍摄食品图像fg相关的子记录的信息发送到食品管理服务器4。该信息包括表示删除对象的删除信息4131。食品管理服务器4基于接收到的信息恰当地更新子记录。
[0353]
应用执行部301在对区域修正按钮b11进行了触摸操作而分割区域ba被修正的情况下，将更新与作为操作对象的拍摄食品图像fg相关的子记录的信息发送到食品管理服务器4。该信息包括修正后的分割区域ba的分割区域编号4118。食品管理服务器4基于接收到的信息恰当地更新子记录。
[0354]
应用执行部301在用图20所示的追加流程追加了第1食品信息j21的情况下，将追加与所追加的第1食品信息j21相关的子记录的信息发送到食品管理服务器4。食品管理服务器4基于接收到的信息恰当地更新子记录。
[0355]
应用执行部301在对删除取消按钮b15进行了触摸操作的情况下，将更新关于作为操作对象的拍摄食品图像fg的子记录的信息发送到食品管理服务器4。该信息包括表示空白的删除信息4131。食品管理服务器4基于接收到的信息恰当地更新子记录。
[0356]
[1-2-4-3.抽屉式收纳室的画面]
[0357]
接下来，对与抽屉式收纳室相关的画面进行说明。在使用图23～图25的说明中，作为抽屉式收纳室例示蔬菜室15。在该说明中，图10所示的数据库是保存与蔬菜室15的食品相关的各种信息的数据库。
[0358]
与蔬菜室15相关的画面包括蔬菜室9游会主页画面gm5和食品图像列表画面gm6。
[0359]
图23是表示蔬菜室9游会主页画面gm5的一例的图。
[0360]
蔬菜室9游会主页画面gm5具有盒体图像显示区域ha6。
[0361]
盒体图像显示区域ha6是显示盒体图像cg的区域。盒体图像显示区域ha6显示与下层盒体图像gcg重叠的上层盒体图像jcg。默认的盒体图像显示区域ha6在下层盒体图像gcg的整个图像区域重叠有上层盒体图像jcg，仅显示有上层盒体图像jcg。
[0362]
盒体图像显示区域ha6接收图的上下方向上的滚动操作。盒体图像显示区域ha6根据所接收的滚动操作的滚动量和滚动方向，变更上层盒体图像jcg的显示范围。例如，在所接收的滚动操作的滚动方向为上方的情况下，盒体图像显示区域ha6显示一部分看不到的上层盒体图像jcg。在盒体图像显示区域ha6中，当上层盒体图像jcg向上方移动时，显示重叠有上层盒体图像jcg的下层盒体图像gcg。
[0363]
盒体图像显示区域ha6所显示的各个盒体图像cg接收备注的输入。另外，备注的输入的流程与冷藏室11的情况相比，不同的只是用户p操作的图像是拍摄食品图像fg还是盒体图像cg，流程相同。另外，如图23所示，与上层盒体图像jcg建立关联的备注输入图标mic追随上层盒体图像jcg的移动而移动。
[0364]
蔬菜室9游会主页画面gm5具有列表显示按钮b17。列表显示按钮b17是能够进行触摸操作的软件按钮。
[0365]
当对列表显示按钮b17进行触摸操作时，在应用ui320中显示食品图像列表画面gm6。
[0366]
另外，蔬菜室9游会主页画面gm5可以具有将盒体图像显示区域ha6所显示的盒体图像cg切换为上层盒体图像jcg或下层盒体图像gcg的切换按钮。在该构成的情况下，应用执行部301根据对该切换按钮的操作，将所显示的盒体图像cg切换为上层盒体图像jcg或下层盒体图像gcg。
[0367]
图24是表示食品图像列表画面gm6的一例的图。
[0368]
食品图像列表画面gm6具有更新日期时间信息4121。图24的食品图像列表画面gm6
具有表示“12/1 10:05”的更新日期时间的更新日期时间信息4121。
[0369]
食品图像列表画面gm6按每个盒体一览显示拍摄食品图像fg。与上层盒体jca的项目关联地显示的拍摄食品图像fg是从上层盒体图像jcg中截取的图像。与下层盒体gca的项目关联地显示的拍摄食品图像fg是从下层盒体图像gcg中截取的图像。
[0370]
[1-2-4-5.食品管理系统的动作]
[0371]
接下来，对显示与蔬菜室15相关的画面的情况下的食品管理系统1000的动作进行说明。
[0372]
图25是表示食品管理系统1000的动作的流程图。在图25中，流程图ff表示终端装置3的动作，流程图fj表示食品管理服务器4的动作。
[0373]
终端装置3的应用执行部301判别是否从食品管理服务器4请求抽屉食品管理记录hr(步骤sf1)。
[0374]
例如，应用执行部301在应用ui320中接收到指示蔬菜室9游会主页画面gm5的显示的触摸操作的情况下，在步骤sf1判别为是。
[0375]
此外，例如，应用执行部301在蔬菜室9游会主页画面gm5中进行了指示显示的更新的触摸操作的情况下，在步骤sf1判别为是。
[0376]
应用执行部301在判别出请求抽屉食品管理记录hr的情况下(步骤sf1：是)，将请求抽屉管理记录hr的第2记录请求信息发送到食品管理服务器4(步骤sf2)。在步骤sf2发送的第2记录请求信息中包括终端存储部310所存储的账户id4111。
[0377]
参照流程图fj，食品管理服务器4的服务器通信控制部401接收第2记录请求信息(步骤sj1)。
[0378]
接着，信息处理部402从抽屉食品管理数据库412确定包括服务器通信控制部401接收到的第2记录请求信息中所包括的账户id4111的抽屉管理记录hr(步骤sj2)。
[0379]
然后，服务器通信控制部401将信息处理部402所确定的抽屉管理记录hr发送到终端装置3(步骤sj3)。
[0380]
参照流程图fj，终端装置3的应用执行部301在从食品管理服务器4接收到抽屉食品管理记录hr时(步骤sf3)，生成与蔬菜室15相关的画面(步骤sf4)。
[0381]
对步骤sf4进行详述。
[0382]
应用执行部301生成蔬菜室9游会主页画面gm5，该蔬菜室9游会主页画面gm5具有在抽屉食品管理记录hr中所包括的下层盒体图像数据4125所表示的下层盒体图像gcg重叠了相同记录中所包括的上层盒体图像数据4123所表示的上层盒体图像jcg的盒体图像显示区域ha6。
[0383]
此外，应用执行部301在备注输入有无信息4119表示有备注的情况下，生成将备注输入图标mic与对应的盒体图像cg相关联地显示的蔬菜室9游会主页画面gm5。
[0384]
进一步地，对步骤sf4进行详述。
[0385]
应用执行部301按每个盒体ca，生成将食品图像数据4116所表示的拍摄食品图像fg排列而成的食品图像列表画面gm6。
[0386]
返回流程图ff的说明，应用执行部301根据触摸操作，显示与蔬菜室15相关的画面(步骤sf5)。
[0387]
接下来，对在与蔬菜室15相关的画面上进行操作的情况下的食品管理系统1000的动作进行说明。
[0388]
应用执行部301在对备注保存按钮b1进行了触摸操作的情况下，将更新备注输入有无信息4119和备注信息4130的信息发送到食品管理服务器4。该信息包括表示操作对象是上层盒体图像jcg还是下层盒体图像gcg的信息、表示有备注的备注输入有无信息4119、和表示所输入的备注的备注信息4130。食品管理服务器4基于接收到的信息，恰当地更新抽屉食品管理记录hr。
[0389]
应用执行部301在对备注删除按钮b2进行了触摸操作的情况下，将更新备注输入有无信息4119和备注信息4130的信息发送到食品管理服务器4。该信息包括表示备注的删除对象是上层盒体图像jcg还是下层盒体图像gcg的信息、表示没有备注的备注输入有无信息4119。食品管理服务器4基于接收到的信息，恰当地更新抽屉食品管理记录hr。
[0390]
另外，作为使用图23～图25说明的抽屉式收纳室，例示了蔬菜室15。但是，图23～图25所示的画面显示和食品管理系统1000的动作关于冷冻室14也可以同样地进行。在这种情况下，图10所示的数据库表示保存与冷冻室14的食品相关的各种信息的数据库。
[0391]
[1-3.效果]
[0392]
以上，如说明的那样，摄像机单元2包括：主体201，设置在冷藏库1的上表面10b；和拍摄部件202，包括从主体201向冷藏库1的前方延伸且从冷藏库1的前上方拍摄下方的摄像机213。主体201包括与冷藏库1的前端缘10a抵接且限制冷藏库1的前后方向上的拍摄部件202的位置的位置限制部件205。
[0393]
由此，通过位置限制部件205限制冷藏库1的前后方向上的拍摄部件202的位置，所以摄像机213被规定在能够从冷藏库1的前上方拍摄下方的位置。因此，能够将出入冷藏库1的食品高精度地包括在摄像机213的拍摄结果中，能够高精度地拍摄出入冷藏库1的食品。
[0394]
位置限制部件205是在设置状态下从主体201的底面206向下方延伸的位置限制片。
[0395]
由此，能够利用在主箱体10与门11c之间形成的间隙来限制摄像机单元2的位置。因此，能够对现有的冷藏库1设置摄像机单元2，所以在现有的冷藏库1中，也能够高精度地拍摄出入冷藏库1的食品。
[0396]
位置限制部件205形成为比到设置在冷藏库1与冷藏库1的门11c之间的衬垫的长度短。
[0397]
由此，能够利用在主箱体10与门11c之间形成的间隙来限制摄像机单元2的位置，而不会阻碍冷藏室11的冷却效果。因此，能够高精度地拍摄出入冷藏库1的食品，而不会阻碍冷藏室11的冷却效果。
[0398]
位置限制部件205在主体201的宽度方向延伸。
[0399]
由此，能够确保与主箱体10抵接的面积较大，所以能够使摄像机单元2的设置姿势稳定。因此，能够更高精度地拍摄出入冷藏库1的食品。
[0400]
位置限制部件205具有用于调整冷藏库1的宽度方向上的摄像机单元2的位置的标记207。
[0401]
由此，通过将标记207设为记号，用户p能够在冷藏库1的左右方向上简单地设置摄像机单元2。因此，用户p能够以能够高精度地拍摄出入冷藏库1的食品的方式简单地设置摄像机单元2。
[0402]
位置限制部件205在主体201的宽度方向的中央具有标记207。
[0403]
由此，通过将标记207设为记号，用户p能够简单地将摄像机单元2设置在冷藏库1的左右方向的中央。因此，用户p能够以能够更高精度地拍摄出入库冷藏库1的食品的方式简单地设置摄像机单元2。
[0404]
此外，如说明的那样，摄像机单元2包括：摄像机213，其从冷藏库1的前上方通过动态图像拍摄冷藏库1；摄像控制部223，其在检测在冷藏库1的周边是否存在人的人感传感器212检测到在冷藏库1的周边存在人的情况下，使摄像机213开始拍摄；和录像控制部224，其在摄像控制部223使摄像机213开始拍摄后的规定的时机，开始摄像机213的拍摄结果的录像。
[0405]
此外，摄像机单元2的控制方法在检测在冷藏库1的周边是否存在人的人感传感器212检测到在冷藏库1的周边存在人的情况下，使摄像机213开始拍摄，在使摄像机213开始拍摄后的规定的时机，开始摄像机213的拍摄结果的录像。
[0406]
根据摄像机单元2和摄像机单元2的控制方法，通过在人感传感器212检测到在冷藏库1的周边存在人的情况下使摄像机213开始拍摄，能够提高在冷藏库1的门11c或者抽屉16a打开前将出入冷藏库1的食品包括于摄像机213的拍摄结果的可能性。因此，能够高精度地拍摄出入冷藏库1的食品。
[0407]
录像控制部224在摄像控制部223使摄像机213开始拍摄后，在冷藏库1的门11c或抽屉16a打开的情况下，开始摄像机213的拍摄结果的录像。
[0408]
由此，由于在食品的出入库开始的可能性高的时机开始录像，所以能够抑制在食品没有出入冷藏库1的状况下不必要地进行录像。此外，录像控制部224能够抑制录像文件231的数据容量增大，所以能够防止食品检测部225的处理对象增大，食品检测部225的处理时间和处理负荷增大。
[0409]
录像控制部224在开始录像后，在打开的冷藏库1的门11c或抽屉16a关闭的情况下，停止录像。
[0410]
由此，由于在食品的出入库结束的可能性高的时机结束录像，所以能够抑制在食品没有出入冷藏库1的状况下不必要地进行录像。此外，录像控制部224能够抑制录像文件231的数据容量增大，所以能够防止食品检测部225的处理对象增大，食品检测部225的处理时间和处理负荷增大。
[0411]
录像控制部224在停止录像时，生成冷藏库1的门11c或抽屉16a从打开起到关闭为止的拍摄结果作为一个录像文件231。
[0412]
由此，生成冷藏库1的门11c或抽屉16a从打开起到关闭为止的拍摄结果作为一个录像文件231，所以能够抑制一个录像文件231的数据容量增大，并且迅速地生成一个录像文件231。此外，由于能够抑制一个录像文件231的数据容量增大，并且迅速地生成一个录像文件231，所以食品检测部225能够在食品出入冷藏库1后，迅速地开始与录像文件231相关的处理。
[0413]
摄像控制部223在录像控制部224停止录像后，在人感传感器212检测到在冷藏库1的周边不存在人的情况下，使摄像机213结束拍摄。
[0414]
由此，由于在人感传感器212检测到在冷藏库1的周边不存在人的情况下使摄像机213结束拍摄，所以能够防止在食品没有出入冷藏库1的状况下摄像机213进行拍摄。因此，能够防止消耗电力的增大，并且高精度地拍摄出入冷藏库1的食品。
[0415]
摄像机单元2包括基于录像控制部224的录像结果检测出入冷藏库1的食品的食品检测部225。
[0416]
由此，由于能够基于高精度地拍摄出入冷藏库1的食品而得到的拍摄结果来检测食品，所以能够高精度地检测出入冷藏库1的食品。
[0417]
此外，如说明的那样，食品管理应用311将包括触摸面板32的终端装置3的终端处理器300用作应用执行部301，应用执行部301通过触摸面板32显示冷藏室库内图像rg，在所显示的冷藏室库内图像rg中，在与收纳于冷藏室11的食品的收纳区域对应的分割区域ba显示拍摄食品图像fg。
[0418]
此外，终端装置3包括：触摸面板32；和应用执行部301，其通过触摸面板32显示冷藏室库内图像rg，在所显示的冷藏室库内图像rg中，在与收纳于冷藏室11的食品的收纳区域对应的分割区域ba显示拍摄食品图像fg。
[0419]
此外，终端装置3的控制方法显示冷藏室库内图像rg，在所显示的冷藏室库内图像rg中，在与收纳于冷藏室11的食品的收纳区域对应的分割区域ba显示拍摄食品图像fg。
[0420]
根据该食品管理应用311、终端装置3和终端装置3的控制方法，在表示冷藏室的库内的图像内，在与收纳于冷藏库的食品的收纳区域对应的分割区域ba显示该拍摄食品图像fg。因此，用户p能够直观地掌握收纳于冷藏室11的食品是什么样的食品。
[0421]
拍摄食品图像fg是冷藏室用摄像机203的拍摄图像。
[0422]
由此，由于向用户p实际地提供收纳于冷藏库1的食品的拍摄图像，所以用户p能够更直观地掌握收纳于冷藏室11的食品是什么样的食品。
[0423]
冷藏室库内图像rg是基于终端装置3的用户p所使用的冷藏库1的机型的图像。
[0424]
由此，由于向用户p提供与实际使用的冷藏库1的冷藏室11对应的冷藏室库内图像rg，所以用户p能够更直观地掌握收纳于冷藏室11的食品是什么样的食品。
[0425]
冷藏室库内图像rg被分割为多个分割区域ba。冷藏室库内图像rg所具有的分割区域ba的数量是基于终端装置3的用户p所使用的冷藏库1的机型的数量。
[0426]
由此，用户p能够掌握在实际使用的冷藏库1的冷藏室11的收纳区域收纳有什么样的食品。因此，用户p能够更直观地掌握收纳于冷藏室11的食品是什么样的食品。
[0427]
应用执行部301在一个分割区域ba显示多个拍摄食品图像fg的情况下，并列显示多个拍摄食品图像fg。
[0428]
由此，由于能够按每个分割区域ba容易看地显示多个拍摄食品图像fg，所以用户p能够直观且容易地掌握收纳于冷藏室11的食品是什么样的食品。
[0429]
对于一个分割区域ba设定有能够同时显示的拍摄食品图像fg的上限数。
[0430]
由此，能够防止在一个分割区域ba显示的拍摄食品图像fg多的情况下可视性降低。因此，用户p能够直观且容易地掌握收纳于冷藏室11的食品是什么样的食品。
[0431]
应用执行部301在一个分割区域ba中作为显示对象的拍摄食品图像fg的数量超过上限数的情况下，在上限数的范围内能够切换地显示拍摄食品图像fg。
[0432]
由此，能够防止在一个分割区域ba显示的拍摄食品图像fg多的情况下可视性降低，并且用户p能够视觉确认无法完全显示的拍摄食品图像fg。
[0433]
应用执行部301从终端装置3的用户p按每个拍摄食品图像fg接收备注的输入，将表示接收到备注的备注输入图标mic与拍摄食品图像fg相关联地显示。
[0434]
由此，能够掌握用户p对哪个食品输入了备注。因此，用户p能够直观地掌握收纳于冷藏室11的食品是什么样的食品，并且还能够掌握对哪个食品输入了备注。
[0435]
食品管理应用311是能够安装于终端装置3的应用程序。
[0436]
由此，通过食品管理应用311的安装，能够使不具有显示冷藏室库内图像rg和拍摄食品图像fg的功能的终端装置3成为能够显示这些图像的终端装置3。
[0437]
此外，如说明的那样，食品管理应用311使包括触摸面板32的终端装置3的终端处理器300用作显示对具有上层盒体jca和下层盒体gca的冷藏库1的抽屉16a进行拍摄的抽屉用摄像机204的拍摄图像的应用执行部301。应用执行部301能够显示上层盒体图像jcg和下层盒体图像gcg，针对上层盒体图像jcg和下层盒体图像gcg各自，从终端装置3的用户p接收备注的输入。应用执行部301在针对上层盒体图像jcg从用户p接收到备注的输入的情况下，将表示接收到备注的输入的备注输入图标mic与上层盒体图像jcg相关联地显示，在针对下层盒体图像gcg接收到来自用户p的备注的输入的情况下，将备注输入图标mic与下层盒体图像gcg相关联地显示。
[0438]
此外，终端装置3包括触摸面板32和显示抽屉用摄像机204的拍摄图像的应用执行部301。应用执行部301能够显示上层盒体图像jcg和下层盒体图像gcg，针对上层盒体图像jcg和下层盒体图像gcg各自，从终端装置3的用户p接收备注的输入。应用执行部301在针对上层盒体图像jcg从用户p接收到备注的输入的情况下，将表示接收到备注的输入的备注输入图标mic与上层盒体图像jcg相关联地显示，在针对下层盒体图像gcg接收到来自用户p的备注的输入的情况下，将备注输入图标mic与下层盒体图像gcg相关联地显示。
[0439]
此外，终端装置3的控制方法能够显示上层盒体图像jcg和下层盒体图像gcg，针对上层盒体图像jcg和下层盒体图像gcg各自，从终端装置3的用户p接收备注的输入，在针对上层盒体图像jcg从用户p接收到备注的输入的情况下，将表示接收到备注的输入的备注输入图标mic与上层盒体图像jcg相关联地显示，在针对下层盒体图像gcg接收到来自用户p的备注的输入的情况下，将备注输入图标mic与下层盒体图像gcg相关联地显示。
[0440]
由此，食品管理应用311、终端装置3和终端装置3的控制方法能够显示抽屉16a所具有的盒体ca的拍摄图像，并且用户p能够向该显示的拍摄图像输入备注。因此，用户p能够直观地掌握收纳于冷藏库1的抽屉16a的食品，并且能够提高用户p的便利性。
[0441]
应用执行部301在与下层盒体图像gcg重叠地显示上层盒体图像jcg，从用户p接收到使上层盒体图像jcg移动的操作的情况下，使所述第1盒体图像移动来显示下层盒体图像gcg。
[0442]
由此，能够以使实际的盒体ca移动的方式显示下层盒体图像gcg。因此，用户p能够更直观地掌握收纳于冷藏库1的抽屉16a的食品，并且能够提高用户p的便利性。
[0443]
应用执行部301在与上层盒体图像jcg相关联地显示有备注输入图标mic的情况下，使备注输入图标mic与上层盒体图像jcg一起移动。
[0444]
由此，即使在用户p使上层盒体图像jcg移动的情况下，也能够维持上层盒体图像jcg与备注输入图标mic的关联性。因此，即使在用户p使上层盒体图像jcg移动的情况下，用户p也能够恰当地掌握备注输入图标mic与哪个图像相关，能够提高用户p的便利性。
[0445]
应用执行部301显示将所显示的拍摄图像切换为上层盒体图像jcg或下层盒体图像gcg的切换按钮，根据对切换按钮的操作，将所显示的拍摄图像切换为上层盒体图像jcg
或下层盒体图像gcg。
[0446]
由此，由于能够通过切换按钮的操作简单地切换所显示的盒体图像cg，所以能够提高用户p的便利性。
[0447]
上层盒体图像jcg是上层盒体jca相对于冷藏库1被拉出规定的阈值以上的情况下的拍摄图像。下层盒体图像gcg是下层盒体gca相对于冷藏库1被拉出规定的阈值以上的情况下的拍摄图像。
[0448]
由此，由于能够将尽可能多地映现出食品的拍摄图像作为盒体图像cg，所以用户p能够直观地掌握收纳于冷藏库1的抽屉16a的食品，并且能够提高用户p的便利性。
[0449]
食品管理应用311是能够安装于终端装置3的应用程序。
[0450]
由此，通过食品管理应用311的安装，能够使不具有显示盒体图像cg的功能和对所显示的盒体图像cg接收备注的输入的功能的终端装置3成为具有这些功能的终端装置3。
[0451]
(实施方式2)
[0452]
接下来，对实施方式2进行说明。在实施方式2的说明中，对于与实施方式1的食品管理系统1000的各部分的构成要素相同的构成要素，赋予相同的符号，适当地省略详细说明。
[0453]
[2-1.结构]
[0454]
图26是表示实施方式2中的终端装置3和食品管理服务器4的结构的框图。
[0455]
比较图26和图7可知，实施方式2中的服务器处理器400通过执行存储于服务器存储部410的控制程序，除了服务器通信控制部401和信息处理部402之外，还用作食品识别部403。
[0456]
食品识别部403基于第1更新信息和第2更新信息各自所包括的食品图像数据4116所表示的拍摄食品图像fg，进行食品识别处理。
[0457]
食品识别处理是从拍摄食品图像fg识别食品，从图标数据库取得表示与识别出的食品相同种类的食品的图标的处理。该图标数据库按每个食品保存表示食品的图标。以下，将该图标称为食品图标。图标数据库可以存储于食品管理服务器4，也可以存储于食品管理服务器4能够通信的外部的设备。
[0458]
在本实施方式中，食品图标对应于本发明的食品图像的一例。
[0459]
例如，食品识别部403如以下那样进行食品的识别。
[0460]
食品识别部403根据食品图像数据库中保存的图像，确定与更新信息中所包括的食品图像数据4116所表示的拍摄食品图像fg一致度最高的图像。食品图像数据库是按每个食品保存有图像数据的数据库。一致度例如基于形状、颜色等特征量来判断。然后，食品识别部403将与所确定的图像建立对应的食品识别为更新信息中所包括的食品图像数据4116所表示的食品。
[0461]
另外，食品识别部403可以通过ai(人工智能)进行食品的识别。例如，进行从训练用的拍摄食品图像fg学习食品的颜色、形状等特征量的机器学习处理，预先构建已学习模型。该已学习模型存储于服务器存储部410。食品识别部403将更新信息中所包括的食品图像数据4116作为输入数据，参照已学习模型来识别拍摄食品图像fg所表示的食品。这里，该已学习模型存储于与全球网络gn连接的食品管理服务器4以外的设备，可以是在食品管理服务器4中识别食品的结构。在该构成的情况下，食品识别部403将更新信息中所包括的食
品图像数据4116发送到存储已学习模型的设备，从该设备取得食品的确定结果。然后，食品识别部403将所取得的确定结果所表示的食品识别为更新信息中所包括的食品图像数据4116所表示的拍摄食品图像fg所表示的食品。
[0462]
食品识别部403在进行食品的识别时，从图标数据库取得识别出的食品的食品图标。此外，在实施方式2中，代替冷藏室食品管理记录rr所具有的食品图像数据4116或与之一起，恰当地保存食品识别部403所取得的食品图标的图标数据。此外，在实施方式2中，代替抽屉食品管理记录hr所具有的食品图像数据4116或与之一起，恰当地保存食品识别部403所取得的食品图标的图标数据。
[0463]
由此，实施方式2能够在应用ui320中显示食品图标来代替拍摄食品图像fg。
[0464]
[2-2.效果等]
[0465]
根据实施方式2，起到与实施方式1相同的效果。
[0466]
(其他实施方式)
[0467]
如以上那样，作为在本技术中公开的例示，说明了上述实施方式。但是，本发明的技术不限定于此，也能够适用于进行了变更、置换、附加、省略等的实施方式。另外，也能够组合上述实施方式中说明的各构成要素，设为新的实施方式。
[0468]
因此，以下例示其他实施方式。
[0469]
在上述实施方式中，作为发明的贮藏库，例示了冷藏库1。但是，本发明的贮藏库不限于冷藏库1，例如可以是设置于办公室等的仓库。在上述实施方式中，作为本发明的物品例示了食品，但本发明的物品不限于食品，可以根据贮藏库而为书籍等其他物品。
[0470]
在上述实施方式中，例示了位置限制部件205在主体201的左右方向的中央具有标记207的结构。但是，标记207的位置不限于主体201的左右方向的中央。标记207的位置可以是主体201的左右方向的中央以外。在这种情况下，在中央位置记录纸张cy中，恰当地记录有各标记，使得以标记207为基准进行了位置调整的摄像机单元2能够恰当地进行各种检测。
[0471]
在上述实施方式中，作为本发明的库内图像，例示了从正面看左门11a和右门11b为开状态的情况下的冷藏室11的图像即冷藏室库内图像rg。但是，本发明的库内图像不限于该冷藏室库内图像rg，可以是从正面看单侧打开的门为开状态的情况下的冷藏室的图像，也可以是在一个库内包括冷藏室和冷冻室的情况下的冷藏库1中从正面看门为开状态的情况下的该一个库内的图像。
[0472]
抽屉用摄像机204的拍摄范围可以根据应用ui320所显示的上述画面的抽屉式收纳室的种类，设为将一个或多个任意的抽屉式收纳室组合而成的范围。
[0473]
食品管理系统1000除了收纳日期时间以外，还可以管理剩余量、期限日等其他要素。
[0474]
摄像机单元2所包括的主体201和拍摄部件202可以分体构成。
[0475]
摄像机单元2可以是在未被拉出规定的阈值以上的情况下，也将盒体图像cg发送到食品管理服务器4的结构。在该构成的情况下，食品管理服务器4存储未被拉出规定的阈值以上的情况下的盒体图像cg，提供给终端装置3。然后，应用执行部301以能够与上层盒体图像jcg和下层盒体图像gcg各自替换的方式，在应用ui320中显示该盒体图像cg。
[0476]
在上述实施方式中，例示了用户p将摄像机单元2设置在冷藏库1的情况，但摄像机
单元2可以在设置于冷藏库1的状态下出货。
[0477]
可以是服务器处理器400用作食品检测部225，摄像机单元处理器220不用作食品检测部225的结构。在该构成的情况下，摄像机单元2将录像文件231发送到食品管理服务器4。
[0478]
在上述实施方式中，作为本发明的传感器，例示了人感传感器212。但是，本发明的传感器不限于人感传感器212，可以是照度传感器、设置于冷藏库1的把持部的静电传感器等。在该静电传感器的情况下，冷藏库1与摄像机单元2能够通信，冷藏库1将静电传感器的检测值发送到摄像机单元2。
[0479]
可以是终端装置3存储冷藏室食品管理记录rr和抽屉食品管理记录hr，食品管理应用311管理与摄像机单元2所检测的食品相关的各种信息的结构。在该构成的情况下，应用执行部301与上述的食品管理服务器4同样地恰当更新终端装置3所存储的各记录的内容。由此，食品管理系统1000不需要包括食品管理服务器4，系统结构变得简易。此外，在该构成的情况下，应用执行部301可以用作食品识别部403。
[0480]
例如，在冷藏库1的主箱体10中形成的室的种类不限于冷藏室11、制冰室12、新鲜冻结室13、冷冻室14和蔬菜室15，也可以至少还形成有其它种类的室。另外，在冷藏室11的前面的开口部设置的门的数量也可以是1个。
[0481]
例如，抽屉14a、15a所包括的盒体不限于两段，可以更多。在这种情况下，某个盒体相当于本发明的第1盒体，该某个盒体的下层的盒体相当于本发明的第2盒体。
[0482]
例如，摄像机单元处理器220、终端处理器300和服务器处理器400可以由单一的处理器构成，也可以由多个处理器构成。
[0483]
图6、图7和图26所示的各部分是一例，具体的安装方式没有特别限制。即，不一定需要安装与各部独立地对应的硬件，当然也可以形成为通过一个处理器执行程序实现各部的功能的结构。此外，在上述实施方式中，可以将通过软件实现的功能的一部分作为硬件，或者可以通过软件实现通过硬件实现的功能的一部分。此外，摄像机单元2、终端装置3和食品管理服务器4的其他各部分的具体细节构成也能够在不脱离本发明的主旨的范围内任意地变更。
[0484]
此外，例如，图13、图14、图22和图25所示的动作的步骤单位为了容易理解食品管理系统1000的各部分的动作而根据主要的处理内容进行了分割，本发明不受处理单位的分割的方式、名称限制。
[0485]
此外，上述的实施方式是用于示例本发明的技术的方式，所以能够在权利要求书或其均等的范围内进行各种变更、置换、附加、省略等。
[0486]
工业上的可利用性
[0487]
如以上那样，本发明的程序、终端装置和终端装置的控制方法能够用于显示出入冷藏库的食品的图像的用途。
[0488]
附图标记说明
[0489]
1 冷藏库(贮藏库)
[0490]
2 摄像机单元(摄影装置)
[0491]
3 终端装置
[0492]
4 食品管理服务器
[0493]
10 主箱体
[0494]
10a 前端缘
[0495]
10b 上表面
[0496]
11 冷藏室
[0497]
11a 左门
[0498]
11b 右门
[0499]
11c 门
[0500]
12 制冰室(抽屉式收纳室)
[0501]
12a、13a、14a、15a、16a 抽屉
[0502]
13 新鲜冻结室(抽屉式收纳室)
[0503]
14 冷冻室(抽屉式收纳室)
[0504]
15 蔬菜室(抽屉式收纳室)
[0505]
32 触摸面板(显示部)
[0506]
201 主体
[0507]
202 拍摄部件
[0508]
203 冷藏室用摄像机
[0509]
204 抽屉用摄像机
[0510]
205 位置限制部件
[0511]
206 底面
[0512]
207 标记
[0513]
212人感传感器(传感器)
[0514]
213 摄像机
[0515]
223 摄像控制部
[0516]
224 录像控制部
[0517]
225 食品检测部(物品检测部)
[0518]
231 录像文件
[0519]
300终端处理器(计算机)
[0520]
301应用执行部(显示控制部)
[0521]
311食品管理应用(程序、应用程序)
[0522]
1000食品管理系统
[0523]
ba分割区域(区域)
[0524]
fg、fg1拍摄食品图像(食品图像)
[0525]
gca下层盒体(第2盒体)
[0526]
gcg下层盒体图像(第2盒体图像)
[0527]
jca上层盒体(第1盒体)
[0528]
jcg上层盒体图像(第1盒体图像)
[0529]
mic备注输入图标(备注输入图像)
[0530]
p用户
[0531]
rg冷藏室库内图像(库内图像)。