1.本发明涉及户式水机技术领域，尤其涉及一种户式水机的控制方法、电子设备和空调系统。
背景技术：
2.随着科学技术的发展和对节能观念的深入认识，也伴随着智能家居的可视化技术步入人们的日常生活，人们对节能的需求和温度自适应提出了更高的要求。目前户式水机的用户基本都是人为设定温度，并且很长一段时间都不会更改设定。这种方式本质上是一种恒温控制，只能保证室内温度趋于设定温度，无法根据环境变化调整设定温度，于是有人提出了基于强化学习的户式水机功耗优化方案，与这类方案类似的还有空调、取暖器等温控电器。例如相关专利就公开了一种方法基于预先训练的强化学习模型得到当前时刻的控制参数，使用所述控制参数控制数据中心机房的温度调节设备的工作状态，直至数据中心机房的温度稳定。但是其本身由于采用了深度学习(强化学习)，导致其结果推理往往只能在云端进行，需要极大的计算成本。甚至在某些情况下，需要对不同的用户进行单独建模，力求达到最好的效果，这就造成了更为庞大的计算成本。
技术实现要素：
3.鉴于此，本发明公开了一种户式水机的控制方法、电子设备和空调系统，用以解决现有户式水机节能效果差的问题。
4.本发明为实现上述的目标，采用的技术方案是：
5.本发明第一方面公开了一种户式水机的控制方法，户式水机预设有第一控制模型和第二控制模型，方法包括：
6.利用第一控制模型对当前室内设定温度进行虚拟调整，得到室内设定温度虚拟值；
7.将室内设定温度虚拟值作为新室内设定温度的虚拟控制条件，利用第二控制模型对户式水机室内环境温度和户式水机功耗进行预测，得到室内环境预测温度t1和户式水机预测功耗p1；
8.判断t1是否满足温度设定条件，以及判断p1是否满足功耗设定条件；
9.当t1满足温度设定条件，且p1满足功耗设定条件时，将室内设定温度虚拟值作为新室内设定温度控制户式水机运行。
10.进一步可选地，利用第一控制模型对当前室内设定温度进行虚拟调整，得到室内设定温度虚拟值，包括：
11.获取户式水机的实时状态数据及对应的环境数据，环境数据包括当前室内设定温度；
12.将实时状态数据及对应的环境数据输入第一控制模型，输出多个调整动作估值，每个调整动作估值对应一种温度调整动作，温度调整动作包括升温、降温或保持温度不变；
13.从多个调整动作估值中选取满足设定要求的调整动作估值；
14.基于满足设定要求的调整动作估值确定室内设定温度虚拟值。
15.进一步可选地，从多个调整动作估值中选取满足设定要求的调整动作估值，并对室内设定温度进行调整，包括：
16.从多个调整动作估值中选取最大值，根据最大值对应的温度调整动作对室内设定温度进行调整。
17.进一步可选地，利用第一控制模型对当前室内设定温度进行虚拟调整，得到室内设定温度虚拟值，包括：
18.将实时状态数据及对应的环境数据输入第一控制模型，输出室内设定温度虚拟值。
19.进一步可选地，在将室内设定温度虚拟值作为新室内设定温度的虚拟控制条件，利用第二控制模型对户式水机室内环境温度和户式水机功耗进行预测，得到室内环境预测温度t1和户式水机预测功耗p1之前，方法还包括：
20.利用户式水机的历史状态数据及对应的环境数据对第二控制模型进行训练，得到第二控制模型。
21.进一步可选地，利用户式水机的历史状态数据及对应的环境数据对第二控制模型进行训练，得到第二控制模型，包括：
22.将当前时刻及过去的m个时刻的每个时刻所采集的户式水机的状态数据及对应的环境数据输入到第二控制模型中，输出下一时刻的室内环境温度预测值t0，其中m≥2；
23.获取下一时刻的室内环境温度t0’；
24.基于t0和t0’的对比结果更新第二控制模型的模型参数；
25.重复训练直至训练结束。
26.进一步可选地，将室内设定温度虚拟值作为新室内设定温度的虚拟控制条件，利用第二控制模型对户式水机室内环境温度和户式水机功耗进行预测，得到室内环境预测温度t1和户式水机预测功耗p1，包括：
27.获取当前时刻及其前m个时刻的每个时刻所采集的户式水机的状态数据及对应的环境数据；将当前室内设定温度替换为室内设定温度虚拟值，并输入到训练好的第二控制模型，输出得到在当前时刻预测的下一时刻的室内环境预测温度t1和户式水机预测功耗p1。
28.进一步可选地，判断室内环境预测温度t1是否满足温度设定条件，以及判断户式水机预测功耗p1是否满足功耗设定条件，包括：
29.利用第二控制模型对户式水机在当前室内设定温度的控制条件下的室内环境温度和户式水机功耗进行预测，得到室内环境预测温度t2和户式水机预测功耗p2；
30.将t1和t2进行比较，以及将p1和p2进行比较；
31.当|t1-t2|≤a时，a为大于0的自然数，视为满足温度设定条件；
32.当p1≤p2时，视为满足功耗设定条件。
33.进一步可选地，若t1不满足温度设定条件，和/或p1不满足功耗设定条件，方法还包括：
34.基于对比结果更新第一控制模型的模型参数和第二控制模型的模型参数。
35.进一步可选地，第一控制模型为dqn模型，第二控制模型为lstm模型；第一控制模型和第二控制模型部署在本地的嵌入式模块。
36.进一步可选地，户式水机的状态数据包括进水温度、出水温度，压缩机功耗、吸气温度、排气温度，室内风机功耗、室外风机功耗中的至少一项。
37.本发明第二方面公开了一种电子设备，电子设备包括：
38.存储器，用于存储计算机指令；
39.控制器，用于调用和执行存储器中存储的计算机指令以实现如第一方面中任一项所提供的方法。
40.本发明第三方面公开了一种空调系统，空调系统采用如第一方面中任一项所提供的方法；或，空调系统包含如第二方面所提供的电子设备。
41.有益效果：本发明的户式水机设有第一控制模型和第二控制模型，基于第一控制模型可以对当前室内设定温度进行虚拟调整，基于第二控制模型可以对户式水机在室内设定温度虚拟值作为新室内设定温度下的室内环境温度t1和功耗p1进行预测，并以此为约束条件，来更新室内设定温度，保证在温度相差不大的情况下，更好地降低功耗，达到能适用于每一个不同家庭环境又节能的功能。
附图说明
42.通过参照附图详细描述其示例实施例，本发明公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本发明公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1示例性地示出了根据本发明一种实施例的户式水机的控制方法示意图。
44.图2示例性地示出了根据本发明一种实施例的户式水机的控制方法示意图。
具体实施方式
45.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
47.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
48.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者系统中还
存在另外的相同要素。
49.为进一步阐述本发明中的技术方案，首先对本发明相关实施例中出现的“xx模型”进行说明。本发明中提出的第一控制模型、第二控制模型，可以理解为输入参数与输出参数的映射关系/函数关系，例如，长短期记忆模型、神经网络模型、公式、映射表等。
50.本发明第一方面公开了一种户式水机的控制方法，户式水机预设有第一控制模型和第二控制模型，如图1所示，该方法包括s1～s4，其中：
51.s1，利用第一控制模型对当前室内设定温度进行虚拟调整，得到室内设定温度虚拟值；
52.s2，将室内设定温度虚拟值作为新室内设定温度的虚拟控制条件，利用第二控制模型对户式水机室内环境温度和户式水机功耗进行预测，得到室内环境预测温度t1和户式水机预测功耗p1；
53.s3，判断t1是否满足温度设定条件，以及判断p1是否满足功耗设定条件；当t1满足温度设定条件，且p1满足功耗设定条件时，执行s4；
54.s4，将室内设定温度虚拟值作为新室内设定温度控制户式水机运行。
55.本实施例的第一控制模型能够对室内设定温度进行调整，这个调整不是真实的调整，即虚拟调整。通过第二控制模型对户式水机在以室内设定温度虚拟值为控制条件下的室内环境温度和户式水机功耗进行预测；进一步对预测得到的室内环境预测温度和户式水机预测功耗是否满足室内温度不变和功耗降低的设定条件进行判断；如果满足，则对当前室内设定温度进行更新，将室内设定温度虚拟值作为新室内设定温度，以此控制户式水机运行；如果不满足，则对第一控制模型、第二控制模型的模型参数进行调整；从而使这两个模型能够自适应于每个家庭、每个用户，相对于传统方法不仅能保证恒温控制效果，还能降低能耗，从而解决了现有户式水机节能效果差的问题，还解决了现有户式水机无法根据环境变化调整设定温度的问题。
56.上述两个模型的更新过程属于现有技术，本实施例不做具体限定。
57.优选地，将上述两个模型部署在本地的嵌入式模块。在嵌入式端采集用户的部分数据，以自学习的方式纠正模型与期望值(预测值)之间的偏差，然后依托于强化学习产生动作，实现降低功耗的功能，达到能适用于每一个不同家庭环境的功能。同时，在嵌入式端进行自学习优化模型，只用在本地采集几天用户室内的温度数据，就可以实现对户式水机的功耗的优化，摆脱了对于云端计算的依赖，去除了通讯模块，相对于传统方法整体方案节约了极大成本。
58.进一步，s1中利用第一控制模型对当前室内设定温度进行虚拟调整，得到室内设定温度虚拟值，包括s11～s14，其中：
59.s11，获取户式水机的实时状态数据及对应的环境数据，环境数据包括当前室内设定温度；
60.s12，将实时状态数据及对应的环境数据输入第一控制模型，输出多个调整动作估值，每个调整动作估值对应一种温度调整动作，温度调整动作包括升温、降温或保持温度不变；
61.s13，从多个调整动作估值中选取满足设定要求的调整动作估值；
62.s14，基于满足设定要求的调整动作估值确定室内设定温度虚拟值。
63.在本实施例中，第一控制模型对户式水机的实时状态数据及对应的环境数据进行处理。例如，4点50时，利用传感器等采集一组户式水机状态数据及对应的室内外环境数据，包括室内外温度、进水温度、出水温度、室内设定温度、压缩机功耗、压缩机气压、风扇功耗、户式水机整体功耗等，采集的这组数据为第一控制模型的输入参数，其输出参数为多个调整动作估值。每个调整动作估值对应一种调整室内设定温度的动作，对于制热来说，每个调整动作估值优选对应不同的降温动作或保持温度不变，对于制冷来说，每个调整动作估值优选对应不同的升温动作或保持温度不变。从多个调整动作估值中选择一个满足设定要求的调整动作估值，对室内设定温度进行调整，从而得到室内设定温度虚拟值。例如升温1℃的估值为100，升温3℃的估值为200。
64.本实施例的第一控制模型(强化学习模型)是以当前户式水机的状态和环境为输入数据，训练模型的时候保证其操作引发的室内的温度变化和没有强化学习的温度相差不到1度的条件下，尽可能的减低功耗。同时使其能趋于第二控制模型的预测温度，从而保证达到用户期望的效果。
65.可选地，s13从多个调整动作估值中选取满足设定要求的调整动作估值，包括s131～s132，其中：
66.s131，从多个调整动作估值中选取最大值；
67.s132，根据最大值对应的调整动作对当前室内设定温度进行调整。
68.以节能为目的，优选从多个调整动作估值中选取最大值，对应的温度调整动作幅度大，以制热为例，降温1℃的估值为100，降温2℃的估值为200，降温3℃的估值为300，则优选降温3℃，这样可以达到既能保证温度又更加节能。
69.本实施例还提供了计算室内设定温度虚拟值的另一实施方式，具体地：
70.将实时采集的户式水机的状态数据及对应的环境数据输入第一控制模型，输出室内设定温度虚拟值。
71.本实施例将室内设定温度虚拟值作为输出参数，优化第一控制模型的运行程序，有助于降低整机功耗。
72.进一步，在s2中将所述室内设定温度虚拟值作为新室内设定温度的虚拟控制条件，利用第二控制模型对所述户式水机室内环境温度和户式水机功耗进行预测，得到室内环境预测温度t1和户式水机预测功耗p1之前，该方法还包括步骤a1：
73.a1，利用户式水机的历史状态数据及对应的环境数据对第二控制模型进行训练，得到第二控制模型。
74.本实施例优选地，预先对第二控制模型进行训练，得到训练好的第一控制模型。利用训练好的第二控制模型对户式水机在当前时刻的下一时刻，在原室内设定温度下的功耗和室内环境温度进行预测，以及利用训练好的第二控制模型对户式水机在当前时刻的下一时刻，在新室内设定温度下的功耗和室内环境温度进行预测，从而提高预测精度，更好地实现满足用户温度需求，同时又节能。
75.进一步，a1包括a11～a14，其中：
76.a11，将当前时刻及过去的m个时刻的每个时刻所采集的户式水机的状态数据及对应的环境数据输入到第二控制模型中，输出下一时刻的室内环境温度预测值t0；
77.a12，获取下一时刻的室内环境温度t0’；
78.a13，基于t0和t0’的对比结果更新所述第二控制模型的模型参数；
79.a14，重复训练直至训练结束。
80.例如采集设定时间间隔为1小时，m为3，当前时刻为5点，在2点、3点、4点、5点时分别采集一组户式水机的状态数据及对应的室内外环境数据。将这些数据输入到lstm模型中，输出6点的室内环境温度预测值t0。在6点时获取室内环境温度t0’，利用实际值t0’与预测值t0之间的偏差，来纠正第二控制模型。具体地，如果|t0
–
t0’|≤b，b为自然数，0≤b≤1，则训练完成，如果|t0
–
t0’|＞b，则基于t0和t0’的对比结果对第二控制模型的模型参数进行调整。调整后进行下一轮的训练，将3点、4点、5点、6点所采集的数据作为输入参数输入到第二控制模型里，对7点的室内环境温度进行预测，如此重复训练直至训练结束。
81.进一步，s2包括：
82.获取当前时刻及其前m个时刻的每个时刻所采集的户式水机的状态数据及对应的环境数据，将当前室内设定温度替换为室内设定温度虚拟值，并输入到第二控制模型，输出得到当前时刻预测的下一时刻的室内环境预测温度t1和户式水机预测功耗p1。
83.举例说明：lstm的输入是4个小时构成的户式水机的状态、环境数据，维度[4,10]，指的是4个小时中每个小时的数据，包括压缩机气压、设定温度...，输出的是对第5个小时的室内温度和功耗的预测值。dqn模型的输入是实时的环境状态数据[1,10]，输出的是调整动作(升温、降温、保持不变)。
[0084]
具体地，5点时，lstm根据前4小时的数据预测到继续保持设定温度temp1，那么5点的室内温度将为t2，功耗p2(这个t2是和5点的真实环境作对比的，用于更新lstm模型，保证该模型的准确性)。
[0085]
此时dqn模型对4点50的环境生成了一个动作(调整动作估值)，从而对当前室内环境温度进行虚拟调整，得到室内设定温度虚拟值，用这个室内设定温度虚拟值替换5点的室内设定温度(即当前室内设定温度)，再次作为lstm的输入(此时的输入为2，3，4，4:50的数据)，得到t1，p1。用t1与t2的差值判断是否达到了保证温度不变的效果，并且减低了功耗(p1和p2的差)，从而确定是否要在5点采用这个dqn生成的设定温度。
[0086]
进一步，s3包括s31～s34，其中：
[0087]
s31，利用第二控制模型对户式水机在当前室内设定温度的控制条件下的室内环境温度和户式水机功耗进行预测，得到室内环境预测温度t2和户式水机预测功耗p2；
[0088]
s32，将t1和t2进行比较，以及将p1和p2进行比较；
[0089]
s33，当|t1-t2|≤a时，a为大于0的自然数，视为满足所述温度设定条件；
[0090]
s34，当p1≤p2时，视为满足功耗设定条件。
[0091]
本实施例对前文中的约束条件做了进一步限定，在t1和t2满足|t1-t2≤a，以恒温的效果和节能的目的为前提，b取值范围在0～2℃之间，如0.5、1、1.5、2等，只有在温度和功耗均满足条件的情况下，才对当前时刻的下一时刻的室内设定温度做出调整，也就是以新室内设定温度控制户式水机运行。
[0092]
优选地，第一控制模型为dqn模型，第二控制模型为lstm模型；第一控制模型和第二控制模型部署在本地的嵌入式模块。
[0093]
第一控制模型基于户式水机的实时状态数据及对应的环境数据得到室内设定温度虚拟值，即基于户式水机在当前时刻的状态数据及对应的环境数据得到室内设定温度虚
拟值；第二控制模型基于户式水机的历史状态数据及对应的环境数据得到室内环境预测温度和户式水机预测功耗，即基于户式水机在当前时刻及其前m个时刻的状态数据及对应的环境数据得到在当前时刻预测的下一时刻的室内环境温度和户式水机功耗。
[0094]
本实施例提供了一种基于嵌入式的方法，将lstm模型和dqn模型均部署在嵌入式模块，摆脱了对于云端计算的依赖，去除了通讯模块，减少了50％的后期算法维护的成本。
[0095]
可选地，户式水机的状态数据包括进水温度、出水温度，压缩机功耗、吸气温度、排气温度，室内风机功耗、室外风机功耗中的至少一项。环境数据还包括室内环境温度、室外环境温度。户式水机的状态数据包括实时状态数据和历史状态数据。
[0096]
在一具体实施例中，户式水机的控制方法，包括如下步骤：
[0097]
步骤1，利用lstm对当前时刻的下一时刻室内环境温度和户式水机功耗进行预测，得到室内环境预测温度t1和户式水机预测功耗p1；
[0098]
步骤2，利用dqn对当前室内设定温度进行虚拟调整，得到室内设定温度虚拟值；
[0099]
步骤3，将室内设定温度虚拟值输入到lstm中，以替换lstm输入参数中的当前室内设定温度，输出当前时刻的下一时刻的室内环境预测温度t2和户式水机预测功耗p2；
[0100]
步骤4，对比t1和t2，以及对比p1和p2；
[0101]
步骤5，当|t1-t2|≤a时，a为大于0的自然数，且p1≤p2，将室内设定温度虚拟值作为新室内设定温度控制户式水机运行；
[0102]
步骤6，当|t1-t2|＞a时，和/或p1＞p2时，基于对比结果更新lstm的模型参数和dqn的模型参数。
[0103]
下面结合图2对本实施例的方法进一步详述。
[0104]
1、首先是建立统一大模型，以1000个用户的日常数据(数据包括：每小时的设定温度、进水温度、室内温度、室外温度、压缩机功耗、气压和整体功耗)为训练数据，建立两个基本模型：lstm(长短期记忆)和dqn(深度q学习)。
[0105]
2、lstm模型是用之前用户对不同时间，不同室外环境温度下、设定温度的数据进行训练的，目的是做到能精准预测未来几个小时用户的设定温度和相应的室内环境温度，从而为后面的强化学习进行指导作用。
[0106]
3、dqn模型则是以当前户式水机的状态和环境为输入数据，训练模型的时候保证其操作引发的室内的温度变化和没有强化学习的温度相差不到1度的条件下，尽可能的减低功耗。同时使其能趋于lstm的预测温度，从而保证达到用户期望的效果。算法如下所示：
[0107]
3.1、以当前环境为lstm的输入，预测出未来的设定温度；
[0108]
3.2、以t0时刻为起始点，此时的环境记为s0，将s0输入dqn中得到对该环境下动作a0(动作：升温、降温、不变)的价值评估，根据动作a0进一步得到相应的奖励回报r0，动作价值函数可以表示为(其中定义折扣率γ∈[0,1])；
[0109][0110]
3.3、在将s0输入dqn中会得到一个估值q0，然后由a0产生一个新环境s1和对应的回报r0，再将s1输入到dqn中会得到一个新的估值q1，从而我们可以认为s1相较于s0更为准确，从而产生一个误差：
[0111][0112]
3.4、计算损函数的梯度,对模型参数w进行更新；
[0113][0114]
实际在板载(嵌入式)上的实现，就需要考虑很多东西。前面构建的模型是以1000个用户的数据为模型，但是如果移植到嵌入式后，具体作用于某一个用户就会有非常大的偏差(每户家庭面积、房屋材质等不同)，于是就需要采用本实施例所提供的在线学习的方式。
[0115]
4、终端实现步骤，采集这几天用户的数据，将模型推理后的数据与实际的环境信息作比较(数据比较主要是两个方面：实际温度和预测温度的比较；以前一时刻的功耗与改变设定温度后的功耗进行比较)，以完成对嵌入式上面的模型的梯度计算，从而更新模型的具体参数，适应不同的家庭环境。
[0116]
最终以lstm预测的期望温度为指标，改变室内设定温度，进而改变室内温度，从而达到既能保证温度又能节能的目的。
[0117]
本实施例第二方面公开了一种电子设备，电子设备包括：存储器，用于存储计算机指令；控制器，用于调用和执行存储器中存储的计算机指令以实现如第一方面中任一项所提供的方法。
[0118]
本实施例第三方面公开了一种空调系统，空调系统采用如第一方面中任一项所提供的方法；或，空调系统包含如第二方面所提供的电子设备。
[0119]
本发明提供了一种基于嵌入式在线学习的户式水机节能方法，在嵌入式端采集用户的部分数据，以自学习的方式纠正模型与期望值(预测值)之间的偏差，然后依托于强化学习产生动作，实现降低功耗的目的，并能自适应于每一个家庭环境。在实际应用中无需额外的计算开销，只用嵌入式完成数据推理，并且能在保证温度基本不变的条件下，有效降低功耗。摆脱了对于云端计算的依赖，极大的保护了用户的数据安全，去除了通讯模块，减少了至少50％的后期算法维护的成本。
[0120]
在本发明提供的不同实施例中，对于相同参数、名词、逻辑等应当理解为统一的含义，本技术对此不刻意在每个实施例中进行重复说明。
[0121]
以上具体示出和描述了本公开的示例性实施例。应理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。