本發(fā)明屬于智能家電領域，具體提供一種基于圖像識別的冰箱容納物管理系統(tǒng)。

背景技術：

物聯(lián)網(wǎng)是新一代信息技術的重要組成部分，也是“信息化”時代的重要發(fā)展階段，物聯(lián)網(wǎng)甚至被人們稱為繼計算機、互聯(lián)網(wǎng)之后世界信息產業(yè)發(fā)展的第三次浪潮。近年來，隨著物聯(lián)網(wǎng)概念的逐步興起，家電行業(yè)也隨之迅速走向智能化發(fā)展的方向，很多傳統(tǒng)家電企業(yè)都紛紛加入到智能家居開發(fā)的行列。自智能家居興起以來，市面上出現(xiàn)了很多種類的智能家居，其中，同一種類的智能家居又具有多種類型的智能系統(tǒng)，例如，智能冰箱的管理系統(tǒng)就具有多種類型。

目前，市面上具有多種設置有圖像采集功能的智能冰箱，此類智能冰箱的箱門內側設置有攝像頭，所述攝像頭能夠在箱門關閉的狀態(tài)下完成對箱門和箱體的圖像采集。但是，當智能冰箱的箱門關閉時，設置在箱門內側的攝像頭與箱體之間的距離過小，此時，攝像頭無法完整地采集到智能冰箱內的所有存儲空間的圖像信息。因此，此類智能冰箱在實際使用過程中的用戶體驗并不是十分理想。此外，市面上還具有一些設置有射頻識別功能的智能冰箱，但是在實際使用的過程中，此類智能冰箱并不能十分準確地識別每個容納物的條形碼或者標簽信息，致使此類智能冰箱也不能很好地管理冰箱內存儲的容納物。

相應地，本領域需要一種新的基于圖像識別的冰箱容納物管理系統(tǒng)來解決上述問題。

技術實現(xiàn)要素：

為了解決現(xiàn)有技術中的上述問題，即為了解決現(xiàn)有冰箱的管理系統(tǒng)不能很好地管理冰箱內儲存的容納物的問題，本發(fā)明提供了一種基于圖像識別的冰箱容納物管理系統(tǒng)，所述冰箱包括箱門、箱體以及用于連接所述箱門與所述箱體的轉軸，其特征在于，所述容納物管理系統(tǒng)包括圖像采集裝置和角度傳感器，所述圖像采集裝置包括設置在所述箱門上的第一攝像頭，所述角度傳感器設置在所述轉軸上，用于檢測所述箱門相對于所述箱體的樞轉角度，所述第一攝像頭能夠隨所述樞轉角度的變化相對于所述箱門樞轉，以便與所述箱體的入口保持對準并因此采集所述箱體內的容納物的圖像信息。

本領域技術人員能夠理解的是，由于設置有角度傳感器來檢測箱門的開啟角度，并且箱門上的攝像頭設置成與角度傳感器聯(lián)動(樞轉/拍攝)，本發(fā)明的冰箱容納物管理系統(tǒng)能夠在箱門開啟時以最佳角度和距離對冰箱內的容納物進行拍攝，避免了現(xiàn)有技術中箱門關閉時攝像頭與容納物距離過近而無法有效采集圖像信息的問題。此外，上述“對準”的意思是，第一攝像頭的拍攝范圍能夠覆蓋箱體的整個入口。優(yōu)選的是，當?shù)谝粩z像頭與箱體的入口對準時，第一攝像頭與箱體入口所在的平面基本垂直，這樣可以最大程度地拍攝到冰箱內的容納物。

在上述基于圖像識別的冰箱容納物管理系統(tǒng)的優(yōu)選技術方案中，所述圖像采集裝置還包括設置在所述箱體上的第二攝像頭，所述第二攝像頭能夠隨所述樞轉角度的變化相對于所述箱體樞轉，以便與所述箱門的內表面保持對準并因此采集所述箱門內側的容納物的圖像信息。

類似地，由于箱體上的攝像頭也設置成與角度傳感器聯(lián)動(樞轉/拍攝)，本發(fā)明的冰箱容納物管理系統(tǒng)能夠在箱門開啟時以最佳角度和距離對箱門內側的容納物進行拍攝，解決了現(xiàn)有技術方案無法對箱門內側容納物進行拍攝的技術問題。當與上述箱門上的第一攝像頭結合使用時，能夠實現(xiàn)對冰箱內各個部位的所有容納物的全面拍攝。此外，上述“對準”的意思是，第二攝像頭的拍攝范圍能夠覆蓋箱門的整個內表面。優(yōu)選的是，當?shù)诙z像頭與箱門的內表面對準時，第二攝像頭與箱門內表面基本垂直，這樣可以最大程度地拍攝到箱門內側的容納物。

在上述基于圖像識別的冰箱容納物管理系統(tǒng)的優(yōu)選技術方案中，所述容納物管理系統(tǒng)還包括主控模塊，所述主控模塊與所述第一攝像頭、所述第二攝像頭和所述角度傳感器連通，所述主控模塊能夠根據(jù)所述角度傳感器檢測到的角度信息控制所述第一攝像頭和所述第二攝像頭的樞轉角度。

在上述基于圖像識別的冰箱容納物管理系統(tǒng)的優(yōu)選技術方案中，所述第一攝像頭安裝在所述箱門的遠離所述轉軸的一側，并且/或者所述第二攝像頭安裝在所述箱體的遠離所述轉軸的一側。

本領域技術人員能夠理解的是，當?shù)谝粩z像頭安裝在箱門的遠離轉軸的一側時，如果用戶打開冰箱門，第一攝像頭便會與箱體內的容納物拉開一定距離，尤其當箱門開啟到大約60度時，第一攝像頭正好達到最佳拍攝距離，同時，由于主控模塊的作用，即使在箱門轉過一定角度的情況下，第一攝像頭也能始終與箱體入口的表面保持對準，因此能夠在最佳距離以最佳角度進行拍攝。與第一攝像頭類似，當?shù)诙z像頭安裝在箱體的遠離轉軸的一側時，如果用戶打開冰箱門，第二攝像頭便會與箱門的內表面拉開一定距離，尤其當箱門開啟到大約60度時，第二攝像頭與箱門內表面之間正好達到最佳拍攝距離，同時，由于主控模塊的作用，即使在箱門轉過一定角度的情況下，第二攝像頭也能始終與箱體入口的表面保持對準，因此能夠在最佳距離以最佳角度進行拍攝。

在上述基于圖像識別的冰箱容納物管理系統(tǒng)的優(yōu)選技術方案中，當所述角度傳感器檢測到所述箱門相對于所述箱體打開至60°時，所述主控模塊控制所述第一攝像頭相對于所述箱門樞轉60°并且拍照，同時控制所述第二攝像頭相對于所述箱體樞轉60°并且拍照；或者當所述角度傳感器檢測到所述箱門相對于所述箱體樞轉時，所述主控模塊控制所述第一攝像頭和所述第二攝像頭隨所述箱門與所述箱體之間的角度變化而動態(tài)樞轉，以便使所述第一攝像頭與所述箱體的入口保持對準，并且使所述第二攝像頭與所述箱門的內表面保持對準，并且當所述角度傳感器檢測到所述箱門相對于所述箱體打開至60°時，所述主控模塊控制所述第一攝像頭和所述第二攝像頭拍照。

本領域技術人員能夠理解的是，這里提供了兩種攝像頭與角度傳感器聯(lián)動的模式，在第一種模式下，直到箱門相對于箱體打開至60°，攝像頭才在主控模塊的控制下轉動60°并進行拍攝，在此之前，即使箱門轉動，攝像頭也不轉動。在第二種模式下，一旦箱門相對于箱體開始轉動，攝像頭便會在主控模塊的控制下隨著箱門的轉動而轉動以使攝像頭與目標拍攝區(qū)域始終保持基本垂直，直到箱門與箱體成60°角時攝像頭才被觸發(fā)而開始拍攝。

在上述基于圖像識別的冰箱容納物管理系統(tǒng)的優(yōu)選技術方案中，所述容納物管理系統(tǒng)還包括設置在所述冰箱上的光線傳感器和用于控制所述冰箱上的照明燈的照明控制模塊，當所述第一攝像頭和所述第二攝像頭采集圖像時，所述照明控制模塊能夠根據(jù)所述光線傳感器檢測到的亮度信息選擇性地開啟所述照明燈，以便所述第一攝像頭和所述第二攝像頭能夠采集到更清晰的圖像。

在上述基于圖像識別的冰箱容納物管理系統(tǒng)的優(yōu)選技術方案中，所述容納物管理系統(tǒng)還包括溫度控制模塊，所述主控模塊能夠根據(jù)所述圖像采集裝置采集到的圖像信息來判斷容納物類型，所述溫度控制模塊能夠根據(jù)該容納物類型控制所述冰箱的工作溫度。

在判斷容納物類型時，主控模塊可以將采集到的容納物圖像與預先存儲的標準容納物圖像進行特征比對，并且當二者的匹配度達到一定閾值時，確定該被采集圖像的容納物的類型。在此基礎上，溫度控制模塊能夠根據(jù)該容納物類型將冰箱的工作溫度調整到最適合該容納物冷藏或冷凍的范圍。由此可見，這種設置使得本發(fā)明的冰箱容納物管理系統(tǒng)僅通過圖像拍攝便可以實現(xiàn)容納物的自動管理，具有非常好的用戶體驗。

在上述基于圖像識別的冰箱容納物管理系統(tǒng)的優(yōu)選技術方案中，所述第一攝像頭和/或所述第二攝像頭上設置有加熱片，所述加熱片能夠加熱所述第一攝像頭和/或所述第二攝像頭的鏡片，以便除霧和除霜。

在上述基于圖像識別的冰箱容納物管理系統(tǒng)的優(yōu)選技術方案中，所述第一攝像頭和/或所述第二攝像頭是廣角高速攝像頭。

在上述基于圖像識別的冰箱容納物管理系統(tǒng)的優(yōu)選技術方案中，所述容納物管理系統(tǒng)還包括與所述主控模塊聯(lián)網(wǎng)的后臺服務器，用戶能夠通過移動終端查看所述主控模塊和/或所述后臺服務器中的信息并據(jù)此管理所述冰箱中的容納物；并且所述主控模塊和/或所述后臺服務器能夠根據(jù)所述圖像采集裝置采集到的圖像信息識別所述冰箱中的容納物，并且記錄所述冰箱中的容納物的拿出和放入信息，并形成容納物信息列表，同時通過所述移動終端將所述容納物信息列表提供給用戶，以便用戶能夠查看和管理所述容納物信息列表中的信息。

本領域技術人員能夠理解的是，在本發(fā)明的技術方案中，基于圖像識別的冰箱容納物管理系統(tǒng)包括圖像采集裝置、角度傳感器和主控模塊，所述圖像采集裝置包括設置在箱門上的第一攝像頭和設置在箱體上的第二攝像頭，所述角度傳感器設置在用于連接箱門與箱體的轉軸上，主控模塊與第一攝像頭、第二攝像頭和角度傳感器連通，并且能夠根據(jù)角度傳感器檢測到的角度信息控制第一攝像頭和第二攝像頭的樞轉角度，以便第一攝像頭/第二攝像頭與箱體的入口/箱門的內表面保持對準，并因此更好地采集箱體內/箱門內的容納物的圖像信息。所述冰箱容納物管理系統(tǒng)還包括溫度控制模塊，主控模塊能夠根據(jù)圖像采集裝置采集到的冰箱中的容納物的圖像信息來判斷容納物類型，溫度控制模塊能夠根據(jù)冰箱中的容納物類型將冰箱的工作溫度調整到最佳數(shù)值。另外，用戶能夠通過移動終端查看主控模塊和/或與主控模塊聯(lián)網(wǎng)的后臺服務器中的信息，并據(jù)此管理冰箱中的容納物。

附圖說明

圖1是與本發(fā)明的基于圖像識別的冰箱容納物管理系統(tǒng)結合使用的冰箱的示意圖。

圖2是本發(fā)明的基于圖像識別的冰箱容納物管理系統(tǒng)的系統(tǒng)控制圖。

具體實施方式

下面參照附圖并結合食材管理系統(tǒng)來描述本發(fā)明的優(yōu)選實施方式。本領域技術人員應當理解的是，這些實施方式僅僅用于解釋本發(fā)明的技術原理，并非旨在限制本發(fā)明的保護范圍。本領域技術人員可以根據(jù)需要對其作出調整，以便適應具體的應用場合。例如，盡管說明書中所述的基于圖像識別的管理系統(tǒng)用于對食材進行管理，但是，本發(fā)明的技術方案顯然還可以用于管理其他非食材類冰箱容納物，這種應用對象的改變并不偏離本發(fā)明的基本原理，因此都將落入本發(fā)明的保護范圍之內。

需要說明的是，在本發(fā)明的描述中，術語“上”、“下”、“左”、“右”、“內”、“外”、“垂直”、“橫向”、“豎向”等指示的方向或位置關系的術語是基于附圖所示的方向或位置關系，這僅僅是為了便于描述，而不是指示或暗示所述裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發(fā)明的限制。此外，術語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。

此外，還需要說明的是，在本發(fā)明的描述中，除非另有明確的規(guī)定和限定，術語“安裝”、“相連”、“連接”、“配合”應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通。對于本領域技術人員而言，可根據(jù)具體情況理解上述術語在本發(fā)明中的具體含義。

如圖1所示，該圖為與本發(fā)明的基于圖像識別的冰箱食材管理系統(tǒng)結合使用的冰箱的示意圖。所述冰箱包括箱體1、箱門2以及用于連接箱體1與箱門2的轉軸5。本發(fā)明的基于圖像識別的冰箱食材管理系統(tǒng)包括角度傳感器(圖1中未顯示)和圖像采集裝置，所述圖像采集裝置包括設置在箱門2上的第一攝像頭101和設置在箱體1上的第二攝像頭102。所述角度傳感器設置在轉軸5上，用于檢測箱門2相對于箱體1的樞轉角度。第一攝像頭101安裝在箱門2內側，且安裝位置設置在遠離轉軸5的一側。此外，第一攝像頭101能夠隨所述樞轉角度的變化相對于箱門2樞轉，以便與箱體1的入口保持對準，并因此采集箱體1內的食材的圖像信息。第二攝像頭102安裝在箱體1上，且安裝位置設置在遠離轉軸5的一側，即，靠近安裝有第一攝像頭101的一側。此外，第二攝像頭102能夠隨所述樞轉角度的變化相對于箱體1樞轉，以便與箱門2的內表面保持對準，并因此采集箱門2內的食材的圖像信息。需要說明的是，“對準”既可以是與箱體1的入口或箱門2的內表面保持垂直，也可以是與箱體1的入口或箱門2的內表面成其他角度，只要第一攝像頭101/第二攝像頭102能夠清楚地采集到箱門2/箱體1內的食材的圖像即可。本領域技術人員能夠理解的是，第一攝像頭101和第二攝像頭102的安裝位置設置為，使得當箱門2相對于箱體1打開到一定程度時，第一攝像頭101/第二攝像頭102能夠在最佳距離以最佳角度進行拍攝，從而能夠最清楚地采集到箱門2/箱門1內的食材的圖像信息。本領域技術人員能夠理解的是，優(yōu)選地，第一攝像頭101和/或第二攝像頭102是廣角高速攝像頭。

下面參閱圖2，該圖為本發(fā)明的基于圖像識別的冰箱食材管理系統(tǒng)的系統(tǒng)控制圖。如圖2所示，除了圖像采集裝置100和角度傳感器6，該冰箱食材管理系統(tǒng)還包括主控模塊10，主控模塊10與圖像采集裝置100和角度傳感器6相連，具體地，主控模塊10與第一攝像頭101、第二攝像頭102和角度傳感器6連通。角度傳感器6能夠檢測箱門2相對于箱體1的樞轉角度，并實時將所述樞轉角度的數(shù)據(jù)傳輸給主控模塊10。同時，主控模塊10能夠根據(jù)角度傳感器6檢測到的角度信息控制第一攝像頭101和第二攝像頭102的樞轉角度。另外，該冰箱食材管理系統(tǒng)還包括照明控制模塊20和設置在所述冰箱上的光線傳感器30，照明控制模塊20用于控制設置在所述冰箱中的照明燈50，當?shù)谝粩z像頭101和第二攝像頭102采集圖像時，照明控制模塊20能夠根據(jù)光線傳感器30檢測到的環(huán)境亮度選擇性地開啟所述冰箱中的照明燈50，以便第一攝像頭101和第二攝像頭102能夠采集到更清晰的圖像信息。需要說明的是，當主控模塊10控制圖像采集裝置100采集所述冰箱內的圖像信息時，照明控制模塊20能夠通過光線傳感器30檢測所述冰箱內的亮度。同時，當照明控制模塊20通過光線傳感器30檢測到所述冰箱內的亮度小于一定閾值時，照明控制模塊20控制所述冰箱中的照明燈50開啟，以便圖像采集裝置100能夠采集到足夠清晰的圖像信息。

繼續(xù)參閱圖2，該冰箱食材管理系統(tǒng)還包括溫度控制模塊40，主控模塊10能夠根據(jù)圖像采集裝置100采集到的圖像信息來判斷食材類型，并且計算或查詢出被拍攝食材的最佳儲存溫度，進而通過溫度控制模塊40將所述冰箱內的溫度設置為適合所述食材的最佳儲存溫度。另外，第一攝像頭101和/或第二攝像頭102上設置有加熱片，所述加熱片能夠加熱第一攝像頭101和/或第二攝像頭102的鏡片，以便除霧和除霜，從而使得第一攝像頭101和第二攝像頭102能夠更清楚地采集到所述冰箱中的圖像信息。

重新參閱圖1，在優(yōu)選的實施方式中，當用戶打開所述冰箱的箱門2時，角度傳感器20將檢測到的箱門2相對于箱體1的樞轉角度實時傳輸給主控模塊10。當主控模塊10通過角度傳感器20檢測到箱門2相對于箱體1打開至60°時，主控模塊10控制第一攝像頭101相對于箱門2樞轉60°，使得第一攝像頭101與箱體1的入口平面保持基本垂直。同時，主控模塊10控制第二攝像頭102相對于箱體1樞轉60°，使得第二攝像頭102與箱門2的內表面保持基本垂直。此外，照明控制模塊20根據(jù)光線傳感器30檢測到的所述冰箱內的亮度選擇性地開啟所述冰箱中的照明燈50，設置在第一攝像頭101和/或第二攝像頭102上的加熱片根據(jù)需要選擇性地加熱第一攝像頭101和/或第二攝像頭102的鏡片，實現(xiàn)除霧和除霜的功能。此時，主控模塊10控制圖像采集裝置100采集所述冰箱中的圖像信息。本領域技術人員能夠理解的是，將圖像采集裝置100采集圖像信息的時間設置在箱門2相對于箱體1樞轉60°的時刻是符合人體工程學原理的，具體地，由于絕大部分用戶都會在將箱門2相對于箱體1打開至60°時拿出或放入食材，因此，圖像采集模塊7在此刻采集所述冰箱中的圖像信息能夠大幅度提高進出冰箱的食材的識別準確率。

繼續(xù)參閱圖1，在另一個優(yōu)選的實施方式中，當用戶打開所述冰箱的箱門2時，角度傳感器20將檢測的箱門2相對于箱體1的樞轉角度實時傳輸給主控模塊10，主控模塊10控制第一攝像頭101和第二攝像頭102隨箱門2與箱體1之間的角度變化而動態(tài)樞轉，以便使第一攝像頭101與箱體1的入口保持對準(例如大體上垂直)，并且使第二攝像頭102與箱門2的內表面保持對準(例如大體上垂直)。當角度傳感器20檢測到箱門2相對于箱體1打開至60°時，第一攝像頭101與箱門2大致成30°(即，轉過了60°)，第二攝像頭102與箱體1的入口表面大致成30°(即，轉過了60°)，主控模塊10控制第一攝像頭101和第二攝像頭102采集所述冰箱中的食材的圖像信息。同時，照明控制模塊20選擇性地根據(jù)光線傳感器30檢測到的所述冰箱內的光線強度選擇性地開啟所述冰箱中的照明燈50，設置在第一攝像頭101和/或第二攝像頭102上的加熱片加熱第一攝像頭101和/或第二攝像頭102的鏡片，實現(xiàn)除霧和除霜的功能。如上所述，將圖像采集裝置100采集圖像信息的時間設置在箱門2相對于箱體1樞轉60°的時刻是符合人體工程學原理的，具體地，由于絕大部分用戶都會在將箱門2相當于箱體1打開至60°時拿出或放入食材，因此，圖像采集模塊7在此刻采集所述冰箱中的圖像信息能夠大幅度提高所述圖像信息的清晰度。

繼續(xù)參閱圖2，該食材管理系統(tǒng)還包括Wifi射頻模塊60，主控模塊10通過Wifi射頻模塊60與路由器70相連，進而與移動終端80相連通，同時通過Internet與后臺服務器90連通，使得主控模塊10、移動終端80與后臺服務器90之間能夠實現(xiàn)信息交互。同時，用戶能夠通過移動終端80查看主控模塊10和/或后臺服務器90中的信息，并據(jù)此管理所述冰箱中的食材。另外，主控模塊10和/或后臺服務器90能夠根據(jù)圖像采集裝置100采集到的圖像信息識別所述冰箱中的食材，并且記錄所述冰箱中的食材的拿出和放入信息，并形成食材信息列表，同時通過移動終端80將所述食材信息列表提供給用戶，以便用戶能夠查看和管理所述食材信息列表中的信息。需要說明的是，主控模塊10、移動終端80與后臺服務器90之間的連接方式也可以是有線連接或無線連接，只要主控模塊10、移動終端80與后臺服務器90之間能夠實現(xiàn)信息交互即可。

最后需要說明的是，雖然上面是結合食材來描述的，但是本發(fā)明的技術方案中的容納物也可以是其他需要冷藏或冷凍的物品。另外，當所述冰箱中的某種食材拿出和放入的次數(shù)達到一定閾值時，主控模塊10能夠自動記錄該種食材，并且根據(jù)該種食材的儲存情況為用戶提供采購意見，同時自動在電商中形成購物列表提供給用戶參考。

至此，已經(jīng)結合附圖描述了本發(fā)明的技術方案，但是，本領域技術人員容易理解的是，本發(fā)明的保護范圍顯然不局限于這些具體實施方式。在不偏離本發(fā)明的原理的前提下，本領域技術人員可以對相關技術特征作出等同的更改或替換，這些更改或替換之后的技術方案都將落入本發(fā)明的保護范圍之內。