一種彈性傳感數據平臺的制作方法
【技術領域】
[0001] 本發(fā)明涉及對傳感數據的存儲和應用平臺，尤其涉及一種基于用戶貢獻傳感數據 的彈性存儲和應用平臺，屬于物聯(lián)網和傳感信息數據管理領域。
【背景技術】
[0002] 隨著智慧城市應用及個人智能移動裝置的普及，我們正處在一個傳感數據爆炸的 年代。雖然目前已存在一些傳感數據存儲和管理平臺，但數據的真正價值并沒有被充分挖 掘。目前沒有一個平臺，能在數據存儲的基礎上，將數據轉化為可用的產品，這成為大數據 和傳感網絡中的一個重要課題。在本發(fā)明針對目前面臨的主要問題和需求，并提出解決方 案：彈性傳感數據平臺。在此平臺中，用彈性的傳感數據存儲，靈活的傳感數據檢索，方便的 應用開發(fā)環(huán)境，和有效的數據產品市場，來支持從傳感大數據到數據產品的整個生命周期。 系統(tǒng)可以讓使用者融合不同來源的傳感數據，整合多樣的分析模型，快速建構出數據應用 產品。
[0003] 傳感網絡是用傳感器獲得關于某個物理、工程或者社會系統(tǒng)數據的一種基礎設 施。近年來，傳感網絡在污染檢測、安全監(jiān)控、健康醫(yī)療、城市規(guī)劃等很多領域得到廣泛應 用。在此領域，大致經歷了以下三代系統(tǒng)的發(fā)展過程：
[0004] 第一代傳感數據平臺著重于數據存儲和查詢，如Aurora和Cougar,這類平臺提供 了基本的數據查詢功能，但對用戶間的數據分享和協(xié)作沒有做明確定義。
[0005] 在第二代系統(tǒng)中，數據來源比較固定，然而增強了用戶數據分享和協(xié)作的功能，例 如CitySense為用戶提供了一個開放的基礎設施，使得用戶可以在城市尺度下隊現(xiàn)有傳感 網絡進行重新編碼和應用。DiscoveryNet使得用戶可以對其傳感數據進行工作流開發(fā)，并 提供了一些數據融合功能，用戶可以分享其數據和分析結果。
[0006] 在第三代系統(tǒng)中，任何用戶都可以提供傳感數據，并進行分享和協(xié)作。例如 Xively(早先叫Pachube及Cosm)使得用戶可以任意注冊傳感數據源，并實時分享這些數據 源，且提供了包括實時觸發(fā)器等的數據分析工具。
[0007] 隨著這些發(fā)展，傳感器及傳感網絡正變得無處不在，傳感數據量爆炸式增長。類似 智慧城市的概念越來越普遍，越來越多的政府、企業(yè)和組織，開始部署其傳感網絡，收集他 們感興趣的數據，及開展其所需的數據分析和應用。
[0008] 個人也開始參與其中：智能手機變得越來越普遍，而智能手機上裝載了越來越多 的傳感器，例如定位裝置，光照傳感器等。同時，除智能手機之外的各種低價、輕便、容易 使用的傳感器設備走進個人生活，使用戶更清楚地了解自己，例如我們現(xiàn)在可以用Emotiv EEG在家檢測自己的腦電波，或者用Fitbit來記錄每天的運動量。
[0009] 這些傳感數據，從微觀上說，可以為這些社會單位或個人創(chuàng)造價值；從宏觀上說， 這些數據反映了整體社會的動態(tài)性，提供了決策的依據，例如將用戶的出行數據進行整合 分析之后，就能對城市整體交通規(guī)劃提供依據。
[0010] 然而，目前這些數據仍沒有發(fā)揮其最大的作用，其中的主要問題包括： toon] 1)大數據環(huán)境下的數據收集和管理：毫無疑問，數據對于收集者來說是有價值 的，收集者往往也是（唯一的）使用者。然而目前這種"數據收集者即使用者"的模式漸漸 收到挑戰(zhàn)：一方面，這些數據對其他用戶來說也存在價值；另一方面，不同數據融合時常能 創(chuàng)造更大的價值。所以，我們需要將數據開放，將數據收集者和使用者角色分離。為了實現(xiàn) 這種開放，需要解決很多問題：如何為用戶存儲數據，特別當用戶數量和數據容量非常大， 從而造成大數據問題時，如何檢索和發(fā)現(xiàn)數據，用什么手段鼓勵用戶開放數據，以及在開放 的環(huán)境下，如何保護私隱數據等。
[0012] 2)多源、異構數據融合與檢索：當用戶開始開放數據時，對同一個對象，會出描述 現(xiàn)多源數據，例如當一個交通堵塞發(fā)生時，數據源可以包括GPS數據，攝像頭數據，用戶報 告等等。這些數據擁有不同的采樣率、精度、語義、格式、存儲位置等；為了理解目標對象，并 進行查詢，分析和應用，我們該如何融合數據，特別是在數據維度非常高，數據容量非常大， 且數據存儲是分布式的情況下。
[0013] 3)傳感大數據的應用和產品：Tim O'Reilly認為數據是下一個"Intel Inside"， 即計算的動力。然而事實上動力并非來自于數據，而在于利用數據。雖然目前有很多建立 在數據之上的應用，我們仍然缺乏方便的數據產品構建工具；更為重要的是，目前缺乏一個 經濟模型，或生態(tài)環(huán)境，來鼓勵將數據轉化為數據產品的過程。
[0014] 這些問題阻礙了傳感數據更一步地發(fā)揮作用。雖然存在一些研究和工業(yè)實踐，對 于以上的某些問題提供了解決方法，但仍缺乏對傳感數據整個生命周期的支持，在實際應 用中缺乏有效的平臺。針對這些問題，本發(fā)明設計了彈性傳感數據平臺，它包含了從數據存 儲到檢索，從數據應用開發(fā)到數據產品市場的不同層次，可以支持從數據到數據產品的整 個生命周期。

【發(fā)明內容】

[0015] 本發(fā)明所涉及的彈性傳感數據平臺實現(xiàn)了以下功能和需求：
[0016] 1.異構數據存儲：平臺在數據存儲上采用多用戶模式，任何用戶都能利用平臺存 儲其數據。從單用戶模式到多用戶模式：在單用戶模式中，對于數據使用者來說，數據語義 是明確的，格式是規(guī)范的，數據是一致的；而在多用戶模式中，不同的數據源有不同的語義、 格式、數據值等。
[0017] 2.容量和性能：從數據容量和性能上來說，多用戶模式帶來大數據，以及更頻繁 的數據訪問，所以對系統(tǒng)的容量和性能要求更高。
[0018] 3.用戶協(xié)作和開放：當采用多用戶模式之后，用戶不僅可見自己的數據，也能發(fā) 現(xiàn)其他用戶的數據。系統(tǒng)設計鼓勵用戶去發(fā)現(xiàn)其他用戶的數據，同時更開放地共享自己的 數據，并提供工具以促進用戶間的協(xié)作，及提供社會網工具，協(xié)助用戶在平臺上交流。
[0019] 4.數據融合：同一目標對象的多數據進行數據融合，為此系統(tǒng)需要一個機制來溝 通不同格式、不同語義的數據，本發(fā)明采用的方式是為每個數據源建立語義，并通過語義融 合的方式進行數據融合。
[0020] 5.數據查詢和發(fā)現(xiàn)：平臺需要支持對大數據、異構數據的統(tǒng)一查詢方式，從而促 進數據的進一步分析利用。查詢中需要支持語義，進行基本的推理。且傳感數據往往根據 地理位置進行索引，故系統(tǒng)的查詢需要支持基于地理位置的查詢。另外，數據的查詢結果如 何呈現(xiàn)，如何幫助用戶發(fā)現(xiàn)其感興趣的數據，也是系統(tǒng)設計中需要考慮的問題。
[0021] 6.數據分析模型：當數據被用于推理、決策等任務時，我們需要對數據做分析、建 模等處理。雖然目前有很多針對不同領域的專門數據分析處理工具，本發(fā)明提供了平臺級 的，統(tǒng)一的分析框架，提供了一個靈活機制來鼓勵用戶創(chuàng)建、使用和分享其數據模型。
[0022] 7.數據應用開發(fā)支持：目前，數據應用的開發(fā)者需要建立自己的開發(fā)環(huán)境和部署 環(huán)境（包括基于云的環(huán)境），自行連接數據源，分析處理數據，編寫應用程序邏輯，并發(fā)布應 用；本發(fā)明為應用開發(fā)提供更好的支持，簡化開發(fā)的過程，節(jié)省應用程序開發(fā)的資源消耗。
[0023] 8.經濟模型支持：Hal Varian認為阻礙數據被進一步利用的障礙不在于技術，而 在于缺乏經濟模型。我們認為，從數據到數據產品的整個生命周期，亦是一個數據的增值過 程：從未經清理的數據到清理過的數據，從未整合的數據到整合過的數據，從未建模的數據 到數據模型，從數據模型到模型的應用，每一個步驟，參與者都通過其計算、操作、分析等工 作，為數據添加附加價值。相應地，本發(fā)明建立此生態(tài)環(huán)境，為每一個步驟的參與者提供回 報，保證此回報合理，并激勵參與者的進一步參與。
[0024] 為了滿足前述需求，在彈性傳感數據平臺中，其中從下到上主要包括四個層次 (附圖1):數據存儲、數據檢索、數據應用開發(fā)和數據產品市場，支持了從傳感數據到數據 產品的整個生命周期。數據存儲層提供了海量傳感數據的多用戶海量存儲，支持靈活的數 據語義格式，及通用的數據訪問接口；數據檢索層，實現(xiàn)了數據融合以及數據的通用檢索； 在數據應用開發(fā)層，提供