一種瀏覽云端海量數(shù)據(jù)的方法及裝置制造方法
【專利摘要】本申請(qǐng)公開了一種瀏覽云端海量數(shù)據(jù)的方法及裝置，其中所述方法包括：由云端存儲(chǔ)的完整數(shù)據(jù)中預(yù)采樣一指定大小的數(shù)據(jù)段放置到本地內(nèi)存；根據(jù)用戶的輸入設(shè)置所述數(shù)據(jù)段的數(shù)據(jù)格式，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性；在所述數(shù)據(jù)格式合法時(shí)，根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存；使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段并展現(xiàn)。本申請(qǐng)通過(guò)對(duì)一小段采樣數(shù)據(jù)的處理就可以獲知數(shù)據(jù)格式的設(shè)定是否合理，進(jìn)而可以將合理的數(shù)據(jù)格式推廣至云端存儲(chǔ)的完整數(shù)據(jù)；同時(shí)在進(jìn)行原始數(shù)據(jù)快速預(yù)覽時(shí)，快速地讀取指定位置的數(shù)據(jù)內(nèi)容。
【專利說(shuō)明】一種瀏覽云端海量數(shù)據(jù)的方法及裝置
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，具體涉及一種瀏覽云端海量數(shù)據(jù)的方法及裝置。
【背景技術(shù)】
[0002]隨著云計(jì)算的發(fā)展，海量數(shù)據(jù)中數(shù)據(jù)表的概念已經(jīng)不再是傳統(tǒng)意義上的單個(gè)數(shù)據(jù)文件，在很多情況下，一個(gè)目錄下的所有數(shù)據(jù)文件都屬于一張數(shù)據(jù)表，且每張數(shù)據(jù)表的總字節(jié)數(shù)已經(jīng)達(dá)到了 TB級(jí)別(Terabyte太字節(jié))。同時(shí)數(shù)據(jù)庫(kù)里面也不再只是十幾張數(shù)據(jù)表，通常在數(shù)百?gòu)埳踔恋綆浊?，且每張?shù)據(jù)表中的字段數(shù)也在數(shù)十個(gè)以上，而且經(jīng)常隨著業(yè)務(wù)發(fā)展在變化。
[0003]在這樣的海量數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析，必須具備快捷的數(shù)據(jù)格式定義和編輯功能，同時(shí)還必須具備對(duì)原始數(shù)據(jù)進(jìn)行靈活快速預(yù)覽的功能。而現(xiàn)有技術(shù)中修改云端數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)格式，需要將云端數(shù)據(jù)全部下載后使用數(shù)據(jù)格式對(duì)全部云端數(shù)據(jù)進(jìn)行加載才能夠生成預(yù)覽；對(duì)于達(dá)到TB級(jí)別的完整數(shù)據(jù)在網(wǎng)絡(luò)上下載所耗費(fèi)的時(shí)間和資源都是驚人的，下載數(shù)據(jù)、進(jìn)行一次數(shù)據(jù)格式加載并展現(xiàn)數(shù)據(jù)所占用的時(shí)間往往可達(dá)到5分鐘甚至更長(zhǎng)。因此，現(xiàn)有技術(shù)的缺陷主要在于，現(xiàn)有操作需要將海量的完整數(shù)據(jù)通過(guò)網(wǎng)絡(luò)下載到本地，這導(dǎo)致了數(shù)據(jù)呈現(xiàn)的速度和效率必然受到極大影響，并且由于需要下載存儲(chǔ)海量數(shù)據(jù)本地硬盤的存儲(chǔ)空間也要相應(yīng)增加，這也將成為一種額外的負(fù)擔(dān)。
[0004]再者，對(duì)于原始數(shù)據(jù)表的預(yù)覽，現(xiàn)有技術(shù)默認(rèn)只能從首行開始預(yù)覽，如果需要預(yù)覽數(shù)據(jù)表中某一行數(shù)據(jù)時(shí)，則需要下載該表對(duì)應(yīng)的數(shù)據(jù)文件首到指定行之間的完整數(shù)據(jù)后方能開始展現(xiàn)。因此，現(xiàn)有技術(shù)的缺陷還在于，需要消耗較大內(nèi)存且需要等待較長(zhǎng)的磁盤讀寫時(shí)間，對(duì)于網(wǎng)絡(luò)下載完整數(shù)據(jù)本身所消耗的時(shí)間和資源也會(huì)極大降低用戶體驗(yàn)；同時(shí)也缺乏讓用戶可以對(duì)數(shù)據(jù)表中某個(gè)指定位置的數(shù)據(jù)進(jìn)行瀏覽的功能，缺乏靈活性。
[0005]同時(shí)，現(xiàn)有技術(shù)的缺陷還在于，編輯數(shù)據(jù)文件的數(shù)據(jù)格式時(shí)，用戶需要進(jìn)行數(shù)據(jù)格式中的多個(gè)參數(shù)進(jìn)行修改，但是現(xiàn)有技術(shù)缺乏編輯與預(yù)覽同時(shí)進(jìn)行的功能，無(wú)法在進(jìn)行每一個(gè)參數(shù)修改后就實(shí)時(shí)獲取到數(shù)據(jù)格式修改后的數(shù)據(jù)，必須要等到對(duì)數(shù)據(jù)格式中的所有參數(shù)都完成編輯后才能看到數(shù)據(jù)格式最終的修改效果，這就導(dǎo)致數(shù)據(jù)格式修改后所得到的數(shù)據(jù)的呈現(xiàn)效果不能被及時(shí)獲知，無(wú)法直觀地判斷數(shù)據(jù)格式的修改是否為期望的目標(biāo)，只要出現(xiàn)一處錯(cuò)錯(cuò)誤，就得回退到之前編輯界面重新調(diào)整數(shù)據(jù)結(jié)構(gòu)，這一缺陷勢(shì)必會(huì)造成整個(gè)編輯過(guò)程的效率低下，甚至造成用戶通常需要多次修正才能找到適合的數(shù)據(jù)結(jié)構(gòu)，從而帶來(lái)大量的無(wú)用的額外操作。
[0006]此外，現(xiàn)有技術(shù)的缺陷還在于，編輯數(shù)據(jù)文件的數(shù)據(jù)格式時(shí)，用戶需要進(jìn)行數(shù)據(jù)格式中的多個(gè)參數(shù)進(jìn)行修改，現(xiàn)有技術(shù)不能實(shí)時(shí)地在每一個(gè)參數(shù)修改后就自動(dòng)檢測(cè)修改的合法性，必須等到對(duì)數(shù)據(jù)格式中的所有參數(shù)都完成編輯后才能夠獲知數(shù)據(jù)格式修改的合法性，這一缺陷顯然也會(huì)引起編輯過(guò)程的效率低下，尤其對(duì)于數(shù)據(jù)格式的設(shè)置經(jīng)驗(yàn)不足的用戶來(lái)說(shuō)。
[0007]最后，現(xiàn)有技術(shù)的缺陷還在于，對(duì)數(shù)據(jù)格式進(jìn)行多次修改后，現(xiàn)有技術(shù)不能保存完整的修改記錄，使得用戶無(wú)法查看詳細(xì)的修改歷史，同時(shí)在當(dāng)前數(shù)據(jù)格式修改發(fā)生異常時(shí)也不能進(jìn)行回溯，無(wú)法保證數(shù)據(jù)格式修改的安全性。

【發(fā)明內(nèi)容】

[0008]本申請(qǐng)所要解決的技術(shù)問題在于提供一種瀏覽云端海量數(shù)據(jù)的方法及裝置，通過(guò)對(duì)一小段采樣數(shù)據(jù)的處理就可以獲知數(shù)據(jù)格式的設(shè)定是否合理，進(jìn)而可以將合理的數(shù)據(jù)格式推廣至云端存儲(chǔ)的完整數(shù)據(jù)，從而解決了需要將海量的完整數(shù)據(jù)全部下載下來(lái)之后才能驗(yàn)證數(shù)據(jù)格式的弊端，這種方式避免了海量數(shù)據(jù)全部下載到本地所消耗的時(shí)間和資源；同時(shí)在進(jìn)行原始數(shù)據(jù)快速預(yù)覽時(shí)，引入了讓用戶指定預(yù)覽位置的方式，快速地讀取指定位置的數(shù)據(jù)內(nèi)容，提高查詢效率的同時(shí)增加了數(shù)據(jù)預(yù)覽的用戶體驗(yàn)的靈活性，通過(guò)以上兩種方式在讀取、編輯數(shù)據(jù)格式時(shí)大大減少了重復(fù)性操作，處理效率顯著提升，在應(yīng)對(duì)海量數(shù)據(jù)分析和統(tǒng)計(jì)過(guò)程中處理效率的提升尤為明顯。
[0009]為了解決上述問題，本申請(qǐng)揭示了一種瀏覽云端海量數(shù)據(jù)的方法，包括:由云端存儲(chǔ)的完整數(shù)據(jù)中預(yù)采樣一指定大小的數(shù)據(jù)段放置到本地內(nèi)存；根據(jù)用戶的輸入設(shè)置所述數(shù)據(jù)段的數(shù)據(jù)格式，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性；在所述數(shù)據(jù)格式合法時(shí)，根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存；使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段并展現(xiàn)。
[0010]進(jìn)一步地，所述數(shù)據(jù)格式，包括以下一種或多種的組合:數(shù)據(jù)編碼類型、行分隔符、列分隔符、各列的列名及列數(shù)據(jù)類型。
[0011]進(jìn)一步地，根據(jù)用戶的輸入設(shè)置所述數(shù)據(jù)段的數(shù)據(jù)格式，包括:將所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存為歷史內(nèi)容并提供入口供查看；依據(jù)所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存回溯點(diǎn)，依據(jù)所述回溯點(diǎn)生成若干對(duì)應(yīng)的數(shù)據(jù)格式的版本供選擇回溯。
[0012]進(jìn)一步地，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性，包括:設(shè)置所述數(shù)據(jù)格式中的列名和列數(shù)據(jù)類型時(shí)，依據(jù)所述列名和列數(shù)據(jù)類型實(shí)時(shí)解析所述數(shù)據(jù)段并預(yù)覽所述數(shù)據(jù)段中任意行的各列數(shù)據(jù)供用戶判斷所述列名和列數(shù)據(jù)類型的合法性。
[0013]進(jìn)一步地，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性，包括:設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，如果檢測(cè)到當(dāng)前行分隔符使得所述數(shù)據(jù)段的行數(shù)小于等于1，或檢測(cè)到當(dāng)前列分隔符使得所述數(shù)據(jù)段的列數(shù)小于等于1，或檢測(cè)到當(dāng)前行分隔符和/或列分隔符使得所述數(shù)據(jù)段中列數(shù)不同的行數(shù)大于等于一門限，判定所述數(shù)據(jù)格式不合法。
[0014]進(jìn)一步地，在所述數(shù)據(jù)格式不合法時(shí)，給出錯(cuò)誤提示，生成檢測(cè)報(bào)告并展示，所述檢測(cè)報(bào)告包括以下一種或多種的組合:數(shù)據(jù)段的行數(shù)、各行所含的列數(shù)、數(shù)據(jù)編碼類型、行分隔符、列分隔符、各列的列名及列數(shù)據(jù)類型。
[0015]進(jìn)一步地，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性，包括:設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，展現(xiàn)使用所述行分隔符和/或列分隔符解析的所述數(shù)據(jù)段供用戶判斷所述數(shù)據(jù)格式的合法性。
[0016]進(jìn)一步地，根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存，包括:獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于行保存整理；根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐行截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移。
[0017]進(jìn)一步地，所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整行數(shù)據(jù)。
[0018]進(jìn)一步地，所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置或行數(shù)。
[0019]進(jìn)一步地，根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存，包括:獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于列保存整理；根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐列截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移。
[0020]進(jìn)一步地，所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整列數(shù)據(jù)。
[0021]進(jìn)一步地，所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置或列數(shù)。
[0022]進(jìn)一步地，云端存儲(chǔ)的完整數(shù)據(jù)基于行保存整理時(shí)，對(duì)所述完整數(shù)據(jù)中各行分別設(shè)置數(shù)據(jù)格式，所述每行的全部數(shù)據(jù)僅依據(jù)所在行的數(shù)據(jù)格式存儲(chǔ)。
[0023]進(jìn)一步地，云端存儲(chǔ)的完整數(shù)據(jù)基于列保存整理時(shí)，對(duì)所述完整數(shù)據(jù)中各列分別設(shè)置數(shù)據(jù)格式，所述每列的全部數(shù)據(jù)僅依據(jù)所在列的數(shù)據(jù)格式存儲(chǔ)。
[0024]進(jìn)一步地，設(shè)置數(shù)據(jù)格式的操作，包括以下一種或多種的組合的方式實(shí)現(xiàn):采用系統(tǒng)默認(rèn)的數(shù)據(jù)格式進(jìn)行設(shè)置、采用自定義的數(shù)據(jù)格式進(jìn)行設(shè)置并檢測(cè)合法性、參照一已設(shè)置過(guò)數(shù)據(jù)格式的數(shù)據(jù)表設(shè)置當(dāng)前數(shù)據(jù)表的數(shù)據(jù)格式。
[0025]為了解決上述問題，本申請(qǐng)揭示了一種瀏覽云端海量數(shù)據(jù)的裝置，包括:預(yù)采樣模塊，用于由云端存儲(chǔ)的完整數(shù)據(jù)中預(yù)采樣一指定大小的數(shù)據(jù)段放置到本地內(nèi)存；數(shù)據(jù)格式設(shè)置模塊，根據(jù)用戶的輸入設(shè)置所述數(shù)據(jù)段的數(shù)據(jù)格式，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性；數(shù)據(jù)截取模塊，在所述數(shù)據(jù)格式合法時(shí)，根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存；數(shù)據(jù)展現(xiàn)模塊，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段并展現(xiàn)。
[0026]進(jìn)一步地，所述數(shù)據(jù)格式，包括以下一種或多種的組合:數(shù)據(jù)編碼類型、行分隔符、列分隔符、各列的列名及列數(shù)據(jù)類型。
[0027]進(jìn)一步地，所述數(shù)據(jù)格式設(shè)置模塊，還用于在所述數(shù)據(jù)格式不合法時(shí)，給出錯(cuò)誤提示，生成檢測(cè)報(bào)告并展示，所述檢測(cè)報(bào)告包括以下一種或多種的組合:數(shù)據(jù)段的行數(shù)、各行所含的列數(shù)、數(shù)據(jù)編碼類型、行分隔符、列分隔符、各列的列名及列數(shù)據(jù)類型。
[0028]進(jìn)一步地，所述數(shù)據(jù)格式設(shè)置模塊，還用于將所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存為歷史內(nèi)容并提供入口供查看；依據(jù)所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存回溯點(diǎn)，依據(jù)所述回溯點(diǎn)生成若干對(duì)應(yīng)的數(shù)據(jù)格式的版本供選擇回溯。
[0029]進(jìn)一步地，所述數(shù)據(jù)格式設(shè)置模塊，設(shè)置所述數(shù)據(jù)格式中的列名和列數(shù)據(jù)類型時(shí)，用于依據(jù)所述列名和列數(shù)據(jù)類型實(shí)時(shí)解析所述數(shù)據(jù)段并預(yù)覽所述數(shù)據(jù)段中任意行的各列數(shù)據(jù)供用戶判斷所述列名和列數(shù)據(jù)類型的合法性。
[0030]進(jìn)一步地，所述數(shù)據(jù)格式設(shè)置模塊，設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，用于檢測(cè)到當(dāng)前行分隔符使得所述數(shù)據(jù)段的行數(shù)小于等于I時(shí)，或檢測(cè)到當(dāng)前列分隔符使得所述數(shù)據(jù)段的列數(shù)小于等于I時(shí)，或檢測(cè)到當(dāng)前行分隔符和/或列分隔符使得所述數(shù)據(jù)段中列數(shù)不同的行數(shù)大于等于一門限時(shí)，判定所述數(shù)據(jù)格式不合法。
[0031]進(jìn)一步地，所述數(shù)據(jù)格式設(shè)置模塊，設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，用于展現(xiàn)使用所述行分隔符和/或列分隔符解析的所述數(shù)據(jù)段供用戶判斷所述數(shù)據(jù)格式的合法性。
[0032]進(jìn)一步地，所述數(shù)據(jù)截取模塊，用于獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于行保存整理；根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐行截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移，所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整行數(shù)據(jù)；其中，所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置或行數(shù)。
[0033]進(jìn)一步地，所述數(shù)據(jù)截取模塊，用于獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于列保存整理；根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐列截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移，所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整列數(shù)據(jù)；其中，所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置或列數(shù)。
[0034]與現(xiàn)有技術(shù)相比，本申請(qǐng)可以獲得包括以下技術(shù)效果:
[0035]I)通過(guò)對(duì)一小段采樣數(shù)據(jù)的處理就可以獲知數(shù)據(jù)格式的設(shè)定是否合理，進(jìn)而可以將合理的數(shù)據(jù)格式推廣至云端存儲(chǔ)的完整數(shù)據(jù)，從而解決了需要將海量的完整數(shù)據(jù)全部下載下來(lái)之后才能驗(yàn)證數(shù)據(jù)格式的弊端，這種方式可以保證極高的處理效率，避免了海量數(shù)據(jù)全部下載到本地所消耗的時(shí)間和資源。
[0036]2)在設(shè)置列分隔符和/或行分隔符時(shí)，實(shí)時(shí)對(duì)被分隔數(shù)據(jù)進(jìn)行檢測(cè)以判斷行分隔符或者列分隔符的改變是否合法，使得用戶能夠迅速地找到合適的行/列分隔符，可以減少編輯的操作次數(shù)，顯著提高工作效率。
[0037]3)當(dāng)用戶編輯數(shù)據(jù)格式中的列名和列數(shù)據(jù)類型時(shí)，依據(jù)修改后的數(shù)據(jù)格式實(shí)時(shí)解析數(shù)據(jù)并實(shí)時(shí)預(yù)覽某一列中任意行的實(shí)例數(shù)據(jù)，可以同時(shí)編輯數(shù)據(jù)格式同時(shí)預(yù)覽，使得定義列名和編輯列數(shù)據(jù)類型變得更加方便直觀，提高格式定義編輯過(guò)程的效率。
[0038]4)在對(duì)數(shù)據(jù)格式進(jìn)行編輯之后，會(huì)自動(dòng)將此次修改的內(nèi)容詳細(xì)完整地存入數(shù)據(jù)庫(kù)，供用戶查看詳細(xì)的修改歷史；同時(shí)依據(jù)所述數(shù)據(jù)格式的修改內(nèi)容保存回溯點(diǎn)，并依據(jù)回溯點(diǎn)生成若干對(duì)應(yīng)的數(shù)據(jù)格式的版本供用戶選擇從而進(jìn)行回溯。
[0039]5)引入數(shù)據(jù)快速預(yù)覽功能，用戶指定瀏覽位置的偏移量，通過(guò)計(jì)算字節(jié)位移量，直接快速截取指定位置的原始數(shù)據(jù)內(nèi)容進(jìn)行下載并展現(xiàn)給用戶預(yù)覽，這樣不需要下載云端的完整數(shù)據(jù)，減少了內(nèi)存使用量，且降低了磁盤讀寫次數(shù)，提高了查詢效率；在用戶體驗(yàn)的設(shè)計(jì)上，可以輸入百分比，也可以通過(guò)鼠標(biāo)在滾動(dòng)條刻度尺上選擇位移量的百分比，提高了預(yù)覽的靈活性；同時(shí)還可以按照事先定義的數(shù)據(jù)格式讓用戶選擇由位移量開始向后展現(xiàn)多少行數(shù)據(jù)，這進(jìn)一步降低了內(nèi)存使用量且提高了查詢效率，并能進(jìn)一步提高用戶體驗(yàn)的靈活性。
[0040]當(dāng)然，實(shí)施本申請(qǐng)的任一產(chǎn)品必不一定需要同時(shí)達(dá)到以上所述的所有技術(shù)效果。
【專利附圖】

【附圖說(shuō)明】
[0041]此處所說(shuō)明的附圖用來(lái)提供對(duì)本申請(qǐng)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本申請(qǐng)的示意性實(shí)施例及其說(shuō)明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中:
[0042]圖1是本申請(qǐng)實(shí)施例的方法流程圖；
[0043]圖2是本申請(qǐng)實(shí)施例的第一應(yīng)用實(shí)例的示意圖；
[0044]圖3是本申請(qǐng)實(shí)施例的第二應(yīng)用實(shí)例的示意圖；
[0045]圖4是本申請(qǐng)實(shí)施例的第三應(yīng)用實(shí)例的示意圖；
[0046]圖5是本申請(qǐng)實(shí)施例的裝置結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0047]以下將配合附圖及實(shí)施例來(lái)詳細(xì)說(shuō)明本申請(qǐng)的實(shí)施方式，藉此對(duì)本申請(qǐng)如何應(yīng)用技術(shù)手段來(lái)解決技術(shù)問題并達(dá)成技術(shù)功效的實(shí)現(xiàn)過(guò)程能充分理解并據(jù)以實(shí)施。
[0048]本申請(qǐng)的豐要思想
[0049]由云端存儲(chǔ)的完整數(shù)據(jù)中預(yù)采樣一指定大小的數(shù)據(jù)段放置到本地內(nèi)存；根據(jù)用戶的輸入設(shè)置所述數(shù)據(jù)段的數(shù)據(jù)格式，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性；在所述數(shù)據(jù)格式合法時(shí)，根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存；使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段并展現(xiàn)。
[0050]本串請(qǐng)的應(yīng)用場(chǎng)景
[0051]支付寶的數(shù)據(jù)分析人員向個(gè)人用戶或單位用戶提供年終賬單時(shí)進(jìn)行帳目分析時(shí)，賬單數(shù)據(jù)是使用數(shù)據(jù)表的形式存儲(chǔ)整理，在進(jìn)行賬單數(shù)據(jù)瀏覽時(shí)適用于本申請(qǐng)的方案；
[0052]銀行或者淘寶對(duì)申請(qǐng)貸款的客戶進(jìn)行客戶審批信息的分析時(shí)，客戶審批信息往往包括用戶的信用記錄和交易記錄，一般是使用數(shù)據(jù)表的形式存儲(chǔ)整理，進(jìn)行分析時(shí)必然涉及海量數(shù)據(jù)瀏覽，適用于本申請(qǐng)的方案；
[0053]證券分析員對(duì)大盤進(jìn)行市值匯總分析及對(duì)個(gè)股進(jìn)行業(yè)績(jī)等績(jī)優(yōu)股評(píng)定時(shí)，股市信息往往是使用數(shù)據(jù)表的形式存儲(chǔ)整理，進(jìn)行股市分析時(shí)必然涉及海量數(shù)據(jù)瀏覽，適用于本申請(qǐng)的方案。
[0054]當(dāng)然，本申請(qǐng)并不限于以上應(yīng)用場(chǎng)景，還存在其他適用于涉及海量數(shù)據(jù)瀏覽及數(shù)據(jù)格式編輯的場(chǎng)景。
[0055]實(shí)施例描沭
[0056]下面以一實(shí)施例對(duì)本申請(qǐng)方法的實(shí)現(xiàn)作進(jìn)一步說(shuō)明。如圖1所示，為本申請(qǐng)實(shí)施例的方法流程圖，包括:[0057]步驟S10，由云端存儲(chǔ)的完整數(shù)據(jù)中預(yù)采樣一指定大小的數(shù)據(jù)段放置到本地內(nèi)存；
[0058]云端所存儲(chǔ)的完整數(shù)據(jù)已達(dá)到TB級(jí)別，對(duì)如此海量的完整數(shù)據(jù)在本地進(jìn)行操作是很困難的，將海量數(shù)據(jù)全部下載再執(zhí)行操作勢(shì)必會(huì)造成效率的低下；
[0059]此處考慮，預(yù)先下載指定大小的數(shù)據(jù)段作為采樣，一般將完整數(shù)據(jù)的前5-10KBytes下載到本地內(nèi)存作為采樣數(shù)據(jù)就可以了。相比現(xiàn)有技術(shù)一次下載數(shù)據(jù)再預(yù)覽需要將近5分鐘的響應(yīng)時(shí)間，應(yīng)用本申請(qǐng)方式的預(yù)覽幾乎是實(shí)時(shí)的。
[0060]步驟S11，根據(jù)用戶的輸入設(shè)置所述數(shù)據(jù)段的數(shù)據(jù)格式，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性；
[0061]數(shù)據(jù)格式(data format)是數(shù)據(jù)保存在數(shù)據(jù)文件或記錄中的編排格式，包括以下一種或多種的組合:數(shù)據(jù)編碼類型、行分隔符、列分隔符、各列的列名及列數(shù)據(jù)類型；期望對(duì)數(shù)據(jù)表內(nèi)的數(shù)據(jù)文件執(zhí)行某些操作或運(yùn)算，首先需要讀取對(duì)應(yīng)的數(shù)據(jù)格式才能夠進(jìn)行解析完成操作或運(yùn)算。數(shù)據(jù)格式說(shuō)明(schema)可以用于描述待處理的數(shù)據(jù)文件的數(shù)據(jù)結(jié)構(gòu)。本申請(qǐng)中的數(shù)據(jù)結(jié)構(gòu)即以數(shù)據(jù)結(jié)構(gòu)說(shuō)明為載體存在，當(dāng)然，本申請(qǐng)并不限于以數(shù)據(jù)結(jié)構(gòu)說(shuō)明為載體，還存在其他可以承載數(shù)據(jù)格式說(shuō)明的方式，符合本申請(qǐng)構(gòu)思的其他方式均屬于本申請(qǐng)的保護(hù)范圍。
[0062]在設(shè)置數(shù)據(jù)格式時(shí)，可以將所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存為歷史內(nèi)容并提供入口供查看；依據(jù)所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存回溯點(diǎn)，依據(jù)所述回溯點(diǎn)生成若干對(duì)應(yīng)的數(shù)據(jù)格式的版本供選擇回溯。
[0063]使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性，一般可以使用以下方式:
[0064]I)設(shè)置所述數(shù)據(jù)格式中的列名和列數(shù)據(jù)類型時(shí)，依據(jù)所述列名和列數(shù)據(jù)類型實(shí)時(shí)解析所述數(shù)據(jù)段并預(yù)覽所述數(shù)據(jù)段中任意行的各列數(shù)據(jù)供用戶判斷所述列名和列數(shù)據(jù)類型的合法性；使得用戶修改列名和列數(shù)據(jù)類型時(shí)更加方便直觀，提高編輯效率。
[0065]如圖2所示，為第一應(yīng)用實(shí)例的示意圖，圖中，我們可以看到當(dāng)用戶定義并編輯好【列名】和【列數(shù)據(jù)類型】后，用戶可以在右側(cè)上方的方框內(nèi)輸入需要預(yù)覽的某一行的實(shí)例數(shù)據(jù)(比如輸入1，代表第I行)，然后在方框下方的數(shù)據(jù)欄中將顯示該行數(shù)據(jù)對(duì)應(yīng)的各列數(shù)據(jù)內(nèi)容，這樣有利于用戶更好地理解數(shù)據(jù)，同時(shí)也便于他校對(duì)自己對(duì)各字段的格式定義是否正確。
[0066]2)設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，如果檢測(cè)到當(dāng)前行分隔符使得所述數(shù)據(jù)段的行數(shù)小于等于1，或檢測(cè)到當(dāng)前列分隔符使得所述數(shù)據(jù)段的列數(shù)小于等于1，或檢測(cè)到當(dāng)前行分隔符和/或列分隔符使得所述數(shù)據(jù)段中列數(shù)不同的行數(shù)大于等于一門限，判定所述數(shù)據(jù)格式不合法；如上所述在修改行分隔符和/或列分隔符時(shí)對(duì)所述數(shù)據(jù)段進(jìn)行檢測(cè)以判斷分隔符和/ 或列分隔符是否合法，使得用戶能夠迅速地找到合適的行/列分隔符，顯著提高工作效率。
[0067]如圖3所示，為第二應(yīng)用實(shí)例的示意圖，在圖中，用戶可定義數(shù)據(jù)編碼類型、行分隔符和列分隔符，在數(shù)據(jù)預(yù)覽窗口中按當(dāng)前格式來(lái)展現(xiàn)采樣的數(shù)據(jù)段(數(shù)據(jù)預(yù)覽窗口最多顯示500行數(shù)據(jù))。第一次展現(xiàn)數(shù)據(jù)或用戶改變行分隔符和/或列分隔符時(shí)，會(huì)啟用智能判斷自動(dòng)對(duì)數(shù)據(jù)進(jìn)行檢測(cè)，即判斷當(dāng)前的行或列分隔符是否合理。例如:當(dāng)采用當(dāng)前的行分隔符，使得數(shù)據(jù)段的行數(shù)小于等于I時(shí)；或者當(dāng)采用當(dāng)前的列分隔符，使得數(shù)據(jù)的列數(shù)小于等于I時(shí)；或者當(dāng)前行分隔符和/或列分隔符使得前500行數(shù)據(jù)的各行中列數(shù)非常不一致時(shí)，一般是檢測(cè)所述數(shù)據(jù)段中列數(shù)不同的行數(shù)大于等于一門限(統(tǒng)計(jì)出各行的列數(shù)放到集合A中，假設(shè)A= {1，2，3，4，5，I, 5}，然后求出集合A中一共有5種列數(shù)，即{1，2，3，4，5}，如果列數(shù)大于等于5種，則認(rèn)為列數(shù)非常不一致；在圖3的提示框中會(huì)給出“行或者列分隔符不合理，建議用戶修改”的提示；
[0068]3)設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，展現(xiàn)使用所述行分隔符和/或列分隔符解析的所述數(shù)據(jù)段供用戶直接通過(guò)所展現(xiàn)的數(shù)據(jù)來(lái)判斷所述數(shù)據(jù)格式的合法性；這種方式可以作為方式I和2的有益補(bǔ)充。
[0069]另外，對(duì)于以上方式I和2，在判定所述數(shù)據(jù)格式不合法時(shí)，除了給出錯(cuò)誤提示，還可以生成檢測(cè)報(bào)告并展示以便用戶進(jìn)行深層次判斷，所述檢測(cè)報(bào)告包括以下一種或多種的組合:數(shù)據(jù)段的行數(shù)、各行所含的列數(shù)、數(shù)據(jù)編碼類型、行分隔符、列分隔符、各列的列名及列數(shù)據(jù)類型。
[0070]通過(guò)步驟SlO-Sll對(duì)一小段采樣數(shù)據(jù)的處理就可以獲知數(shù)據(jù)格式的設(shè)定是否合理，進(jìn)而通過(guò)下面步驟S12-S13可以將合理的數(shù)據(jù)格式推廣至云端存儲(chǔ)的完整數(shù)據(jù)，從而解決了需要將海量的完整數(shù)據(jù)全部下載下來(lái)之后才能驗(yàn)證數(shù)據(jù)格式的弊端，這種方式可以保證極高的處理效率，避免了海量數(shù)據(jù)全部下載到本地所消耗的時(shí)間和資源。
[0071]步驟S12，在所述數(shù)據(jù)格式合法時(shí)，根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存；
[0072]在用戶瀏覽數(shù)據(jù)時(shí)，真正對(duì)于呈現(xiàn)有意義的數(shù)據(jù)其實(shí)只是用戶所意圖瀏覽的那部分，此時(shí)如現(xiàn)有技術(shù)將海量數(shù)據(jù)全部下載到本地則顯得沒有必要，而且也會(huì)造成效率降低及資源浪費(fèi)。因此考慮實(shí)時(shí)截取用戶所意圖瀏覽的小塊數(shù)據(jù)下載到本地并呈現(xiàn)，所有操作在本地內(nèi)存中完成，速度和效率都得到進(jìn)一步提高，而且相比于下載整個(gè)海量數(shù)據(jù)，只在網(wǎng)絡(luò)中下載所需的小塊數(shù)據(jù)，可以極大避免網(wǎng)絡(luò)對(duì)于數(shù)據(jù)呈現(xiàn)所造成的速度和效率上的影響，而且也避免了因需要存儲(chǔ)海量數(shù)據(jù)而對(duì)于本地硬盤的存儲(chǔ)空間的要求。相比現(xiàn)有技術(shù)30秒的響應(yīng)時(shí)間，應(yīng)用本申請(qǐng)方式瀏覽所占用的時(shí)間可以忽略不計(jì)，用戶基本上感覺不出，瀏覽效率極高。
[0073]在實(shí)際操作中，截取相應(yīng)大小的數(shù)據(jù)段的操作要考慮數(shù)據(jù)表的保存方式:1)獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于行保存整理，例如淘寶數(shù)據(jù)表中每行對(duì)應(yīng)一個(gè)用戶，每行內(nèi)各列對(duì)應(yīng)存儲(chǔ)所述用戶的各項(xiàng)數(shù)據(jù)；根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐行截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移，所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置，當(dāng)然也可以將比例位置換算成行數(shù)；
[0074]所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整行數(shù)據(jù)，從而保證了向用戶呈現(xiàn)數(shù)據(jù)的完整性；云端存儲(chǔ)的完整數(shù)據(jù)基于行保存整理時(shí)，對(duì)所述完整數(shù)據(jù)中各行分別設(shè)置數(shù)據(jù)格式，所述每行的全部數(shù)據(jù)僅依據(jù)所在行的數(shù)據(jù)格式存儲(chǔ)。
[0075]如圖4所示，為第三應(yīng)用實(shí)例的示意圖，在圖中，用戶可以在數(shù)據(jù)預(yù)覽頁(yè)的下方的“【】％ ”方框內(nèi)，輸入希望預(yù)覽的指定位置的字節(jié)百分比，或者通過(guò)鼠標(biāo)在位置滾動(dòng)刻度條上進(jìn)行快速的百分比選擇，同時(shí)通過(guò)在“顯示【】行”的方框內(nèi)，輸入在指定位置需要顯示多少行數(shù)據(jù)，然后點(diǎn)擊“Go”按鈕來(lái)實(shí)現(xiàn)快速靈活地預(yù)覽指定位置指定數(shù)據(jù)量的數(shù)據(jù)。
[0076]2)獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于列保存整理，例如淘寶數(shù)據(jù)表中每列對(duì)應(yīng)一個(gè)用戶，每列內(nèi)各行對(duì)應(yīng)存儲(chǔ)所述用戶的各項(xiàng)數(shù)據(jù)；根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐列截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移，所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置，當(dāng)然也可以將比例位置換算成列數(shù)；
[0077]所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整列數(shù)據(jù)，從而保證了向用戶呈現(xiàn)數(shù)據(jù)的完整性；云端存儲(chǔ)的完整數(shù)據(jù)基于行保存整理時(shí)，對(duì)所述完整數(shù)據(jù)中各行分別設(shè)置數(shù)據(jù)格式，所述每行的全部數(shù)據(jù)僅依據(jù)所在行的數(shù)據(jù)格式存儲(chǔ)。
[0078]步驟S13，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段并展現(xiàn)。
[0079]數(shù)據(jù)格式的設(shè)置
[0080]云端存儲(chǔ)的完整數(shù)據(jù)基于行保存整理時(shí)，對(duì)所述完整數(shù)據(jù)中各行分別設(shè)置數(shù)據(jù)格式，所述每行的全部數(shù)據(jù)僅依據(jù)所在行的數(shù)據(jù)格式存儲(chǔ)；云端存儲(chǔ)的完整數(shù)據(jù)基于列保存整理時(shí)，對(duì)所述完整數(shù)據(jù)中各列分別設(shè)置數(shù)據(jù)格式，所述每列的全部數(shù)據(jù)僅依據(jù)所在列的數(shù)據(jù)格式存儲(chǔ)。將數(shù)據(jù)表中數(shù)據(jù)本身和數(shù)據(jù)格式分離存儲(chǔ)，某行內(nèi)或者某列內(nèi)的多個(gè)數(shù)據(jù)依據(jù)統(tǒng)一數(shù)據(jù)格式存儲(chǔ)即可，在讀取、編輯數(shù)據(jù)格式時(shí)大大減少了重復(fù)性操作，處理效率顯著提升，在應(yīng)對(duì)海量數(shù)據(jù)分析和統(tǒng)計(jì)過(guò)程中處理效率的提升尤為明顯。
[0081]設(shè)置數(shù)據(jù)格式的UI界面可以采用交互式幫助實(shí)用程序(wizard)方式進(jìn)行設(shè)計(jì)，支持用戶隨意調(diào)整選擇。設(shè)置數(shù)據(jù)格式`的操作，包括以下一種或多種的組合的方式實(shí)現(xiàn):采用系統(tǒng)默認(rèn)的數(shù)據(jù)格式進(jìn)行設(shè)置、采用自定義的數(shù)據(jù)格式進(jìn)行設(shè)置并檢測(cè)合法性、參照一已設(shè)置過(guò)數(shù)據(jù)格式的數(shù)據(jù)表設(shè)置當(dāng)前數(shù)據(jù)表的數(shù)據(jù)格式:
[0082]I)選擇“默認(rèn)方式”，采用系統(tǒng)預(yù)先設(shè)置的數(shù)據(jù)格式，如編碼方式UTF-8、行分隔符Vu列分隔符\t、數(shù)據(jù)列的列名Col_$、各數(shù)據(jù)列的數(shù)據(jù)類型String ;需要說(shuō)明的是，以上數(shù)據(jù)格式為描述方案所列舉的范例，并不對(duì)本申請(qǐng)作出限制。
[0083]2)選擇“自定義方式”，其中用戶可定義數(shù)據(jù)編碼類型、行分隔符、列分隔符、列名、列數(shù)據(jù)類型等各數(shù)據(jù)格式，并異步地從云端預(yù)取部分(IOK Bytes)數(shù)據(jù)，在數(shù)據(jù)預(yù)覽窗口中按當(dāng)前自定義的數(shù)據(jù)格式來(lái)解析并展現(xiàn)數(shù)據(jù)；如果解析失敗，會(huì)給出用戶提示。當(dāng)用戶改變行分隔符或者列分隔符時(shí)，會(huì)自動(dòng)對(duì)數(shù)據(jù)進(jìn)行檢測(cè)(用戶可控制此功能的開啟)以確認(rèn)行分隔符或者列分隔符的改變是否合法:不合法時(shí)會(huì)提示“行分隔符或者列分隔符設(shè)置不合法，建議用戶修改”，且生成詳細(xì)檢測(cè)報(bào)告便于用戶進(jìn)行深層次判斷。
[0084]3)選擇“參照其他數(shù)據(jù)表方式”，用戶選擇一已設(shè)置過(guò)數(shù)據(jù)格式的數(shù)據(jù)段，系統(tǒng)按照所述數(shù)據(jù)段的數(shù)據(jù)格式作為當(dāng)前數(shù)據(jù)表的數(shù)據(jù)格式。
[0085]通過(guò)上述方式2)迅速找到采樣數(shù)據(jù)合適的數(shù)據(jù)格式，再通過(guò)上述方式3)將數(shù)據(jù)格式推廣到完整數(shù)據(jù)，非常易于集合本申請(qǐng)的方式來(lái)實(shí)現(xiàn)。
[0086]如圖5所示，是本申請(qǐng)實(shí)施例的裝置結(jié)構(gòu)圖。瀏覽云端海量數(shù)據(jù)的裝置，包括:[0087]預(yù)采樣模塊1，用于由云端存儲(chǔ)的完整數(shù)據(jù)中預(yù)采樣一指定大小的數(shù)據(jù)段放置到本地內(nèi)存；
[0088]數(shù)據(jù)格式設(shè)置模塊2，與預(yù)采樣模塊I相連，用于根據(jù)用戶的輸入設(shè)置所述數(shù)據(jù)段的數(shù)據(jù)格式，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性；
[0089]數(shù)據(jù)截取模塊3，與數(shù)據(jù)格式設(shè)置模塊2相連，在所述數(shù)據(jù)格式合法時(shí)，用于根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存；
[0090]數(shù)據(jù)展現(xiàn)模塊4，與數(shù)據(jù)截取模塊3相連，用于使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段并展現(xiàn)。
[0091]數(shù)據(jù)格式設(shè)置模塊2，還用于在所述數(shù)據(jù)格式不合法時(shí)，給出錯(cuò)誤提示，生成檢測(cè)報(bào)告并展示，所述檢測(cè)報(bào)告包括以下一種或多種的組合:數(shù)據(jù)段的行數(shù)、各行所含的列數(shù)、數(shù)據(jù)編碼類型、行分隔符、列分隔符、各列的列名及列數(shù)據(jù)類型；還用于將所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存為歷史內(nèi)容并提供入口供查看；依據(jù)所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存回溯點(diǎn)，依據(jù)所述回溯點(diǎn)生成若干對(duì)應(yīng)的數(shù)據(jù)格式的版本供選擇回溯。
[0092]數(shù)據(jù)格式設(shè)置模塊2，設(shè)置所述數(shù)據(jù)格式中的列名和列數(shù)據(jù)類型時(shí)，進(jìn)一步用于依據(jù)所述列名和列數(shù)據(jù)類型實(shí)時(shí)解析所述數(shù)據(jù)段并預(yù)覽所述數(shù)據(jù)段中任意行的各列數(shù)據(jù)供用戶判斷所述列名和列數(shù)據(jù)類型的合法性；設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，進(jìn)一步用于檢測(cè)到當(dāng) 前行分隔符使得所述數(shù)據(jù)段的行數(shù)小于等于I時(shí)，或檢測(cè)到當(dāng)前列分隔符使得所述數(shù)據(jù)段的列數(shù)小于等于I時(shí)，或檢測(cè)到當(dāng)前行分隔符和/或列分隔符使得所述數(shù)據(jù)段中列數(shù)不同的行數(shù)大于等于一門限時(shí)，判定所述數(shù)據(jù)格式不合法；設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，進(jìn)一步用于展現(xiàn)使用所述行分隔符和/或列分隔符解析的所述數(shù)據(jù)段供用戶判斷所述數(shù)據(jù)格式的合法性。
[0093]數(shù)據(jù)截取模塊3，進(jìn)一步用于獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于行保存整理；根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐行截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移，所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整行數(shù)據(jù)；其中，所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置或行數(shù)；
[0094]或者，數(shù)據(jù)截取模塊3，進(jìn)一步用于獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于列保存整理；根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐列截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移，所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整列數(shù)據(jù)；其中，所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置或列數(shù)。
[0095]所述裝置與前述的方法流程描述對(duì)應(yīng)，不足之處參考上述方法流程的敘述，不再
--贅述。[0096]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
[0097]上述說(shuō)明示出并描述了本申請(qǐng)的若干優(yōu)選實(shí)施例，但如前所述，應(yīng)當(dāng)理解本申請(qǐng)并非局限于本文所披露的形式，不應(yīng)看作是對(duì)其他實(shí)施例的排除，而可用于各種其他組合、修改和環(huán)境，并能夠在本文所述發(fā)明構(gòu)想范圍內(nèi)，通過(guò)上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識(shí)進(jìn)行改動(dòng)。而本領(lǐng)域人員所進(jìn)行的改動(dòng)和變化不脫離本申請(qǐng)的精神和范圍，則都應(yīng)在本申請(qǐng)所附權(quán)利要求的保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.一種瀏覽云端海量數(shù)據(jù)的方法，其特征在于，包括: 由云端存儲(chǔ)的完整數(shù)據(jù)中預(yù)采樣一指定大小的數(shù)據(jù)段放置到本地內(nèi)存； 根據(jù)用戶的輸入設(shè)置所述數(shù)據(jù)段的數(shù)據(jù)格式，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性； 在所述數(shù)據(jù)格式合法時(shí)，根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存； 使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段并展現(xiàn)。
2. 如權(quán)利要求1所述的方法，其特征在于， 所述數(shù)據(jù)格式，包括以下一種或多種的組合:數(shù)據(jù)編碼類型、行分隔符、列分隔符、各列的列名及列數(shù)據(jù)類型。
3.如權(quán)利要求1所述的方法，其特征在于，根據(jù)用戶的輸入設(shè)置所述數(shù)據(jù)段的數(shù)據(jù)格式，進(jìn)一步包括: 將所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存為歷史內(nèi)容并提供入口供查看； 依據(jù)所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存回溯點(diǎn)，依據(jù)所述回溯點(diǎn)生成若干對(duì)應(yīng)的數(shù)據(jù)格式的版本供選擇回溯。
4.如權(quán)利要求1所述的方法，其特征在于，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性，進(jìn)一步包括: 設(shè)置所述數(shù)據(jù)格式中的列名和列數(shù)據(jù)類型時(shí)，依據(jù)所述列名和列數(shù)據(jù)類型實(shí)時(shí)解析所述數(shù)據(jù)段并預(yù)覽所述數(shù)據(jù)段中任意行的各列數(shù)據(jù)供用戶判斷所述列名和列數(shù)據(jù)類型的合法性。
5.如權(quán)利要求1所述的方法，其特征在于，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性，進(jìn)一步包括: 設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，如果檢測(cè)到當(dāng)前行分隔符使得所述數(shù)據(jù)段的行數(shù)小于等于1，或檢測(cè)到當(dāng)前列分隔符使得所述數(shù)據(jù)段的列數(shù)小于等于1，或檢測(cè)到當(dāng)前行分隔符和/或列分隔符使得所述數(shù)據(jù)段中列數(shù)不同的行數(shù)大于等于一門限，判定所述數(shù)據(jù)格式不合法。
6.如權(quán)利要求1或5所述的方法，其特征在于， 在所述數(shù)據(jù)格式不合法時(shí)，給出錯(cuò)誤提示，生成檢測(cè)報(bào)告并展示，所述檢測(cè)報(bào)告包括以下一種或多種的組合:數(shù)據(jù)段的行數(shù)、各行所含的列數(shù)、數(shù)據(jù)編碼類型、行分隔符、列分隔符、各列的列名及列數(shù)據(jù)類型。
7.如權(quán)利要求1所述的方法，其特征在于，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性，進(jìn)一步包括: 設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，展現(xiàn)使用所述行分隔符和/或列分隔符解析的所述數(shù)據(jù)段供用戶判斷所述數(shù)據(jù)格式的合法性。
8.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存，進(jìn)一步包括: 獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于行保存整理； 根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐行截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移。
9.如權(quán)利要求8所述的方法，其特征在于， 所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整行數(shù)據(jù)。
10.如權(quán)利要求8所述的方法，其特征在于， 所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置或行數(shù)。
11.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存，進(jìn)一步包括: 獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于列保存整理； 根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐列截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移。
12.如權(quán)利要求11所述的方法，其特征在于， 所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整列數(shù)據(jù)。
13.如權(quán)利要求11所述的方法，其特征在于， 所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置或列數(shù)。
14.如權(quán)利要求8所述的方法，其特征在于， 云端存儲(chǔ)的完整數(shù)據(jù)基于行保存整理時(shí)，對(duì)所述完整數(shù)據(jù)中各行分別設(shè)置數(shù)據(jù)格式，所述每行的全部數(shù)據(jù)僅依據(jù)所在行的數(shù)據(jù)格式存儲(chǔ)。
15.如權(quán)利要求11所述的方法，其特征在于， 云端存儲(chǔ)的完整數(shù)據(jù)基于列保存整理時(shí)，對(duì)所述完整數(shù)據(jù)中各列分別設(shè)置數(shù)據(jù)格式，所述每列的全部數(shù)據(jù)僅依據(jù)所在列的數(shù)據(jù)格式存儲(chǔ)。
16.如權(quán)利要求14或15所述的方法，其特征在于， 設(shè)置數(shù)據(jù)格式的操作，包括以下一種或多種的組合的方式實(shí)現(xiàn):采用系統(tǒng)默認(rèn)的數(shù)據(jù)格式進(jìn)行設(shè)置、采用自定義的數(shù)據(jù)格式進(jìn)行設(shè)置并檢測(cè)合法性、參照一已設(shè)置過(guò)數(shù)據(jù)格式的數(shù)據(jù)表設(shè)置當(dāng)前數(shù)據(jù)表的數(shù)據(jù)格式。
17.—種瀏覽云端海量數(shù)據(jù)的裝置，其特征在于，包括: 預(yù)采樣模塊，用于由云端存儲(chǔ)的完整數(shù)據(jù)中預(yù)采樣一指定大小的數(shù)據(jù)段放置到本地內(nèi)存； 數(shù)據(jù)格式設(shè)置模塊，根據(jù)用戶的輸入設(shè)置所述數(shù)據(jù)段的數(shù)據(jù)格式，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段，根據(jù)解析所得到的效果檢測(cè)所述數(shù)據(jù)格式的合法性； 數(shù)據(jù)截取模塊，在所述數(shù)據(jù)格式合法時(shí)，根據(jù)所選擇的意圖瀏覽的數(shù)據(jù)范圍由云端存儲(chǔ)的完整數(shù)據(jù)中截取相應(yīng)大小的數(shù)據(jù)段放置到本地內(nèi)存； 數(shù)據(jù)展現(xiàn)模塊，使用所述數(shù)據(jù)格式解析所述數(shù)據(jù)段并展現(xiàn)。
18.如權(quán)利要求17所述的裝置，其特征在于， 所述數(shù)據(jù)格式，包括以下一種或多種的組合:數(shù)據(jù)編碼類型、行分隔符、列分隔符、各列的列名及列數(shù)據(jù)類型。
19.如權(quán)利要求17所述的裝置，其特征在于，所述數(shù)據(jù)格式設(shè)置模塊，還用于在所述數(shù)據(jù)格式不合法時(shí)，給出錯(cuò)誤提示，生成檢測(cè)報(bào)告并展示，所述檢測(cè)報(bào)告包括以下一種或多種的組合:數(shù)據(jù)段的行數(shù)、各行所含的列數(shù)、數(shù)據(jù)編碼類型、行分隔符、列分隔符、各列的列名及列數(shù)據(jù)類型。
20.如權(quán)利要求17所述的裝置，其特征在于， 所述數(shù)據(jù)格式設(shè)置模塊，還用于將所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存為歷史內(nèi)容并提供入口供查看；依據(jù)所述數(shù)據(jù)格式的設(shè)置內(nèi)容保存回溯點(diǎn)，依據(jù)所述回溯點(diǎn)生成若干對(duì)應(yīng)的數(shù)據(jù)格式的版本供選擇回溯。
21.如權(quán)利要求17所述的裝置，其特征在于， 所述數(shù)據(jù)格式設(shè)置模塊，設(shè)置所述數(shù)據(jù)格式中的列名和列數(shù)據(jù)類型時(shí)，進(jìn)一步用于依據(jù)所述列名和列數(shù)據(jù)類型實(shí)時(shí)解析所述數(shù)據(jù)段并預(yù)覽所述數(shù)據(jù)段中任意行的各列數(shù)據(jù)供用戶判斷所述列名和列數(shù)據(jù)類型的合法性。
22.如權(quán)利要求17所述的裝置，其特征在于， 所述數(shù)據(jù)格式設(shè)置模塊，設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，進(jìn)一步用于檢測(cè)到當(dāng)前行分隔符使得所述數(shù)據(jù)段的行數(shù)小于等于I時(shí)，或檢測(cè)到當(dāng)前列分隔符使得所述數(shù)據(jù)段的列數(shù)小于等于I時(shí)，或檢測(cè)到當(dāng)前行分隔符和/或列分隔符使得所述數(shù)據(jù)段中列數(shù)不同的行數(shù)大于等于一門限時(shí)，判定所述數(shù)據(jù)格式不合法。
23.如權(quán)利要求17所述的裝置，其特征在于， 所述數(shù)據(jù)格式設(shè)置模塊，設(shè)置所述數(shù)據(jù)格式中的行分隔符和/或列分隔符時(shí)，進(jìn)一步用于展現(xiàn)使用所述行分隔符和/或列分隔符解析的所述數(shù)據(jù)段供用戶判斷所述數(shù)據(jù)格式的合法性。
24.如權(quán)利要求17所述的裝置，其特征在于， 所述數(shù)據(jù)截取模塊，進(jìn)一步用于獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于行保存整理；根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐行截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移，所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)行末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整行數(shù)據(jù)；其中，所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置或行數(shù)。
25.如權(quán)利要求17所述的裝置，其特征在于， 所述數(shù)據(jù)截取模塊，進(jìn)一步用于獲取云端存儲(chǔ)的完整數(shù)據(jù)的大小，所述完整數(shù)據(jù)的數(shù)據(jù)表基于列保存整理；根據(jù)所選擇的瀏覽位置及所選擇的數(shù)據(jù)量由完整數(shù)據(jù)中逐列截取以所述瀏覽位置為起點(diǎn)的相應(yīng)數(shù)據(jù)量的數(shù)據(jù)段放置到本地內(nèi)存，所述瀏覽位置為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量中的偏移，所述數(shù)據(jù)段的起點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列首位和/或數(shù)據(jù)的終點(diǎn)未處于數(shù)據(jù)表中的數(shù)據(jù)列末位時(shí)，截取所述數(shù)據(jù)段的起點(diǎn)和/或終點(diǎn)所在的整列數(shù)據(jù)；其中，所述偏移為所述數(shù)據(jù)段處于所述完整數(shù)據(jù)的數(shù)據(jù)量大小的比例位置或列數(shù)。
【文檔編號(hào)】G06F17/30GK103488643SQ201210193194
【公開日】2014年1月1日 申請(qǐng)日期:2012年6月12日 優(yōu)先權(quán)日:2012年6月12日
【發(fā)明者】周俊, 蔣耘, 代斌, 初敏, 劉時(shí)光, 鄧鐘強(qiáng), 蔡寧, 楊旭 申請(qǐng)人:阿里巴巴集團(tuán)控股有限公司