本發(fā)明實(shí)施例涉及數(shù)據(jù)分析技術(shù)，尤其涉及一種基于移動(dòng)終端的人員流動(dòng)性分析方法及裝置。

背景技術(shù)：

人員流動(dòng)和統(tǒng)計(jì)對(duì)區(qū)域人口分析具有重要作用。

目前的人員流動(dòng)性分析還停留在人工統(tǒng)計(jì)階段，即主要還是由人工采集數(shù)據(jù)和分析，這樣在前期采集數(shù)據(jù)的時(shí)候不僅耗費(fèi)了較多時(shí)間，也使得整個(gè)過(guò)程分析效率大大降低。

有鑒于此，特提出本發(fā)明。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種基于移動(dòng)終端的人員流動(dòng)性分析方法及裝置，以實(shí)現(xiàn)提高人員流動(dòng)性分析效率的目的。

第一方面，本發(fā)明實(shí)施例提供了一種基于移動(dòng)終端的人員流動(dòng)性分析方法，包括：

根據(jù)預(yù)設(shè)采集規(guī)則實(shí)時(shí)對(duì)移動(dòng)終端中的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，對(duì)采集數(shù)據(jù)進(jìn)行預(yù)處理得到預(yù)處理信息，所述預(yù)處理信息至少包括位置信息、用戶標(biāo)識(shí)和采集時(shí)間；

按照預(yù)設(shè)打標(biāo)規(guī)則對(duì)所述預(yù)處理信息進(jìn)行打標(biāo)，經(jīng)分組后將每一分組中最具代表性的預(yù)處理信息確定為關(guān)鍵信息；

將所述關(guān)鍵信息按照預(yù)設(shè)形式顯示在地理信息系統(tǒng)中，所述預(yù)設(shè)形式包括圖表和/或文字。

第二方面，本發(fā)明實(shí)施例還提供了一種基于移動(dòng)終端的人員流動(dòng)性分析裝置，包括：

采集預(yù)處理模塊，用于根據(jù)預(yù)設(shè)采集規(guī)則實(shí)時(shí)對(duì)移動(dòng)終端中的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，對(duì)采集數(shù)據(jù)進(jìn)行預(yù)處理得到預(yù)處理信息，所述預(yù)處理信息至少包括位置信息、用戶標(biāo)識(shí)和采集時(shí)間；

打標(biāo)分組模塊，用于按照預(yù)設(shè)打標(biāo)規(guī)則對(duì)所述預(yù)處理信息進(jìn)行打標(biāo)，經(jīng)分組后將每一分組中最具代表性的預(yù)處理信息確定為關(guān)鍵信息；

顯示模塊，用于將所述關(guān)鍵信息按照預(yù)設(shè)形式顯示在地理信息系統(tǒng)中，所述預(yù)設(shè)形式包括圖表和/或文字。

本發(fā)明實(shí)施例通過(guò)根據(jù)預(yù)設(shè)采集規(guī)則實(shí)時(shí)對(duì)移動(dòng)終端中的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，對(duì)采集數(shù)據(jù)進(jìn)行預(yù)處理得到預(yù)處理信息，并按照預(yù)設(shè)打標(biāo)規(guī)則對(duì)預(yù)處理信息進(jìn)行打標(biāo)，經(jīng)分組后將每一分組中最具代表性的預(yù)處理信息確定為關(guān)鍵信息，最后將關(guān)鍵信息按照預(yù)設(shè)形式顯示在地理信息系統(tǒng)中，其中，關(guān)鍵信息中包含了相應(yīng)的位置信息、用戶標(biāo)識(shí)以及采集時(shí)間，即代表了每一用戶的實(shí)時(shí)位置，將關(guān)鍵信息轉(zhuǎn)化為相應(yīng)的圖表和/或文字形式并展示在地理信息系統(tǒng)中，即可直觀地顯示特定區(qū)域里大量用戶的實(shí)時(shí)位置，由此可實(shí)現(xiàn)自動(dòng)更新人員流動(dòng)狀態(tài)，提高人員流動(dòng)性分析的效率。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例一提供的一種基于移動(dòng)終端的人員流動(dòng)性分析方法的流程圖；

圖2為本發(fā)明實(shí)施例二提供的一種基于移動(dòng)終端的人員流動(dòng)性分析方法的流程圖；

圖3為本發(fā)明實(shí)施例三提供的一種基于移動(dòng)終端的人員流動(dòng)性分析裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明?？梢岳斫獾氖牵颂幩枋龅木唧w實(shí)施例僅僅用于解釋本發(fā)明，而非對(duì)本發(fā)明的限定。另外還需要說(shuō)明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。

實(shí)施例一

圖1為本發(fā)明實(shí)施例一提供的一種基于移動(dòng)終端的人員流動(dòng)性分析方法的流程圖，本實(shí)施例可適用于自動(dòng)進(jìn)行人員流動(dòng)性分析的情況，該方法可以由基于移動(dòng)終端的人員流動(dòng)性分析裝置來(lái)執(zhí)行，該裝置可通過(guò)硬件和/或軟件的方式實(shí)現(xiàn)。參考圖1，本實(shí)施例提供的基于移動(dòng)終端的人員流動(dòng)性分析方法具體包括：

S101、根據(jù)預(yù)設(shè)采集規(guī)則實(shí)時(shí)對(duì)移動(dòng)終端中的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，對(duì)采集數(shù)據(jù)進(jìn)行預(yù)處理得到預(yù)處理信息。

其中，所述預(yù)處理信息至少包括位置信息、用戶標(biāo)識(shí)和采集時(shí)間。位置信息可以是用戶的GPS坐標(biāo)，用戶標(biāo)識(shí)可以是手機(jī)號(hào)。

其中，可以利用數(shù)據(jù)采集設(shè)備實(shí)時(shí)對(duì)移動(dòng)終端中的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，數(shù)據(jù)采集設(shè)備可以是移動(dòng)終端中具有一定采集權(quán)限的應(yīng)用軟件，也可以是網(wǎng)絡(luò)爬蟲(chóng)，用戶只要使用移動(dòng)終端就會(huì)產(chǎn)生一系列數(shù)據(jù)時(shí)，數(shù)據(jù)采集設(shè)備根據(jù)預(yù)設(shè)采集規(guī)則就可以時(shí)時(shí)采集想要的數(shù)據(jù)。示例性的，當(dāng)用戶注冊(cè)網(wǎng)站時(shí)可以采集到用戶的身份信息，如身份證號(hào)、年齡、性別等，當(dāng)用戶購(gòu)物時(shí)可以采集到用戶的地址信息，當(dāng)用戶查看通訊錄時(shí)可以采集到用戶的通訊里信息，當(dāng)用戶使用地圖時(shí)可以采集到用戶的位置信息。采集到的數(shù)據(jù)可以生成制表符文本文件再進(jìn)行預(yù)處理。其中，制表符(也叫制表位)的功能是在不使用表格的情況下在垂直方向按列對(duì)齊文本。

其中，預(yù)設(shè)采集規(guī)則可以是用于采集特定數(shù)據(jù)的正則表達(dá)式，例如可以是采集用戶位置的正則表達(dá)式、采集用戶手機(jī)號(hào)的正則表達(dá)式等。由于根據(jù)正則表達(dá)式采集到的數(shù)據(jù)仍有一些是無(wú)效數(shù)據(jù)，因此還需要對(duì)采集的數(shù)據(jù)進(jìn)行垃圾過(guò)濾、數(shù)據(jù)清洗以及格式轉(zhuǎn)換等操作來(lái)提煉出有效數(shù)據(jù)。

S102、按照預(yù)設(shè)打標(biāo)規(guī)則對(duì)所述預(yù)處理信息進(jìn)行打標(biāo)，經(jīng)分組后將每一分組中最具代表性的預(yù)處理信息確定為關(guān)鍵信息。

其中，對(duì)預(yù)處理信息進(jìn)行打標(biāo)可以更好地標(biāo)記數(shù)據(jù)，便于后續(xù)數(shù)據(jù)處理過(guò)程更好地查找對(duì)應(yīng)數(shù)據(jù)，優(yōu)選可以根據(jù)采集時(shí)間對(duì)預(yù)處理信息進(jìn)行打標(biāo)，并未打標(biāo)后的數(shù)據(jù)添加標(biāo)記時(shí)段。

其中，雖然數(shù)據(jù)經(jīng)過(guò)預(yù)處理后已經(jīng)去除了大部分的無(wú)效數(shù)據(jù)，但是由于采集是實(shí)時(shí)進(jìn)行的，留下的有效數(shù)據(jù)量仍舊很大，因此可將數(shù)據(jù)按照用戶標(biāo)識(shí)和打標(biāo)標(biāo)記(如標(biāo)記時(shí)段)對(duì)數(shù)據(jù)進(jìn)行分組，并根據(jù)一定篩選規(guī)則篩選出該分組中的關(guān)鍵信息，關(guān)鍵信息可以是該分組中最具代表性的預(yù)處理信息。

S103、將所述關(guān)鍵信息按照預(yù)設(shè)形式顯示在地理信息系統(tǒng)中。

其中，所述預(yù)設(shè)形式包括圖表和/或文字。

其中，地理信息系統(tǒng)(Geographic Information System，GIS)是一種特定的十分重要的空間信息系統(tǒng)。它是在計(jì)算機(jī)硬、軟件系統(tǒng)支持下，對(duì)整個(gè)或部分地球表層(包括大氣層)空間中的有關(guān)地理分布數(shù)據(jù)進(jìn)行采集、儲(chǔ)存、管理、運(yùn)算、分析、顯示和描述的技術(shù)系統(tǒng)。

本實(shí)施例的技術(shù)方案，通過(guò)根據(jù)預(yù)設(shè)采集規(guī)則實(shí)時(shí)對(duì)移動(dòng)終端中的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，對(duì)采集數(shù)據(jù)進(jìn)行預(yù)處理得到預(yù)處理信息，并按照預(yù)設(shè)打標(biāo)規(guī)則對(duì)預(yù)處理信息進(jìn)行打標(biāo)，經(jīng)分組后將每一分組中最具代表性的預(yù)處理信息確定為關(guān)鍵信息，最后將關(guān)鍵信息按照預(yù)設(shè)形式顯示在地理信息系統(tǒng)中，其中，關(guān)鍵信息中包含了相應(yīng)的位置信息、用戶標(biāo)識(shí)以及采集時(shí)間，即代表了每一用戶的實(shí)時(shí)位置，將關(guān)鍵信息轉(zhuǎn)化為相應(yīng)的圖表和/或文字形式并展示在地理信息系統(tǒng)中，即可直觀地顯示特定區(qū)域里大量用戶的實(shí)時(shí)位置，由此可實(shí)現(xiàn)自動(dòng)更新人員流動(dòng)狀態(tài)，提高人員流動(dòng)性分析的效率。

在上述技術(shù)方案的基礎(chǔ)上，所述預(yù)處理信息優(yōu)選還可以包括用戶身份信息、年齡信息和采集地信息中的至少一種；所述用戶標(biāo)識(shí)為用戶手機(jī)號(hào)。

其中，用戶身份信息可以是身份證號(hào)、家庭地址、姓名、昵稱、郵箱、社交賬號(hào)等數(shù)據(jù)，采集地信息可以是采集地的地市代碼。

實(shí)施例二

圖2為本發(fā)明實(shí)施例二提供的一種基于移動(dòng)終端的人員流動(dòng)性分析方法的流程圖，本實(shí)施例在上述實(shí)施例一的基礎(chǔ)上，優(yōu)選是對(duì)操作S101、S102以及S103進(jìn)一步優(yōu)化，參考圖2，具體方法如下：

S201、根據(jù)預(yù)設(shè)采集規(guī)則實(shí)時(shí)對(duì)移動(dòng)終端中的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集。

S202、對(duì)采集數(shù)據(jù)進(jìn)行數(shù)據(jù)關(guān)聯(lián)、清洗重復(fù)數(shù)據(jù)，并轉(zhuǎn)化為預(yù)設(shè)格式的預(yù)處理信息。

其中，可以由預(yù)處理集群對(duì)采集到的數(shù)據(jù)進(jìn)行關(guān)聯(lián)、清洗重復(fù)數(shù)據(jù)并進(jìn)行格式轉(zhuǎn)換。

具體地，關(guān)聯(lián)是指將含有相同內(nèi)容的兩條或者兩條以上的數(shù)據(jù)關(guān)聯(lián)在一起形成新的數(shù)據(jù)，示例性的，數(shù)據(jù)1含有手機(jī)號(hào)1、身份證號(hào)和姓名，數(shù)據(jù)2含有手機(jī)號(hào)1、地址信息和年齡，兩條數(shù)據(jù)都含有手機(jī)號(hào)1，則可將兩條數(shù)據(jù)關(guān)聯(lián)在一起，形成數(shù)據(jù)3，該數(shù)據(jù)3含有手機(jī)號(hào)1、身份證號(hào)、姓名、地址信息和年齡。

具體地，清洗重復(fù)數(shù)據(jù)是將該數(shù)據(jù)與以前存儲(chǔ)的數(shù)據(jù)相比對(duì)，清洗掉重復(fù)數(shù)據(jù)。

具體地，格式轉(zhuǎn)換是將數(shù)據(jù)進(jìn)行統(tǒng)一轉(zhuǎn)換，并對(duì)采集的數(shù)據(jù)補(bǔ)全信息，如采集到的位置信息是一個(gè)經(jīng)緯度坐標(biāo)，則將該經(jīng)緯度坐標(biāo)所在地名也補(bǔ)充到數(shù)據(jù)中，然后將處理后的數(shù)據(jù)轉(zhuǎn)化為預(yù)設(shè)格式的預(yù)處理信息。其中，預(yù)設(shè)格式可以是protobuf格式，protobuf即protocol buffers，是google的一種數(shù)據(jù)交換的格式，它獨(dú)立于語(yǔ)言，獨(dú)立于平臺(tái)。google提供了多種語(yǔ)言的實(shí)現(xiàn)：java、c#、c++、go和python，每一種實(shí)現(xiàn)都包含了相應(yīng)語(yǔ)言的編譯器以及庫(kù)文件，由于它是一種二進(jìn)制的格式，比使用xml進(jìn)行數(shù)據(jù)交換快許多，可以把它用于分布式應(yīng)用之間的數(shù)據(jù)通信或者異構(gòu)環(huán)境下的數(shù)據(jù)交換，作為一種效率和兼容性都很優(yōu)秀的二進(jìn)制數(shù)據(jù)傳輸格式，可以用于諸如網(wǎng)絡(luò)傳輸、配置文件、數(shù)據(jù)存儲(chǔ)等諸多領(lǐng)域。

S203、將預(yù)處理信息經(jīng)分布式消息系統(tǒng)緩存后落地到分布式文件系統(tǒng)中保存。

其中，分布式消息系可以是kafka，Kafka是一個(gè)高性能、分布式的消息系統(tǒng)，廣泛用于日志收集、流式數(shù)據(jù)處理、在線和離線消息分發(fā)等場(chǎng)景。相比傳統(tǒng)的ActiveMQ，Kafka并行能力和吞吐量更高。由于數(shù)據(jù)采集設(shè)備在不同時(shí)段采集的數(shù)據(jù)量不同，因此存在這樣的情況：某一時(shí)段得到的預(yù)處理信息非常少，某一時(shí)段得到的預(yù)處理信息又急速暴增，如果沒(méi)有kafka來(lái)緩存，則很容易發(fā)生系統(tǒng)崩潰的狀況，因此kafka主要起到均衡負(fù)載的作用。

其中，分布式文件系統(tǒng)可以是HDFS(Hadoop Distributed File System)，HDFS是Hadoop體系的分布式存儲(chǔ)文件系統(tǒng)，非常適合存儲(chǔ)處理超大文件，超大文件通常是指百M(fèi)B、設(shè)置數(shù)百TB大小的文件，目前在實(shí)際應(yīng)用中，HDFS已經(jīng)能用來(lái)存儲(chǔ)管理PB級(jí)的數(shù)據(jù)了。HDFS的設(shè)計(jì)建立在更多地響應(yīng)"一次寫入、多次讀寫"任務(wù)的基礎(chǔ)上，這意味著一個(gè)數(shù)據(jù)集一旦由數(shù)據(jù)源生成，就會(huì)被復(fù)制分發(fā)到不同的存儲(chǔ)節(jié)點(diǎn)中，然后響應(yīng)各種各樣的數(shù)據(jù)分析任務(wù)請(qǐng)求。

進(jìn)一步，由于HDFS對(duì)數(shù)據(jù)存儲(chǔ)格式有一定要求，通常是將數(shù)據(jù)列化，并以parquet格式落地到HDFS中。其中，parquet是面向分析型業(yè)務(wù)的列式存儲(chǔ)格式，可以跳過(guò)不符合條件的數(shù)據(jù)，只讀取需要的數(shù)據(jù)，降低IO數(shù)據(jù)量，壓縮編碼以降低磁盤存儲(chǔ)空間。由于同一列的數(shù)據(jù)類型是一樣的，還可以使用更高效的壓縮編碼(例如Run Length Encoding和Delta Encoding)進(jìn)一步節(jié)約存儲(chǔ)空，只讀取需要的列，支持向量運(yùn)算，能夠獲取更好的掃描性能，同時(shí)可以跟后續(xù)的spark sql(是一個(gè)用來(lái)處理結(jié)構(gòu)化數(shù)據(jù)的spark組件)無(wú)縫結(jié)合。

進(jìn)一步，對(duì)落地到HDFS中的預(yù)處理信息可以按照日期區(qū)分目錄，以便后續(xù)進(jìn)行每日/時(shí)數(shù)據(jù)預(yù)分析調(diào)用，同時(shí)還可根據(jù)采集時(shí)間和用戶標(biāo)識(shí)等關(guān)鍵字段建立索引，以備后續(xù)實(shí)時(shí)查詢數(shù)據(jù)做準(zhǔn)備。

S204、根據(jù)采集時(shí)間對(duì)預(yù)處理信息的每條數(shù)據(jù)進(jìn)行打標(biāo)。

具體地，對(duì)于存儲(chǔ)在HDFS中的預(yù)處理信息，可使用spark sql按照日期目錄解析該日期目錄下落地的Parquet文件，并將解析后的數(shù)據(jù)轉(zhuǎn)化為RDD(Resilient Distributed Datasets，彈性分布式數(shù)據(jù)集)。其中，RDD是分布式內(nèi)存的一個(gè)抽象概念，RDD提供了一種高度受限的共享內(nèi)存模型，即RDD是只讀的記錄分區(qū)的集合，只能通過(guò)在其他RDD執(zhí)行確定的轉(zhuǎn)換操作而創(chuàng)建，然而這些限制使得實(shí)現(xiàn)容錯(cuò)的開(kāi)銷很低。對(duì)開(kāi)發(fā)者而言，RDD可以看作是Spark的一個(gè)對(duì)象，它本身運(yùn)行于內(nèi)存中，而內(nèi)存中讀寫運(yùn)算最高可達(dá)磁盤讀寫運(yùn)算的100倍。因此，將Parquet文件轉(zhuǎn)化為RDD可以提高spark系統(tǒng)對(duì)數(shù)據(jù)的處理速度。

進(jìn)一步，遍歷內(nèi)存中的RDD，并對(duì)RDD打標(biāo)。優(yōu)選打標(biāo)規(guī)則是根據(jù)采集時(shí)間進(jìn)行打標(biāo)。示例性的，假設(shè)HDFS中的預(yù)處理信息是以每天的日期區(qū)分目錄，則打標(biāo)規(guī)則可以是24小時(shí)為周期，根據(jù)采集時(shí)間，凌晨零點(diǎn)記為1，每隔10分鐘打標(biāo)值+1，用來(lái)標(biāo)記每條記錄在每天屬于哪個(gè)時(shí)段，并將打標(biāo)后的時(shí)段標(biāo)記添加到該條數(shù)據(jù)中，內(nèi)存中的RDD和原始HDFS中存儲(chǔ)的數(shù)據(jù)都相應(yīng)添加時(shí)段標(biāo)記。經(jīng)過(guò)24小時(shí)后，再將第二天采集時(shí)間為凌晨零點(diǎn)的數(shù)據(jù)記為1，每隔10分鐘打標(biāo)值+1，以此類推。

S205、根據(jù)打標(biāo)后的時(shí)段標(biāo)記和用戶標(biāo)識(shí)對(duì)預(yù)處理信息進(jìn)行分組，并將分組后的每條數(shù)據(jù)以key-Value格式存儲(chǔ)。

其中，所述key集合中的數(shù)據(jù)包括用戶標(biāo)識(shí)和時(shí)段標(biāo)記，所述Value集合中的數(shù)據(jù)包括用戶標(biāo)識(shí)、時(shí)段標(biāo)記、位置信息、用戶身份信息、年齡信息以及采集地信息中的至少一種。

具體地，可以使用RDD中g(shù)roupby操作根據(jù)用戶標(biāo)識(shí)(如手機(jī)號(hào))和時(shí)段標(biāo)記進(jìn)行分組，即相同手機(jī)號(hào)在某一時(shí)段中的數(shù)據(jù)為一組，分組后成為Key-Value格式數(shù)據(jù)，其中用戶標(biāo)識(shí)為手機(jī)號(hào)，位置信息為經(jīng)緯度，則Key-Value具體為((手機(jī)號(hào)，時(shí)段標(biāo)記),(手機(jī)號(hào)，時(shí)段標(biāo)記，經(jīng)維度，地市代碼，用戶身份信息，采集時(shí)間))，分組數(shù)據(jù)便于進(jìn)行數(shù)據(jù)統(tǒng)計(jì)、合并以及比對(duì)等操作，分組后RDD繼續(xù)置于內(nèi)存中。

S206、根據(jù)采集時(shí)間對(duì)所有Value集合進(jìn)行排序，并將每一分組中預(yù)設(shè)時(shí)間的Value集合確定為關(guān)鍵信息。

具體地，可以按照采集時(shí)間對(duì)分組RDD中的Value集合進(jìn)行排序，如此每一分組RDD中的數(shù)據(jù)均為按照時(shí)間排列的有序數(shù)據(jù)。進(jìn)一步，可將每一分組中特定位置的Value集合，即預(yù)設(shè)時(shí)間段的Value集合確定為關(guān)鍵信息。示例性的，針對(duì)某一分組中存儲(chǔ)的信息為手機(jī)號(hào)1在12:00至12:10分的所有數(shù)據(jù)，每條數(shù)據(jù)按照采集時(shí)間順序有序排列，一般認(rèn)為每組數(shù)據(jù)中最中間的數(shù)據(jù)精確度最高，最具有代表性，則將該組數(shù)據(jù)中最中間的數(shù)據(jù)即12:05分的Value集合確定為關(guān)鍵信息。

進(jìn)一步，如果后續(xù)數(shù)據(jù)處理操作需要根據(jù)手機(jī)號(hào)碼歸屬地來(lái)展示相應(yīng)人員流動(dòng)情況，則還需與手機(jī)號(hào)碼歸屬地進(jìn)行關(guān)聯(lián)操作。具體地，將內(nèi)存中的RDD跟手機(jī)號(hào)碼歸屬地庫(kù)進(jìn)行join操作，標(biāo)識(shí)每條記錄的手機(jī)歸屬地，并轉(zhuǎn)化為新的RDD保存到內(nèi)存和原HDFS中，新RDD數(shù)據(jù)格式可以為(手機(jī)號(hào)，時(shí)段標(biāo)記，經(jīng)維度，地市代碼，用戶身份信息，采集時(shí)間，手機(jī)歸屬地)，如此可生成海量數(shù)據(jù)每日高頻(10分鐘)行蹤記錄。

S207、根據(jù)預(yù)設(shè)篩選條件篩選特定用戶群體對(duì)應(yīng)的關(guān)鍵信息。

其中，所述預(yù)設(shè)篩選條件包括指定年齡段、指定地市、指定手機(jī)號(hào)歸屬地、指定采集地信息中的任意一種或者其組合。

具體地，可以使用spark sql根據(jù)預(yù)設(shè)篩選條件篩選出特定用戶群體每隔N分鐘的關(guān)鍵信息。示例性的，使用spark sql獲取指定地市所有用戶每隔N分鐘的關(guān)鍵信息；使用spark sql獲取指定地市且指定漫游地的所有用戶每隔N分鐘的關(guān)鍵信息；使用spark sql獲取指定地市且年齡在預(yù)設(shè)年齡段內(nèi)的所有用戶每隔N分鐘的關(guān)鍵信息。

S208、將篩選后的關(guān)鍵信息中的位置信息按照預(yù)設(shè)形式顯示在地理信息系統(tǒng)中。

具體地，將篩選后的關(guān)鍵信息中的經(jīng)緯度以圖表和/或文字的形式在GIS中呈現(xiàn)結(jié)果。

實(shí)施例三

圖3為本發(fā)明實(shí)施例三提供的一種基于移動(dòng)終端的人員流動(dòng)性分析裝置的結(jié)構(gòu)示意圖，本實(shí)施例可適用于自動(dòng)進(jìn)行人員流動(dòng)性分析的情況，該裝置可通過(guò)硬件和/或軟件的方式實(shí)現(xiàn)。參考圖3，本實(shí)施例提供的基于移動(dòng)終端的人員流動(dòng)性分析裝置具體包括：

采集預(yù)處理模塊310，用于根據(jù)預(yù)設(shè)采集規(guī)則實(shí)時(shí)對(duì)移動(dòng)終端中的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，對(duì)采集數(shù)據(jù)進(jìn)行預(yù)處理得到預(yù)處理信息，所述預(yù)處理信息至少包括位置信息、用戶標(biāo)識(shí)和采集時(shí)間；

打標(biāo)分組模塊320，用于按照預(yù)設(shè)打標(biāo)規(guī)則對(duì)所述預(yù)處理信息進(jìn)行打標(biāo)，經(jīng)分組后將每一分組中最具代表性的預(yù)處理信息確定為關(guān)鍵信息；

顯示模塊330，用于將所述關(guān)鍵信息按照預(yù)設(shè)形式顯示在地理信息系統(tǒng)中，所述預(yù)設(shè)形式包括圖表和/或文字。

本實(shí)施例中，所述預(yù)處理信息還可以包括用戶身份信息、年齡信息和采集地信息中的至少一種；

所述用戶標(biāo)識(shí)為用戶手機(jī)號(hào)。

本實(shí)施例中，所述對(duì)采集數(shù)據(jù)進(jìn)行預(yù)處理得到預(yù)處理信息可以包括：

對(duì)采集數(shù)據(jù)進(jìn)行數(shù)據(jù)關(guān)聯(lián)、清洗重復(fù)數(shù)據(jù)，并轉(zhuǎn)化為預(yù)設(shè)格式的預(yù)處理信息；

將預(yù)處理信息經(jīng)分布式消息系統(tǒng)緩存后落地到分布式文件系統(tǒng)中保存。

本實(shí)施例中，所述打標(biāo)分組模塊可以包括：

打標(biāo)單元，用于根據(jù)采集時(shí)間對(duì)預(yù)處理信息的每條數(shù)據(jù)進(jìn)行打標(biāo)；

分組單元，用于根據(jù)打標(biāo)后的時(shí)段標(biāo)記和用戶標(biāo)識(shí)對(duì)預(yù)處理信息進(jìn)行分組，并將分組后的每條數(shù)據(jù)以key-Value格式存儲(chǔ)，所述key集合中的數(shù)據(jù)包括用戶標(biāo)識(shí)和時(shí)段標(biāo)記，所述Value集合中的數(shù)據(jù)包括用戶標(biāo)識(shí)、時(shí)段標(biāo)記、位置信息、用戶身份信息、年齡信息以及采集地信息中的至少一種；

排序單元，用于根據(jù)采集時(shí)間對(duì)所有Value集合進(jìn)行排序，并將每一分組中預(yù)設(shè)時(shí)間的Value集合確定為關(guān)鍵信息。

本實(shí)施例中，所述顯示模塊可以包括：

篩選單元，用于根據(jù)預(yù)設(shè)篩選條件篩選特定用戶群體對(duì)應(yīng)的關(guān)鍵信息，所述預(yù)設(shè)篩選條件包括指定年齡段、指定地市、指定手機(jī)號(hào)歸屬地、指定采集地信息中的任意一種或者其組合；

顯示單元，用于將篩選后的關(guān)鍵信息中的位置信息按照預(yù)設(shè)形式顯示在地理信息系統(tǒng)中。

本實(shí)施例提供的基于移動(dòng)終端的人員流動(dòng)性分析裝置，與本發(fā)明任意實(shí)施例所提供的基于移動(dòng)終端的人員流動(dòng)性分析方法屬于同一發(fā)明構(gòu)思，可執(zhí)行本發(fā)明任意實(shí)施例所提供的基于移動(dòng)終端的人員流動(dòng)性分析方法，具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。

注意，上述僅為本發(fā)明的較佳實(shí)施例及所運(yùn)用技術(shù)原理。本領(lǐng)域技術(shù)人員會(huì)理解，本發(fā)明不限于這里所述的特定實(shí)施例，對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會(huì)脫離本發(fā)明的保護(hù)范圍。因此，雖然通過(guò)以上實(shí)施例對(duì)本發(fā)明進(jìn)行了較為詳細(xì)的說(shuō)明，但是本發(fā)明不僅僅限于以上實(shí)施例，在不脫離本發(fā)明構(gòu)思的情況下，還可以包括更多其他等效實(shí)施例，而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。