專利名稱：一種遠(yuǎn)程真機(jī)的輔助測(cè)試方法、裝置與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信技術(shù)領(lǐng)域，特別涉及一種遠(yuǎn)程真機(jī)的輔助測(cè)試方法、裝置與系統(tǒng)。
背景技術(shù)：
在遠(yuǎn)程真機(jī)測(cè)試系統(tǒng)中，用戶通過(guò)安裝在PC上的客戶端軟件遠(yuǎn)程連接到服務(wù)器， 服務(wù)器端連接了真實(shí)的手機(jī)，用戶可以將他們開發(fā)的手機(jī)應(yīng)用程序上傳到遠(yuǎn)程真機(jī)(即手 機(jī)端)中，并測(cè)試開發(fā)的手機(jī)應(yīng)用程序；服務(wù)器將手機(jī)屏幕顯示與聲音實(shí)時(shí)傳到客戶端；測(cè) 試環(huán)境幫助用戶在測(cè)試過(guò)程中發(fā)現(xiàn)應(yīng)用程序在真實(shí)環(huán)境中有可能發(fā)生的問(wèn)題。一種常用的 手段是記錄手機(jī)上的音視頻，在發(fā)生錯(cuò)誤時(shí)給用戶提供錯(cuò)誤產(chǎn)生過(guò)程的回放。如圖1所示，下面簡(jiǎn)述現(xiàn)有技術(shù)的遠(yuǎn)程真機(jī)測(cè)試系統(tǒng)中各個(gè)部分的功能。整個(gè)系 統(tǒng)分為3個(gè)部分手機(jī)，服務(wù)器以及客戶端。每個(gè)部分又分別包括以下單元(1)手機(jī) 10a.音視頻采集單元101，通過(guò)系統(tǒng)api (如=BitBlt)實(shí)時(shí)獲取屏幕顯示圖像；或者 其他方法，如hook api來(lái)實(shí)時(shí)抓取音頻，采集后實(shí)時(shí)發(fā)送給服務(wù)器端；b.用戶輸入接收單元102，負(fù)責(zé)接收服務(wù)器傳來(lái)的用戶操作信息(如觸屏操作， 按鍵操作)，然后通過(guò)系統(tǒng)api (如keybd event, mouse event)來(lái)使手機(jī)執(zhí)行這些操作。(2)服務(wù)器 20a.音視頻接收單元201，主要負(fù)責(zé)接收手機(jī)傳來(lái)的音視頻數(shù)據(jù)(包括屏幕顯示圖 像以及音頻數(shù)據(jù))，并交給錄像單元作為輸入；b.用戶輸入接收單元202，主要負(fù)責(zé)接收客戶端的用戶輸入，并將其傳到手機(jī)端；c.錄像單元203，實(shí)時(shí)接收音視頻接收單元傳來(lái)的音視頻數(shù)據(jù)，保存成多媒體文 件(如 *· mp4)。(3)客戶端 30a.用戶輸入單元301，主要負(fù)責(zé)獲取用戶針對(duì)手機(jī)的輸入(包括觸屏操作，按鍵操 作等)，獲取點(diǎn)擊的坐標(biāo)，按鍵類別等，然后將這些用戶輸入信息傳到服務(wù)器端；b.實(shí)時(shí)播放單元302，主要負(fù)責(zé)實(shí)時(shí)接收服務(wù)器傳來(lái)的音視頻進(jìn)行播放，以便用 戶能邊操作邊看手機(jī)變化；c.錄像播放單元303，主要負(fù)責(zé)接收服務(wù)器端傳輸?shù)匿浵裎募?，并回放。采用圖1所示的系統(tǒng)可以對(duì)測(cè)試過(guò)程中的音視頻進(jìn)行錄像，以便于在后期提供給 用戶回放。整個(gè)系統(tǒng)的基本流程如圖2所示S201、用戶登錄服務(wù)器，選擇需要測(cè)試的手機(jī)；S202、服務(wù)器在測(cè)試手機(jī)上進(jìn)行操作；包括收集用戶的輸入信息(如觸屏操作， 按鍵操作等)發(fā)送到手機(jī)端執(zhí)行，同時(shí)將手機(jī)端的音視頻實(shí)時(shí)傳到客戶端。用戶就如同是 在真實(shí)機(jī)器上操作一樣；S203、在S202進(jìn)行的同時(shí)，服務(wù)器將音視頻流數(shù)據(jù)保存為錄像文件；S204、測(cè)試完成后，用戶可以回看保存的錄像。
現(xiàn)有技術(shù)的遠(yuǎn)程真機(jī)測(cè)試過(guò)程中，用戶只能看到輸出的結(jié)果。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種遠(yuǎn)程真機(jī)的輔助測(cè)試方法、裝置與系統(tǒng)，解決了測(cè)試過(guò)程 看不到用戶具體操作的問(wèn)題。一方面，本發(fā)明實(shí)施例提供一種遠(yuǎn)程真機(jī)的輔助測(cè)試方法，所述方法包括獲取手 機(jī)輸出的屏幕顯示圖像；獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；生成與所述 用戶操作信息對(duì)應(yīng)的模擬圖像；根據(jù)所述模擬圖像在所述屏幕顯示圖像上的坐標(biāo)位置，將 所述模擬圖像和所述屏幕顯示圖像合成為同一幅圖像；將合成后的圖像保存到錄像文件 中。又一方面，本發(fā)明實(shí)施例還提供一種遠(yuǎn)程真機(jī)的輔助測(cè)試方法，所述方法包括獲 取手機(jī)輸出的屏幕顯示圖像，將所述屏幕顯示圖像保存到錄像文件中；獲取與所輸出的屏 幕顯示圖像對(duì)應(yīng)的用戶操作信息；根據(jù)所述用戶操作信息生成第一輔助文件；將所述第一 輔助文件與所述錄像文件相關(guān)聯(lián)。又一方面，本發(fā)明實(shí)施例還提供一種遠(yuǎn)程真機(jī)的輔助測(cè)試裝置，所述裝置包括屏 幕圖像獲取單元，用于獲取手機(jī)輸出的屏幕顯示圖像；操作信息獲取單元，用于獲取與所輸 出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；模擬圖像生成單元，用于生成與所述用戶操作信 息對(duì)應(yīng)的模擬圖像；圖像合成單元，用于根據(jù)所述模擬圖像在所述屏幕顯示圖像上的坐標(biāo) 位置，將所述模擬圖像和所述屏幕顯示圖像合成為同一幅圖像；錄像單元，用于將合成后的 圖像保存到錄像文件中。又一方面，本發(fā)明實(shí)施例還提供一種遠(yuǎn)程真機(jī)的輔助測(cè)試裝置，所述裝置包括屏 幕圖像獲取單元，用于獲取手機(jī)輸出的屏幕顯示圖像；錄像單元，用于將所述屏幕顯示圖像 保存到錄像文件中；操作信息獲取單元，用于獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操 作信息；第一輔助文件生成單元，用于根據(jù)所述用戶操作信息生成第一輔助文件；第一關(guān) 聯(lián)單元，用于將所述第一輔助文件與所述錄像文件相關(guān)聯(lián)。又一方面，本發(fā)明實(shí)施例還提供一種遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)，所述系統(tǒng)包括手 機(jī)，與所述手機(jī)連接的服務(wù)器，以及與所述服務(wù)器連接的客戶端；所述手機(jī)，用于接收所述 客戶端通過(guò)所述服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的用戶操作，并將實(shí)際執(zhí)行的操作 信息發(fā)送給所述服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集，將采集的音視頻數(shù)據(jù)發(fā)送給所述 服務(wù)器；所述服務(wù)器，用于根據(jù)所述音視頻數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯示圖像；獲取與所 輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；生成與所述用戶操作信息對(duì)應(yīng)的模擬圖像；根 據(jù)所述模擬圖像在所述屏幕顯示圖像上的坐標(biāo)位置，將所述模擬圖像和屏幕顯示圖像合成 為同一幅圖像；將合成后的圖像保存到錄像文件中，并將所述合成后的錄像文件提供給所 述客戶端；所述客戶端，用于接收用戶輸入，將用戶操作指令傳送給所述服務(wù)器；接收所述 服務(wù)器發(fā)送的所述合成后的錄像文件并回放。又一方面，本發(fā)明實(shí)施例還提供一種遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)，所述系統(tǒng)包括手 機(jī)，與所述手機(jī)連接的服務(wù)器，以及與所述服務(wù)器連接的客戶端；所述手機(jī)，用于接收所述 客戶端通過(guò)所述服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的用戶操作，并將實(shí)際執(zhí)行的用戶 操作信息發(fā)送給所述服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集，將采集的音視頻數(shù)據(jù)發(fā)送給所述服務(wù)器；所述服務(wù)器，用于將所述客戶端發(fā)送的用戶操作指令傳送給所述手機(jī)；將所 述用戶操作信息發(fā)送給所述客戶端；接收所述手機(jī)發(fā)送的音視頻數(shù)據(jù)并傳送給所述客戶 端；所述客戶端，用于接收用戶輸入，將用戶操作指令傳送給所述服務(wù)器；接收所述音視頻 數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯示圖像；獲取所述用戶操作信息；生成與所述用戶操作信息 對(duì)應(yīng)的模擬圖像；根據(jù)所述模擬圖像在所述屏幕顯示圖像上的坐標(biāo)位置，將所述模擬圖像 和屏幕顯示圖像合成為同一幅圖像；將合成后的圖像保存到錄像文件中，并回放所述錄像 文件。又一方面，本發(fā)明實(shí)施例還提供一種遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)，所述系統(tǒng)包括手 機(jī)，與所述手機(jī)連接的服務(wù)器，以及與所述服務(wù)器連接的客戶端；所述手機(jī)，用于接收所述 客戶端通過(guò)所述服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的用戶操作，并將實(shí)際執(zhí)行的用戶 操作信息發(fā)送給所述服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集，將采集的音視頻數(shù)據(jù)發(fā)送給 所述服務(wù)器；所述服務(wù)器，用于接收所述音視頻數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯示圖像，將所 述屏幕顯示圖像保存到錄像文件中；獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息； 根據(jù)所述用戶操作信息生成第一輔助文件；將所述第一輔助文件與所述錄像文件相關(guān)聯(lián)； 將所述錄像文件以及所述第一輔助文件與所述錄像文件的第一關(guān)聯(lián)關(guān)系提供給所述客戶 端；所述客戶端，用于接收用戶輸入，將用戶操作指令傳送給所述服務(wù)器；接收所述服務(wù)器 發(fā)送的錄像文件和所述第一關(guān)聯(lián)關(guān)系，根據(jù)所述第一關(guān)聯(lián)關(guān)系定位所述錄像文件并回放。又一方面，本發(fā)明實(shí)施例還提供一種遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)，所述系統(tǒng)包括手 機(jī)，與所述手機(jī)連接的服務(wù)器，以及與所述服務(wù)器連接的客戶端；所述手機(jī)，用于接收所述 客戶端通過(guò)所述服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的用戶操作，并將實(shí)際執(zhí)行的用戶 操作信息發(fā)送給所述服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集，將采集的音視頻數(shù)據(jù)發(fā)送給 所述服務(wù)器；所述服務(wù)器，用于將所述客戶端發(fā)送的用戶操作指令傳送給所述手機(jī)；將所 述用戶操作信息發(fā)送給所述客戶端；接收所述手機(jī)發(fā)送的音視頻數(shù)據(jù)并傳送給所述客戶 端；所述客戶端，用于接收用戶輸入，將用戶操作指令傳送給所述服務(wù)器；接收所述音視頻 數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯示圖像，將所述屏幕顯示圖像保存到錄像文件中；獲取與所輸 出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；根據(jù)所述用戶操作信息生成第一輔助文件；建立 所述第一輔助文件與所述錄像文件的第一關(guān)聯(lián)關(guān)系；根據(jù)所述第一關(guān)聯(lián)關(guān)系定位所述錄像 文件并回放。本發(fā)明實(shí)施例的遠(yuǎn)程真機(jī)輔助測(cè)試方法、裝置與系統(tǒng)，通過(guò)實(shí)時(shí)合成用戶輸入信 息到錄像中，使用戶在回放錄像時(shí)能夠獲知引起該屏幕畫面的具體操作過(guò)程，在后期錄像 回放時(shí)為用戶提供更為豐富和準(zhǔn)確的信息；通過(guò)建立以用戶操作和/或手機(jī)輔助信息為索 引點(diǎn)的輔助文件，進(jìn)一步提升錄像系統(tǒng)輔助測(cè)試的效果。


圖1為現(xiàn)有技術(shù)的遠(yuǎn)程真機(jī)測(cè)試系統(tǒng)的原理框圖；圖2為采用圖1所示的系統(tǒng)對(duì)測(cè)試過(guò)程中的音視頻進(jìn)行錄像的流程圖；圖3為本發(fā)明實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試方法流程圖之一；圖4為本發(fā)明實(shí)施例1的遠(yuǎn)程真機(jī)的輔助測(cè)試方法的具體實(shí)現(xiàn)流程圖；圖fe為本發(fā)明實(shí)施例1的遠(yuǎn)程真機(jī)的輔助測(cè)試方法的手機(jī)模擬圖像之一；
圖恥為本發(fā)明實(shí)施 歹
圖5c為本發(fā)明實(shí)施 歹
圖5d為本發(fā)明實(shí)施仿
圖5e為本發(fā)明實(shí)施 歹
圖5f為本發(fā)明實(shí)施仿
圖5g為本發(fā)明實(shí)施仿
圖證為本發(fā)明實(shí)施 歹
圖6為本發(fā)明實(shí)施例
圖7為本發(fā)明實(shí)施例
圖8為本發(fā)明實(shí)施例
圖9為本發(fā)明實(shí)施例
圖10為本發(fā)明實(shí)施 歹
圖11為本發(fā)明實(shí)施 歹
圖12為本發(fā)明實(shí)施仿
圖13為本發(fā)明實(shí)施仿
圖14為本發(fā)明實(shí)施仿
圖15為本發(fā)明實(shí)施仿
圖16為本發(fā)明實(shí)施 歹
圖17為本發(fā)明實(shí)施仿
圖18為本發(fā)明實(shí)施 歹
1的遠(yuǎn)程真機(jī)的輔助測(cè)試方法的手機(jī)模擬圖像之二； 1的遠(yuǎn)程真機(jī)的輔助測(cè)試方法的手機(jī)模擬圖像之三； 1的遠(yuǎn)程真機(jī)的輔助測(cè)試方法的手機(jī)模擬圖像之四； 1的遠(yuǎn)程真機(jī)的輔助測(cè)試方法的手機(jī)模擬圖像之五； 1的遠(yuǎn)程真機(jī)的輔助測(cè)試方法的手機(jī)模擬圖像之六； 1的遠(yuǎn)程真機(jī)的輔助測(cè)試方法的手機(jī)模擬圖像之七； 1的遠(yuǎn)程真機(jī)的輔助測(cè)試方法的手機(jī)模擬圖像之八； 的遠(yuǎn)程真機(jī)的輔助測(cè)試方法流程圖之二； 輔助文件與錄像文件關(guān)聯(lián)的示意圖； 采用輔助文件來(lái)定位錄像文件的操作示意圖； 遠(yuǎn)程真機(jī)的輔助測(cè)試裝置的功能框圖； 1的遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)原理框圖之一； 1的遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)原理框圖之二； 1的本實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)原理框圖之三； 2的遠(yuǎn)程真機(jī)的輔助測(cè)試方法流程圖之一 2的遠(yuǎn)程真機(jī)的輔助測(cè)試方法流程圖之二； 2遠(yuǎn)程真機(jī)的輔助測(cè)試裝置的功能框圖 2的遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)原理框圖之一； 2的遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)原理框圖之二； 2的系統(tǒng)工作示意圖。
具體實(shí)施例方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。實(shí)施例1 本發(fā)明實(shí)施例提供一種遠(yuǎn)程真機(jī)的輔助測(cè)試方法、裝置與系統(tǒng)，通過(guò)模擬測(cè)試時(shí) 的用戶操作，并將其實(shí)時(shí)合成到包含音視頻流的錄像文件中，為用戶提供更為豐富和準(zhǔn)確 的測(cè)試信息。圖3為本發(fā)明實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試方法流程圖之一，如圖3所示，該方法 包括S301、獲取手機(jī)輸出的屏幕顯示圖像；S302、獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；S303、生成與用戶操作信息對(duì)應(yīng)的模擬圖像；S304、根據(jù)模擬圖像在屏幕顯示圖像上的坐標(biāo)位置，將模擬圖像和屏幕顯示圖像 合成為同一幅圖像；S305、將合成后的圖像保存到錄像文件中。圖4為本發(fā)明實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試方法的具體實(shí)現(xiàn)流程，如圖4所示，該方法具體包括S401、獲取手機(jī)的模擬圖像，即皮膚圖像，模擬圖像一般為預(yù)置的一幅圖片，例如 當(dāng)前正在使用的手機(jī)對(duì)應(yīng)的照片，稱為A ；S402、獲取當(dāng)前的手機(jī)屏幕顯示圖像，稱為b ；S403、根據(jù)屏幕與模擬圖像的位置關(guān)系，將b疊加到A上，疊加后的圖像稱為B ；S404、判斷當(dāng)前手機(jī)是否處于輸入狀態(tài)，是則進(jìn)入S404a，否則進(jìn)入S405，用戶的 輸入操作包括按鍵操作或者觸摸屏操作；S404a、獲取用戶的操作信息；S404b、根據(jù)用戶操作信息生成模擬圖像c，例如當(dāng)用戶正在按下某個(gè)鍵時(shí)，讀取預(yù) 置的按下該鍵時(shí)對(duì)應(yīng)的圖片，將該圖片作為模擬圖像c ；S404c、獲取模擬圖像c相對(duì)圖像B的坐標(biāo)位置，該位置稱為ρ ；S404d、根據(jù)位置p，將c疊加到B上，疊加后的圖像稱為C ；S405、將合成后的圖像(B或C)寫入到錄像文件中。下面以觸摸屏手機(jī)上的一個(gè)觸屏操作為例，對(duì)圖4中每個(gè)具體的步驟進(jìn)行詳細(xì)說(shuō) 明。S401、獲取手機(jī)的模擬皮膚圖像A，如圖fe所示；S402、獲取當(dāng)前手機(jī)的屏幕顯示圖像b，如圖恥所示；S403、將b疊加到A上得到圖像B，如圖5c所示；S404a、用戶點(diǎn)擊左上角的開始菜單，進(jìn)入輸入狀態(tài)；S404b、根據(jù)用戶不同的操作類型，生成模擬圖像C。如，對(duì)于點(diǎn)擊操作，可以歸為 一類，都用同一個(gè)模擬圖像來(lái)表示；而對(duì)于其他操作則對(duì)應(yīng)于不同的模擬圖像，如觸屏手 機(jī)可以進(jìn)行手寫輸入，這時(shí)的輸入操作就不是簡(jiǎn)單的點(diǎn)擊了，而是一種滑動(dòng)操作，可以用模 仿用戶觸屏軌跡的線條來(lái)作為模擬圖像；又如，有些手機(jī)具有軌跡球這種輸入設(shè)備，這個(gè)設(shè) 備一般具有5個(gè)運(yùn)動(dòng)方向，即上下左右滾動(dòng)以及向下按這一操作，對(duì)于這個(gè)設(shè)備，就需要5 個(gè)模擬圖像來(lái)分別對(duì)應(yīng)5種不同的操作。因此，實(shí)際應(yīng)用中，操作類型與具體的輸入設(shè)備有 關(guān)，本實(shí)施例以點(diǎn)擊操作為例進(jìn)行說(shuō)明，即生成一個(gè)表示用戶點(diǎn)擊操作的圖像，如該實(shí)施例
中的圓圈“ O，，或者還可以是箭頭“ A ”，及其他表示用戶點(diǎn)擊的圖像等；
9，S404c、取得c相對(duì)B的位置，這里可以由觸摸屏操作的坐標(biāo)來(lái)計(jì)算；S404d、將c疊加到B上，得到C，如圖5d所示“ O，，出現(xiàn)在“開始”左側(cè)的windows
圖標(biāo)附近，表示用戶點(diǎn)擊了“開始”菜單；圖k為用戶操作后改變的圖像，從圖中可以看出， 點(diǎn)擊開始之后出現(xiàn)了 一個(gè)下拉菜單條。下面再以物理鍵盤的操作為例，對(duì)圖4中每個(gè)具體的步驟進(jìn)行詳細(xì)說(shuō)明。S401、獲取手機(jī)的模擬皮膚圖像A，再次參考圖fe ；S402、獲取當(dāng)前手機(jī)的屏幕顯示圖像b，如圖5f所示；S403、將b疊加到A上得到圖像B，再次參考圖k ；S404a、用戶點(diǎn)擊方向鍵中的向下鍵，進(jìn)入輸入狀態(tài)；S404b、生成模擬圖像c，即一個(gè)表示用戶點(diǎn)擊操作的圖像，如“ O，，S404c、取得c相對(duì)B的位置，這里可以由向下鍵對(duì)應(yīng)皮膚的坐標(biāo)來(lái)計(jì)算；
S404d、將c疊加到B上，得到C，如圖5g，其中“ O，，出現(xiàn)在手機(jī)方向鍵的向下按
鍵附近，表示點(diǎn)擊了該向下的按鍵；圖證為用戶操作后改變的圖像，此時(shí)菜單中高亮的部 分為“今日”的下一個(gè)菜單條“Office Mobile”。對(duì)于圖4所示的方法，一種可選的實(shí)現(xiàn)方式是，采取定時(shí)的方式來(lái)循環(huán)執(zhí)行 S401 S405，并生成錄像文件，錄像文件中也可以包含音頻的信息。另一種可選的實(shí)現(xiàn)方 式是，根據(jù)事件來(lái)實(shí)時(shí)的觸發(fā)錄像。例如，當(dāng)監(jiān)測(cè)到輸入狀態(tài)發(fā)生改變時(shí)(例如從鍵盤按下 的狀態(tài)變成鍵盤沒(méi)有按下的狀態(tài))，則實(shí)時(shí)的將輸入狀態(tài)的模擬圖像c合成到上一幀錄像 畫面中，從而生成新的一幀圖像C，將C寫入到錄像文件中；當(dāng)監(jiān)測(cè)到當(dāng)前屏幕顯示圖像b 發(fā)生變化時(shí)，也實(shí)時(shí)的將b合成到皮膚畫面中，生成新的一幀圖像B，將B寫入到錄像文件 中?？蛇x地，在以上方案的基礎(chǔ)上，也可以將用戶操作信息記錄成單獨(dú)的輔助文件，并 和錄像文件進(jìn)行關(guān)聯(lián)，用戶可以根據(jù)該輔助文件快速的定位錄像文件；可選地，本實(shí)施例的 方法還可以將手機(jī)當(dāng)前的輔助狀態(tài)信息記錄成單獨(dú)的輔助文件，并和錄像文件進(jìn)行關(guān)聯(lián)。圖6為本發(fā)明實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試方法流程圖之二，該方法實(shí)現(xiàn)了上述 的可選方案，如圖6所示，該方法包括S601、獲取手機(jī)輸出的屏幕顯示圖像；S602、獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；S603、生成與用戶操作信息對(duì)應(yīng)的模擬圖像；S604、根據(jù)模擬圖像在屏幕顯示圖像上的坐標(biāo)位置，將模擬圖像和屏幕顯示圖像 合成為同一幅圖像；S605、將合成后的圖像保存到錄像文件中。S606、根據(jù)用戶操作信息生成第一輔助文件；將第一輔助文件與合成后的錄像文 件相關(guān)聯(lián)；可選地該方法還包括S607、獲取手機(jī)當(dāng)前的輔助狀態(tài)；根據(jù)輔助狀態(tài)生成第二 輔助文件；將第二輔助文件與合成后的錄像文件相關(guān)聯(lián)。可選地，本實(shí)施例的輔助狀態(tài)包括手機(jī)當(dāng)前時(shí)間的CPU占用率、內(nèi)存使用大 小以及運(yùn)行的進(jìn)程數(shù)中的至少一項(xiàng)。可選地，本實(shí)施例的輔助狀態(tài)可以定時(shí)獲取。一般 手機(jī)操作系統(tǒng)都有相關(guān)的方法來(lái)獲取這些信息，例如Windows mobile系統(tǒng)的手機(jī)，可 以通過(guò)GetThreadTimesO來(lái)獲得線程的CPU時(shí)間，進(jìn)而計(jì)算進(jìn)程的CPU占用率，而通過(guò) GlobalMemoryStatus ()可以獲得系統(tǒng)的內(nèi)存使用率。圖7為本實(shí)施例輔助文件與錄像文件關(guān)聯(lián)的示意圖，如圖7所示，輔助文件和錄像 文件之間通過(guò)時(shí)間進(jìn)行關(guān)聯(lián)。嚴(yán)格地說(shuō)，一個(gè)記錄只能對(duì)應(yīng)一幀，而一幀可以對(duì)應(yīng)η個(gè)記 錄，這主要是由于在同一個(gè)時(shí)間點(diǎn)，圖像只能有一個(gè)，但可能發(fā)生了 2個(gè)或2個(gè)以上的用戶 操作和系統(tǒng)信息更新。但同一個(gè)時(shí)間點(diǎn)發(fā)生2個(gè)或2個(gè)以上事件的幾率比較小，所以圖7 簡(jiǎn)化為一個(gè)幀也只對(duì)應(yīng)于一個(gè)記錄。圖7表達(dá)了兩層含義1、記錄與圖像通過(guò)時(shí)間來(lái)對(duì)應(yīng)；2、刷新率固定后，圖像是連 續(xù)的，所以右邊相對(duì)時(shí)間是均勻的，但記錄是不連續(xù)的，系統(tǒng)信息可以定時(shí)來(lái)獲取，但用戶 操作不是定時(shí)的，可能很長(zhǎng)時(shí)間沒(méi)操作，也可能在很短的時(shí)間能出現(xiàn)很密集的操作，所以左 邊相對(duì)時(shí)間是不均勻的。
具體實(shí)現(xiàn)時(shí)，可以定義如下數(shù)據(jù)結(jié)構(gòu)struct user_operation{int type ；int χ ；int y ；Time time ；}；struct sys_info{int type ；int value ；Time time ；}；其中，userjperation包含了操作類型type，操作位置(x，y)，以及操作發(fā)生的時(shí) 間time ；sys_infο包含了系統(tǒng)信息類型type，對(duì)應(yīng)系統(tǒng)信息的值value，以及采集這一系統(tǒng) 信息的時(shí)間time。獲得用戶操作信息的時(shí)候，記錄當(dāng)前時(shí)間；采集系統(tǒng)信息的時(shí)候，記錄當(dāng) 前時(shí)間；這些時(shí)間就是如上數(shù)據(jù)結(jié)構(gòu)中的time變量。本實(shí)施例生成輔助文件時(shí)，使用相同的時(shí)間軸，將輔助文件與錄像文件相關(guān)聯(lián)，即 開始錄像時(shí)的時(shí)間設(shè)為初始時(shí)間，輔助文件中的時(shí)間都是相對(duì)于這個(gè)時(shí)間的相對(duì)時(shí)間。使 用輔助文件來(lái)定位錄像時(shí)，可以提供2個(gè)獨(dú)立界面，圖8為采用輔助文件來(lái)定位錄像文件的 操作示意圖。在實(shí)際的界面上可以顯示兩個(gè)窗口，圖8的左邊部分顯示輔助文件的索引記 錄，圖8右邊部分播放錄像文件。用戶可以在輔助文件索引的界面中選擇記錄，然后系統(tǒng)通 過(guò)將索引中的時(shí)間作為播放器的輸入來(lái)控制播放器時(shí)間軸的移動(dòng)，在播放器中找到對(duì)應(yīng)時(shí) 間的屏幕顯示圖像。對(duì)應(yīng)于本實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試方法，本實(shí)施例還提供一種遠(yuǎn)程真機(jī)的輔 助測(cè)試裝置，圖9為本實(shí)施例遠(yuǎn)程真機(jī)的輔助測(cè)試裝置的功能框圖，圖9中的實(shí)線框表示的 是必要的單元，而虛線框表示的是可選的單元。如圖9所示，該裝置90包括屏幕圖像獲取單元901，用于獲取手機(jī)輸出的屏幕顯 示圖像；操作信息獲取單元902，用于獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息； 模擬圖像生成單元903，用于生成與用戶操作信息對(duì)應(yīng)的模擬圖像；圖像合成單元904，用 于根據(jù)模擬圖像在屏幕顯示圖像上的坐標(biāo)位置，將模擬圖像和屏幕顯示圖像合成為同一幅 圖像；錄像單元905，用于將合成后的圖像保存到錄像文件中。可選地，裝置90還包括第一輔助文件生成單元906，用于根據(jù)用戶操作信息生成 第一輔助文件；第一關(guān)聯(lián)單元907，用于將第一輔助文件與合成后的錄像文件相關(guān)聯(lián)?？蛇x 地，裝置90還包括輔助狀態(tài)獲取單元908，用于獲取手機(jī)當(dāng)前的輔助狀態(tài)；第二輔助文件 生成單元909，用于根據(jù)輔助狀態(tài)生成第二輔助文件；第二關(guān)聯(lián)單元910，用于將第二輔助 文件與合成后的錄像文件相關(guān)聯(lián)。對(duì)應(yīng)于本實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試方法，本實(shí)施例還提供一種遠(yuǎn)程真機(jī)的輔 助測(cè)試系統(tǒng)，該系統(tǒng)包含了圖9所示的裝置90，根據(jù)具體的實(shí)施不同，該裝置可以位于客戶 端也可以位于服務(wù)器中。
圖10為本實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)原理框圖之一，如圖10所示，該系 統(tǒng)包括手機(jī)10，與手機(jī)連接的服務(wù)器20，以及與服務(wù)器20連接的客戶端30。其中手機(jī) 10，用于接收客戶端通過(guò)服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的用戶操作，并將實(shí)際執(zhí)行 的操作信息發(fā)送給服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集，將采集的音視頻數(shù)據(jù)發(fā)送給服 務(wù)器；服務(wù)器20，用于根據(jù)音視頻數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯示圖像；獲取與所輸出的屏 幕顯示圖像對(duì)應(yīng)的用戶操作信息；生成與用戶操作信息對(duì)應(yīng)的模擬圖像；根據(jù)模擬圖像在 屏幕顯示圖像上的坐標(biāo)位置，將模擬圖像和屏幕顯示圖像合成為同一幅圖像；將合成后的 圖像保存到錄像文件中，并將合成后的錄像文件提供給客戶端；客戶端30，用于接收用戶 輸入，將用戶操作指令傳送給服務(wù)器；接收服務(wù)器發(fā)送的合成后的錄像文件并回放。如圖10所示，和圖1所示的系統(tǒng)相比，本實(shí)施例的系統(tǒng)在服務(wù)器20中新增了音視 頻及輸入信息合成單元204，用來(lái)進(jìn)行輸入信息與屏幕顯示圖像的合成工作。音視頻及輸入 信息合成單元204以及錄像單元905共同實(shí)現(xiàn)圖9所示的裝置90的功能。其中，音視頻及 輸入信息合成單元204進(jìn)一步包含了圖9所示的屏幕顯示圖像獲取單元901、操作信息獲取 單元902、模擬圖像生成單元903以及圖像合成單元904。具體地，手機(jī)10包括用戶輸入接收單元102，用于接收客戶端通過(guò)服務(wù)器發(fā)送的 用戶操作指令，執(zhí)行相應(yīng)的用戶操作，并將實(shí)際執(zhí)行的操作信息發(fā)送給服務(wù)器；音視頻采集 單元101，對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集，獲取屏幕顯示圖像和音頻信息，將采集的音視頻 數(shù)據(jù)發(fā)送給服務(wù)器；具體地，服務(wù)器20包括音視頻接收單元201，用于接收音視頻數(shù)據(jù)，獲取屏幕顯 示圖像；用戶輸入接收單元202，用于接收客戶端發(fā)送的用戶操作指令，并將該指令發(fā)送給 手機(jī)執(zhí)行；音視頻及輸入信息合成單元204，用于根據(jù)音視頻數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯 示圖像；獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；生成與用戶操作信息對(duì)應(yīng)的 模擬圖像；根據(jù)模擬圖像在屏幕顯示圖像上的坐標(biāo)位置，將模擬圖像和屏幕顯示圖像合成 為同一幅圖像；錄像單元905，用于將合成后的圖像保存到錄像文件中，并將合成后的錄像 文件提供給客戶端；具體地，客戶端30包括，用戶輸入單元301，用于接收用戶輸入，將用戶操作指令 傳送給服務(wù)器；實(shí)時(shí)播放單元302，用于接收服務(wù)器發(fā)送的實(shí)時(shí)音視頻流并播放；錄像播放 單元303，用于接收服務(wù)器發(fā)送的合成后的錄像文件并回放。圖11為本實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)原理框圖之二。該圖中的服務(wù)器和 手機(jī)配合，不僅能夠?qū)⒛M用戶操作的圖像合成到屏幕顯示圖像中，還能夠根據(jù)用戶操作 信息和/或手機(jī)當(dāng)前的輔助狀態(tài)生成單獨(dú)的輔助文件，并將生成的輔助文件與合成的錄像 文件相關(guān)聯(lián)，用戶通過(guò)輔助文件就能夠定位到對(duì)應(yīng)的錄像文件。圖11所示的服務(wù)器20，還用于根據(jù)用戶操作信息生成第一輔助文件；將第一輔助 文件與合成后的錄像文件相關(guān)聯(lián)；將第一輔助文件與錄像文件的第一關(guān)聯(lián)關(guān)系發(fā)送給客戶 端；客戶端30，還用于獲取第一關(guān)聯(lián)關(guān)系，根據(jù)第一關(guān)聯(lián)關(guān)系定位錄像文件并回放。圖11所示的手機(jī)10，還用于獲取手機(jī)當(dāng)前的輔助狀態(tài)，將輔助狀態(tài)發(fā)送給服務(wù) 器；服務(wù)器20，還用于根據(jù)輔助狀態(tài)生成第二輔助文件；將第二輔助文件與合成后的錄像 文件相關(guān)聯(lián)；將第二輔助文件與錄像文件的第二關(guān)聯(lián)關(guān)系發(fā)送給客戶端；客戶端30，還用 于獲取第二關(guān)聯(lián)關(guān)系，根據(jù)第二關(guān)聯(lián)關(guān)系定位錄像文件并回放。
具體地，和圖10相比，圖11的手機(jī)10還包括輔助狀態(tài)獲取單元908，服務(wù)器20還 包括輔助信息生成單元205，該輔助信息生成單元205包含了圖9所示的第一輔助文件生成 單元906、第一關(guān)聯(lián)單元907、第二輔助文件生成單元909和第二關(guān)聯(lián)單元910。其中，輔助狀態(tài)獲取單元908，用于獲取手機(jī)當(dāng)前的輔助狀態(tài)，將該輔助狀態(tài)發(fā)送 給輔助信息生成單元205。輔助信息生成單元205，用于根據(jù)用戶操作信息生成第一輔助文 件，將第一輔助文件與合成后的錄像文件相關(guān)聯(lián)，將第一輔助文件與錄像文件的第一關(guān)聯(lián) 關(guān)系發(fā)送給客戶端；以及根據(jù)輔助狀態(tài)生成第二輔助文件，將第二輔助文件與合成后的錄 像文件相關(guān)聯(lián)，將第二輔助文件與錄像文件的第二關(guān)聯(lián)關(guān)系發(fā)送給客戶端。這樣，客戶端的 錄像播放單元303在可以通過(guò)第一輔助文件以及第二輔助文件來(lái)定位錄像文件。圖12為本實(shí)施例的本實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)原理框圖之三。和圖10 以及圖11所不同的是，圖12的系統(tǒng)由客戶端30來(lái)完成具體的圖像合成過(guò)程，即裝置90位 于客戶端30中。具體地，和圖10和圖11相比，音視頻及輸入信息合成單元204和錄像單 元905位于客戶端30中；為了配合客戶端的工作，服務(wù)器20中新增了用戶輸入信息反饋單 元206，用于向客戶端提供用戶操作信息。如圖12所示，該系統(tǒng)包括手機(jī)10，與手機(jī)連接的服務(wù)器20，以及與服務(wù)器連接的 客戶端30。手機(jī)10，用于接收客戶端通過(guò)服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的用戶操 作，并將實(shí)際執(zhí)行的用戶操作信息發(fā)送給服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集，將采集的 音視頻數(shù)據(jù)發(fā)送給服務(wù)器；服務(wù)器20，用于將客戶端發(fā)送的用戶操作指令傳送給手機(jī)；將 用戶操作信息發(fā)送給客戶端；接收手機(jī)發(fā)送的音視頻數(shù)據(jù)并傳送給客戶端；客戶端30，用 于接收用戶輸入，將用戶操作指令傳送給服務(wù)器；接收音視頻數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯 示圖像；獲取用戶操作信息；生成與用戶操作信息對(duì)應(yīng)的模擬圖像；根據(jù)模擬圖像在屏幕 顯示圖像上的坐標(biāo)位置，將模擬圖像和屏幕顯示圖像合成為同一幅圖像；將合成后的圖像 保存到錄像文件中，并回放錄像文件?？蛇x地，本實(shí)施例的客戶端30，還用于根據(jù)用戶操作信息生成第一輔助文件；建 立第一輔助文件與合成后的錄像文件的第一關(guān)聯(lián)關(guān)系，根據(jù)第一關(guān)聯(lián)關(guān)系定位錄像文件并 回放。此時(shí)，客戶端30中需要包含圖11所示的輔助信息生成單元205?？蛇x地，本實(shí)施例的手機(jī)10，還用于獲取手機(jī)當(dāng)前的輔助狀態(tài)，將輔助狀態(tài)提供給 服務(wù)器；服務(wù)器20，還用于將輔助狀態(tài)提供給客戶端；客戶端30，還用于根據(jù)輔助狀態(tài)生成 第二輔助文件；建立第二輔助文件與合成后的錄像文件的第二關(guān)聯(lián)關(guān)系，根據(jù)第二關(guān)聯(lián)關(guān) 系定位錄像文件并回放。此時(shí)，手機(jī)10種需要包含圖11所示的手機(jī)輔助信息獲取單元103。本發(fā)明實(shí)施例的遠(yuǎn)程真機(jī)輔助測(cè)試方法、裝置與系統(tǒng)，通過(guò)實(shí)時(shí)合成用戶輸入信 息到錄像中，在后期錄像回放時(shí)為用戶提供更為豐富和準(zhǔn)確的信息；通過(guò)建立以用戶操作 和/或手機(jī)輔助信息為索引點(diǎn)的輔助文件，進(jìn)一步提升錄像系統(tǒng)輔助測(cè)試的效果。實(shí)施例2:本發(fā)明實(shí)施例提供一種遠(yuǎn)程真機(jī)的輔助測(cè)試方法、裝置與系統(tǒng)，和實(shí)施例1的方 案不同之處在于，本實(shí)施例不需要模擬用戶操作并將其合成到錄像文件中，而是根據(jù)用戶 操作信息和/或手機(jī)當(dāng)前的狀態(tài)信息生成單獨(dú)的輔助文件，將該輔助文件與錄像文件相關(guān) 聯(lián)，用戶可以直接通過(guò)輔助文件的記錄定位到相應(yīng)的錄像文件并回放。圖13為本發(fā)明實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試方法流程圖之一，如圖13所示，該方法包括S1301、獲取手機(jī)輸出的屏幕顯示圖像，將屏幕顯示圖像保存到錄像文件中；S1302、獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；S1303、根據(jù)用戶操作信息生成第一輔助文件；S1304、將第一輔助文件與錄像文件相關(guān)聯(lián)。圖14為本發(fā)明實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試方法流程圖之二，如圖14所示，該方 法還包括S1305、獲取手機(jī)當(dāng)前的輔助狀態(tài)；S1306、根據(jù)輔助狀態(tài)生成第二輔助文件；S1307、將第二輔助文件與錄像文件相關(guān)聯(lián)。由于具體的關(guān)聯(lián)方式已經(jīng)在實(shí)施例1中進(jìn)行了詳細(xì)的描述，此處不再贅述。對(duì)應(yīng)于本實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試方法，本實(shí)施例還提供一種遠(yuǎn)程真機(jī)的輔 助測(cè)試裝置，圖15為本實(shí)施例遠(yuǎn)程真機(jī)的輔助測(cè)試裝置的功能框圖，實(shí)現(xiàn)框表示的是必要 的單元，而虛線框表示的是可選的單元。如圖15所示，該裝置150包括屏幕圖像獲取單元1501，用于獲取手機(jī)輸出的 屏幕顯示圖像；錄像單元1502，用于將屏幕顯示圖像保存到錄像文件中；操作信息獲取單 元1503，用于獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；第一輔助文件生成單元 1504，用于根據(jù)用戶操作信息生成第一輔助文件；第一關(guān)聯(lián)單元1505，用于將第一輔助文 件與錄像文件相關(guān)聯(lián)?？蛇x地，裝置150還包括輔助狀態(tài)獲取單元1506，用于獲取手機(jī)當(dāng)前的輔助狀 態(tài)；第二輔助文件生成單元1507，用于根據(jù)輔助狀態(tài)生成第二輔助文件；第二關(guān)聯(lián)單元 1508，用于將第二輔助文件與錄像文件相關(guān)聯(lián)。對(duì)應(yīng)于本實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試方法，本實(shí)施例還提供一種遠(yuǎn)程真機(jī)的輔 助測(cè)試系統(tǒng)，該系統(tǒng)包含了圖15所示的裝置150，根據(jù)具體的實(shí)施不同，該裝置可以位于客 戶端也可以位于服務(wù)器中。圖16為本實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)原理框圖之一，如圖16所示，該系統(tǒng) 包括手機(jī)10，與手機(jī)連接的服務(wù)器20，以及與服務(wù)器連接的客戶端30。其中，手機(jī)10，用 于接收客戶端通過(guò)服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的用戶操作，并將實(shí)際執(zhí)行的用 戶操作信息發(fā)送給服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集，將采集的音視頻數(shù)據(jù)發(fā)送給服 務(wù)器；服務(wù)器20，用于接收音視頻數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯示圖像，將屏幕顯示圖像保 存到錄像文件中；獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；根據(jù)用戶操作信息 生成第一輔助文件；將第一輔助文件與錄像文件相關(guān)聯(lián)；將錄像文件以及第一輔助文件與 錄像文件的第一關(guān)聯(lián)關(guān)系提供給客戶端；客戶端30，用于接收用戶輸入，將用戶操作指令 傳送給服務(wù)器；接收服務(wù)器發(fā)送的錄像文件和第一關(guān)聯(lián)關(guān)系，根據(jù)第一關(guān)聯(lián)關(guān)系定位錄像 文件并回放?？蛇x地，手機(jī)10，還用于獲取手機(jī)當(dāng)前的輔助狀態(tài)，將輔助狀態(tài)發(fā)送給服務(wù)器；服 務(wù)器20，還用于根據(jù)輔助狀態(tài)生成第二輔助文件；將第二輔助文件與錄像文件相關(guān)聯(lián)；將 第二輔助文件與錄像文件的第二關(guān)聯(lián)關(guān)系提供給客戶端；客戶端30，還用于接收服務(wù)器發(fā) 送的第二關(guān)聯(lián)關(guān)系，根據(jù)第二關(guān)聯(lián)關(guān)系定位錄像文件并回放。
如圖16所示，和圖1所示的系統(tǒng)相比，本實(shí)施例的系統(tǒng)在服務(wù)器20中新增了輔助 信息生成單元205，在手機(jī)10中新增了輔助狀態(tài)獲取單元1506 ；其中，輔助信息生成單元 205實(shí)現(xiàn)了圖15中所示的第一輔助文件生成單元1504、第一關(guān)聯(lián)單元1505、第二輔助單元 1507以及第二關(guān)聯(lián)單元1508的功能。圖17為本實(shí)施例的遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)原理框圖之二。和圖16所不同的是， 圖17的系統(tǒng)由客戶端30來(lái)完成輔助信息與錄像文件的關(guān)聯(lián)過(guò)程，即裝置150位于客戶端 30中。具體地，和圖16相比，輔助信息生成單元205和錄像單元1502位于客戶端30中； 為了配合客戶端的工作，服務(wù)器20中新增了信息反饋單元1701，用于向客戶端提供用戶操 作信息以及輔助狀態(tài)信息。如圖17所示，該系統(tǒng)包括手機(jī)10，與手機(jī)連接的服務(wù)器20，以及與服務(wù)器連接 的客戶端30。其中，手機(jī)10，用于接收客戶端通過(guò)服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的 用戶操作，并將實(shí)際執(zhí)行的用戶操作信息發(fā)送給服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集，將 采集的音視頻數(shù)據(jù)發(fā)送給服務(wù)器；服務(wù)器20，用于將客戶端發(fā)送的用戶操作指令傳送給手 機(jī)；將用戶操作信息發(fā)送給客戶端；接收手機(jī)發(fā)送的音視頻數(shù)據(jù)并傳送給客戶端；客戶端 30，用于接收用戶輸入，將用戶操作指令傳送給服務(wù)器；接收音視頻數(shù)據(jù)，獲取手機(jī)輸出的 屏幕顯示圖像，將屏幕顯示圖像保存到錄像文件中；獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的 用戶操作信息；根據(jù)用戶操作信息生成第一輔助文件；建立第一輔助文件與錄像文件的第 一關(guān)聯(lián)關(guān)系；根據(jù)第一關(guān)聯(lián)關(guān)系定位錄像文件并回放?？蛇x地，本實(shí)施例的手機(jī)10，還用于獲取手機(jī)當(dāng)前的輔助狀態(tài)，將輔助狀態(tài)發(fā)送給 服務(wù)器；服務(wù)器20，還用于將輔助狀態(tài)提供給客戶端；客戶端30，還用于根據(jù)輔助狀態(tài)生成 第二輔助文件；建立第二輔助文件與錄像文件的第二關(guān)聯(lián)關(guān)系；根據(jù)第二關(guān)聯(lián)關(guān)系定位錄 像文件并回放。圖18為本實(shí)施例的系統(tǒng)工作示意圖。如圖18所示，錄像單元負(fù)責(zé)生成錄像，它 提供一個(gè)供外部單元查詢當(dāng)前錄像時(shí)間的接口，這個(gè)錄像時(shí)間是指開始錄像為起始點(diǎn)的 時(shí)間。服務(wù)端監(jiān)聽手機(jī)端的消息，如果發(fā)現(xiàn)有用戶輸入(type，χ, y)或者是系統(tǒng)信息更新 (type, value)，就向錄像單元查詢當(dāng)前錄像時(shí)間time，組成一條記錄(type，χ, y，time)或 (type，value，time)，寫入輔助文件。當(dāng)然，如果錄像單元位于客戶端時(shí)，圖18所示的工作 過(guò)程由客戶端實(shí)際完成，服務(wù)器將為客戶端提供必要的信息以配合客戶端的工作。本發(fā)明實(shí)施例的遠(yuǎn)程真機(jī)輔助測(cè)試方法、裝置與系統(tǒng)，通過(guò)建立以用戶操作和/ 或手機(jī)輔助信息為索引點(diǎn)的輔助文件，通過(guò)輔助文件定位錄像文件，能夠更準(zhǔn)確地獲知引 起圖像變化的用戶操作過(guò)程，進(jìn)一步提升錄像系統(tǒng)輔助測(cè)試的效果。本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可 以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ) 介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì) 可為磁碟、光盤、只讀存儲(chǔ)記憶體(Read-Only Memory, ROM)或隨機(jī)存儲(chǔ)記憶體(Random AccessMemory, RAM)等。以上實(shí)施例僅用以說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，而非對(duì)其限制；盡管參照前述 實(shí)施例對(duì)本發(fā)明實(shí)施例進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解其依然可以 對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實(shí)施例各實(shí)施例技術(shù)方案的精 神和范圍。
權(quán)利要求
1.一種遠(yuǎn)程真機(jī)的輔助測(cè)試方法，其特征在于，所述方法包括 獲取手機(jī)輸出的屏幕顯示圖像；獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息； 生成與所述用戶操作信息對(duì)應(yīng)的模擬圖像；根據(jù)所述模擬圖像在所述屏幕顯示圖像上的坐標(biāo)位置，將所述模擬圖像和所述屏幕顯 示圖像合成為同一幅圖像；將合成后的圖像保存到錄像文件中。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括 根據(jù)所述用戶操作信息生成第一輔助文件；將所述第一輔助文件與合成后的錄像文件相關(guān)聯(lián)。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括 獲取手機(jī)當(dāng)前的輔助狀態(tài)；根據(jù)所述輔助狀態(tài)生成第二輔助文件； 將所述第二輔助文件與合成后的錄像文件相關(guān)聯(lián)。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述輔助狀態(tài)至少包括手機(jī)的CPU占用 率、內(nèi)存使用情況以及進(jìn)程數(shù)。
5.一種遠(yuǎn)程真機(jī)的輔助測(cè)試方法，其特征在于，所述方法包括獲取手機(jī)輸出的屏幕顯示圖像，將所述屏幕顯示圖像保存到錄像文件中； 獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息； 根據(jù)所述用戶操作信息生成第一輔助文件； 將所述第一輔助文件與所述錄像文件相關(guān)聯(lián)。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括 獲取手機(jī)當(dāng)前的輔助狀態(tài)；根據(jù)所述輔助狀態(tài)生成第二輔助文件； 將所述第二輔助文件與所述錄像文件相關(guān)聯(lián)。
7.—種遠(yuǎn)程真機(jī)的輔助測(cè)試裝置，其特征在于，所述裝置包括 屏幕圖像獲取單元，用于獲取手機(jī)輸出的屏幕顯示圖像；操作信息獲取單元，用于獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息； 模擬圖像生成單元，用于生成與所述用戶操作信息對(duì)應(yīng)的模擬圖像； 圖像合成單元，用于根據(jù)所述模擬圖像在所述屏幕顯示圖像上的坐標(biāo)位置，將所述模 擬圖像和所述屏幕顯示圖像合成為同一幅圖像；錄像單元，用于將合成后的圖像保存到錄像文件中。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括第一輔助文件生成單元，用于根據(jù)所述用戶操作信息生成第一輔助文件； 第一關(guān)聯(lián)單元，用于將所述第一輔助文件與合成后的錄像文件相關(guān)聯(lián)。
9.根據(jù)權(quán)利要求7或8所述的裝置，其特征在于，所述裝置還包括 輔助狀態(tài)獲取單元，用于獲取手機(jī)當(dāng)前的輔助狀態(tài)；第二輔助文件生成單元，用于根據(jù)所述輔助狀態(tài)生成第二輔助文件； 第二關(guān)聯(lián)單元，用于將所述第二輔助文件與合成后的錄像文件相關(guān)聯(lián)。
10.一種遠(yuǎn)程真機(jī)的輔助測(cè)試裝置，其特征在于，所述裝置包括 屏幕圖像獲取單元，用于獲取手機(jī)輸出的屏幕顯示圖像； 錄像單元，用于將所述屏幕顯示圖像保存到錄像文件中；操作信息獲取單元，用于獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息； 第一輔助文件生成單元，用于根據(jù)所述用戶操作信息生成第一輔助文件； 第一關(guān)聯(lián)單元，用于將所述第一輔助文件與所述錄像文件相關(guān)聯(lián)。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述裝置還包括 輔助狀態(tài)獲取單元，用于獲取手機(jī)當(dāng)前的輔助狀態(tài)；第二輔助文件生成單元，用于根據(jù)所述輔助狀態(tài)生成第二輔助文件； 第二關(guān)聯(lián)單元，用于將所述第二輔助文件與所述錄像文件相關(guān)聯(lián)。
12.—種遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)，其特征在于，所述系統(tǒng)包括手機(jī)，與所述手機(jī)連 接的服務(wù)器，以及與所述服務(wù)器連接的客戶端；所述手機(jī)，用于接收所述客戶端通過(guò)所述服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的用 戶操作，并將實(shí)際執(zhí)行的操作信息發(fā)送給所述服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集，將采 集的音視頻數(shù)據(jù)發(fā)送給所述服務(wù)器；所述服務(wù)器，用于根據(jù)所述音視頻數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯示圖像；獲取與所輸出 的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；生成與所述用戶操作信息對(duì)應(yīng)的模擬圖像；根據(jù)所 述模擬圖像在所述屏幕顯示圖像上的坐標(biāo)位置，將所述模擬圖像和屏幕顯示圖像合成為同 一幅圖像；將合成后的圖像保存到錄像文件中，并將所述合成后的錄像文件提供給所述客 戶端；所述客戶端，用于接收用戶輸入，將用戶操作指令傳送給所述服務(wù)器；接收所述服務(wù)器 發(fā)送的所述合成后的錄像文件并回放。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其特征在于，所述服務(wù)器，還用于根據(jù)所述用戶操作信息生成第一輔助文件；將所述第一輔助文件 與合成后的錄像文件相關(guān)聯(lián)；將所述第一輔助文件與錄像文件的第一關(guān)聯(lián)關(guān)系發(fā)送給所述 客戶端；所述客戶端，還用于獲取所述第一關(guān)聯(lián)關(guān)系，根據(jù)所述第一關(guān)聯(lián)關(guān)系定位所述錄像文 件并回放。
14.根據(jù)權(quán)利要求12或13所述的系統(tǒng)，其特征在于，所述手機(jī)，還用于獲取手機(jī)當(dāng)前的輔助狀態(tài)，將所述輔助狀態(tài)發(fā)送給所述服務(wù)器； 所述服務(wù)器，還用于根據(jù)所述輔助狀態(tài)生成第二輔助文件；將所述第二輔助文件與合 成后的錄像文件相關(guān)聯(lián)；將所述第二輔助文件與錄像文件的第二關(guān)聯(lián)關(guān)系發(fā)送給所述客戶 端；所述客戶端，還用于獲取所述第二關(guān)聯(lián)關(guān)系，根據(jù)所述第二關(guān)聯(lián)關(guān)系定位所述錄像文 件并回放。
15.一種遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)，其特征在于，所述系統(tǒng)包括手機(jī)，與所述手機(jī)連 接的服務(wù)器，以及與所述服務(wù)器連接的客戶端；所述手機(jī)，用于接收所述客戶端通過(guò)所述服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的用 戶操作，并將實(shí)際執(zhí)行的用戶操作信息發(fā)送給所述服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集，將采集的音視頻數(shù)據(jù)發(fā)送給所述服務(wù)器；所述服務(wù)器，用于將所述客戶端發(fā)送的用戶操作指令傳送給所述手機(jī)；將所述用戶操 作信息發(fā)送給所述客戶端；接收所述手機(jī)發(fā)送的音視頻數(shù)據(jù)并傳送給所述客戶端；所述客戶端，用于接收用戶輸入，將用戶操作指令傳送給所述服務(wù)器；接收所述音視頻 數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯示圖像；獲取所述用戶操作信息；生成與所述用戶操作信息 對(duì)應(yīng)的模擬圖像；根據(jù)所述模擬圖像在所述屏幕顯示圖像上的坐標(biāo)位置，將所述模擬圖像 和屏幕顯示圖像合成為同一幅圖像；將合成后的圖像保存到錄像文件中，并回放所述錄像 文件。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其特征在于，所述客戶端，還用于根據(jù)所述用戶操作信息生成第一輔助文件；建立第一輔助文件與 合成后的錄像文件的第一關(guān)聯(lián)關(guān)系，根據(jù)所述第一關(guān)聯(lián)關(guān)系定位所述錄像文件并回放。
17.根據(jù)權(quán)利要求15或16所述的系統(tǒng)，其特征在于，所述手機(jī)，還用于獲取手機(jī)當(dāng)前的輔助狀態(tài)，將所述輔助狀態(tài)提供給所述服務(wù)器；所述服務(wù)器，還用于將所述輔助狀態(tài)提供給所述客戶端；所述客戶端，還用于根據(jù)所述輔助狀態(tài)生成第二輔助文件；建立所述第二輔助文件與 合成后的錄像文件的第二關(guān)聯(lián)關(guān)系，根據(jù)所述第二關(guān)聯(lián)關(guān)系定位所述錄像文件并回放。
18.—種遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)，其特征在于，所述系統(tǒng)包括手機(jī)，與所述手機(jī)連 接的服務(wù)器，以及與所述服務(wù)器連接的客戶端；所述手機(jī)，用于接收所述客戶端通過(guò)所述服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的用 戶操作，并將實(shí)際執(zhí)行的用戶操作信息發(fā)送給所述服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集， 將采集的音視頻數(shù)據(jù)發(fā)送給所述服務(wù)器；所述服務(wù)器，用于接收所述音視頻數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯示圖像，將所述屏幕顯 示圖像保存到錄像文件中；獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；根據(jù)所述 用戶操作信息生成第一輔助文件；將所述第一輔助文件與所述錄像文件相關(guān)聯(lián)；將所述錄 像文件以及所述第一輔助文件與所述錄像文件的第一關(guān)聯(lián)關(guān)系提供給所述客戶端；所述客戶端，用于接收用戶輸入，將用戶操作指令傳送給所述服務(wù)器；接收所述服務(wù)器 發(fā)送的錄像文件和所述第一關(guān)聯(lián)關(guān)系，根據(jù)所述第一關(guān)聯(lián)關(guān)系定位所述錄像文件并回放。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其特征在于，所述手機(jī)，還用于獲取手機(jī)當(dāng)前的輔助狀態(tài)，將所述輔助狀態(tài)發(fā)送給所述服務(wù)器；所述服務(wù)器，還用于根據(jù)所述輔助狀態(tài)生成第二輔助文件；將所述第二輔助文件與所 述錄像文件相關(guān)聯(lián)；將所述第二輔助文件與所述錄像文件的第二關(guān)聯(lián)關(guān)系提供給所述客戶 端；所述客戶端，還用于接收所述服務(wù)器發(fā)送的第二關(guān)聯(lián)關(guān)系，根據(jù)所述第二關(guān)聯(lián)關(guān)系定 位所述錄像文件并回放。
20.一種遠(yuǎn)程真機(jī)的輔助測(cè)試系統(tǒng)，其特征在于，所述系統(tǒng)包括手機(jī)，與所述手機(jī)連 接的服務(wù)器，以及與所述服務(wù)器連接的客戶端；所述手機(jī)，用于接收所述客戶端通過(guò)所述服務(wù)器發(fā)送的用戶操作指令，執(zhí)行相應(yīng)的用 戶操作，并將實(shí)際執(zhí)行的用戶操作信息發(fā)送給所述服務(wù)器；對(duì)自身的音視頻數(shù)據(jù)進(jìn)行采集， 將采集的音視頻數(shù)據(jù)發(fā)送給所述服務(wù)器；所述服務(wù)器，用于將所述客戶端發(fā)送的用戶操作指令傳送給所述手機(jī)；將所述用戶操 作信息發(fā)送給所述客戶端；接收所述手機(jī)發(fā)送的音視頻數(shù)據(jù)并傳送給所述客戶端；所述客戶端，用于接收用戶輸入，將用戶操作指令傳送給所述服務(wù)器；接收所述音視頻 數(shù)據(jù)，獲取手機(jī)輸出的屏幕顯示圖像，將所述屏幕顯示圖像保存到錄像文件中；獲取與所輸 出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；根據(jù)所述用戶操作信息生成第一輔助文件；建立 所述第一輔助文件與所述錄像文件的第一關(guān)聯(lián)關(guān)系；根據(jù)所述第一關(guān)聯(lián)關(guān)系定位所述錄像 文件并回放。
21.根據(jù)權(quán)利要求20所述的系統(tǒng)，其特征在于，所述手機(jī)，還用于獲取手機(jī)當(dāng)前的輔助狀態(tài)，將所述輔助狀態(tài)發(fā)送給所述服務(wù)器； 所述服務(wù)器，還用于將所述輔助狀態(tài)提供給所述客戶端；所述客戶端，還用于根據(jù)所述輔助狀態(tài)生成第二輔助文件；建立所述第二輔助文件與 所述錄像文件的第二關(guān)聯(lián)關(guān)系；根據(jù)所述第二關(guān)聯(lián)關(guān)系定位所述錄像文件并回放。
全文摘要
一種遠(yuǎn)程真機(jī)的輔助測(cè)試方法、裝置與系統(tǒng)，所述方法包括獲取手機(jī)輸出的屏幕顯示圖像；獲取與所輸出的屏幕顯示圖像對(duì)應(yīng)的用戶操作信息；生成與所述用戶操作信息對(duì)應(yīng)的模擬圖像；根據(jù)所述模擬圖像在所述屏幕顯示圖像上的坐標(biāo)位置，將所述模擬圖像和所述屏幕顯示圖像合成為同一幅圖像；將合成后的圖像保存到錄像文件中。本發(fā)明實(shí)施例的遠(yuǎn)程真機(jī)輔助測(cè)試方法、裝置與系統(tǒng)，通過(guò)實(shí)時(shí)合成用戶輸入信息到錄像中，在后期錄像回放時(shí)為用戶提供更為豐富和準(zhǔn)確的信息；通過(guò)建立以用戶操作和/或手機(jī)輔助信息為索引點(diǎn)的輔助文件，進(jìn)一步提升錄像系統(tǒng)輔助測(cè)試的效果。
文檔編號(hào)H04L29/06GK102141957SQ20101051472
公開日2011年8月3日 申請(qǐng)日期2010年10月21日 優(yōu)先權(quán)日2010年10月21日
發(fā)明者侯偉奕, 周皓雋, 彭巧巧, 徐謙, 李永安, 陳斌 申請(qǐng)人:華為技術(shù)有限公司