專利名稱：一種基于視頻圖像的點讀機點讀方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種點讀機點讀方法，尤其涉及一種基于視頻圖像的點讀機點讀方法。
背景技術(shù)：
點讀機(又稱為智能電腦讀書機，英語互動電子課本、同步讀書機、英語智能點讀 機、電子書、電子課本等)是現(xiàn)代數(shù)碼信息技術(shù)與最新教學(xué)需求完美結(jié)合的一種有聲互動 的學(xué)習(xí)產(chǎn)品，它能將文字化的書本教材變成能按學(xué)習(xí)需要任意發(fā)聲的有聲教材。近年來，點讀機已迅速進入了國內(nèi)市場，發(fā)展成為國內(nèi)外兒童學(xué)習(xí)的主要輔助工 具之一。目前流行的點讀機采用壓力感應(yīng)方法獲取點讀坐標(biāo)，實現(xiàn)點讀功能。其點讀原理 是在壓力感應(yīng)面板內(nèi)放置點陣方式的壓力傳感器，利用橫坐標(biāo)與縱坐標(biāo)掃描的方法得到 點讀筆在壓力感應(yīng)面板上點讀的位置(即x與y坐標(biāo)值)，微處理器接收到點讀指令，并將 壓力感應(yīng)面板上點讀坐標(biāo)轉(zhuǎn)換成相應(yīng)書本坐標(biāo)，讀出相應(yīng)的語音文件，實現(xiàn)了點讀功能。采 用壓力感應(yīng)方法的點讀機，具有點讀精度高的優(yōu)點，但由于其壓力感應(yīng)面板需要塑料外殼 保護及容納各種大小的書本，從而體積龐大、重量重、攜帶不方便；不同廠家生產(chǎn)的點讀機， 甚至同一廠家不同型號的點讀機，都需專用的壓力感應(yīng)面板，通用性差。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于視頻圖像的點讀機點讀方法，該點讀方法簡單實 用、攜帶方便、通用性好，并具有較高點讀精度。本發(fā)明是這樣來實現(xiàn)的，其特征是方法步驟為(1)用視頻攝像頭實時獲取點讀筆和書本的視頻圖像；(2)利用點讀筆的筆尖輕觸開關(guān)，觸發(fā)微處理器捕獲單幀圖像，并將該圖像輸入到 微處理器中；(3)先利用邊緣檢測算子和閾值分割法將圖像二值化，再采用圖像膨脹、圖像腐 蝕、圖像濾波和最大連通域法排除非目標(biāo)物體的干擾，準(zhǔn)確提取書本的邊緣輪廓，并對書本 邊緣輪廓進行校正；(4)利用書本邊緣輪廓獲取書本長寬的像素值，并建立書本坐標(biāo)系；(5)先根據(jù)點讀筆的顏色信息，利用閾值分割法將圖像二值化，再采用最大連通域 法獲取點讀筆的桿狀特征；(6)根據(jù)點讀筆的桿狀特征，利用行掃描法獲取點讀筆的筆尖位置；(7)利用已知書本的長寬值與圖像中書本長寬的像素值，對圖像坐標(biāo)進行標(biāo)定；(8)在書本坐標(biāo)系下，利用標(biāo)定結(jié)果計算點讀筆的筆尖坐標(biāo)；(9)根據(jù)筆尖在書本坐標(biāo)系下的坐標(biāo)值，調(diào)出相應(yīng)的語音信息，從而實現(xiàn)了基于視 頻圖像的點讀機點讀。利用視頻攝像頭、點讀筆和微處理器實現(xiàn)點讀機的點讀功能。
所述的點讀筆有特制顏色的筆桿，筆尖有輕觸開關(guān)，開關(guān)觸發(fā)時可以產(chǎn)生信號并 能被微處理器識別和接收。原理是利用視頻攝像頭實時獲取點讀筆和書本的視頻圖像；利用圖像邊緣檢測 算子和閾值分割法將圖像二值化，使書本邊緣輪廓從背景中分割出來，為準(zhǔn)確提取書本邊 緣輪廓，采用圖像膨脹與腐蝕、圖像濾波和最大連通域方法消除背景和噪聲干擾；采用最小 二乘擬合法得到書本的上邊緣直線，計算書本的上邊緣直線與水平方向的夾角，并利用該 夾角校正書本邊緣輪廓；在此基礎(chǔ)上，再利用最小二乘擬合法得到書本的邊緣直線，并建立 書本坐標(biāo)系；根據(jù)點讀筆的特制顏色信息，利用閾值分割法將圖像二值化，并采用最大連通 域法提取點讀筆的輪廓并確定其筆尖的位置；利用已知書本的長寬值與圖像中書本長寬的 像素值，對圖像坐標(biāo)進行標(biāo)定；利用標(biāo)定結(jié)果計算點讀筆的筆尖坐標(biāo)，根據(jù)點讀筆的筆尖在 書本坐標(biāo)系下的坐標(biāo)值，調(diào)出相應(yīng)的語音信息，實現(xiàn)基于視頻圖像的點讀機點讀。本發(fā)明的優(yōu)點是利用最大連通域法有效排除了圖像二值化后的噪聲和其他非目 標(biāo)物體的干擾；利用最小二乘擬合法得到書本的邊緣直線方程，準(zhǔn)確檢測到書本的邊緣輪 廓；利用點讀筆的特制顏色準(zhǔn)確獲取點讀筆的桿狀特征；采用上述方法提高了點讀精度， 利用視頻攝像頭、點讀筆和微處理器實現(xiàn)基于視頻圖像的點讀機點讀功能。因此，基于視頻 圖像的點讀機具有簡單實用、攜帶方便、通用性好、點讀精度高的優(yōu)點。


圖1為本發(fā)明的工作流程圖。
具體實施例方式本發(fā)明方法要求用簡單支架支撐普通廣角攝像頭使之能夠垂直拍攝，拍攝的場景 中只有單一的書本，且能夠完全包含整本書，場景中的背景為普通的任意單色桌面，場景中 的點讀筆為純色且筆尖有輕觸開關(guān)，微處理器能夠接收到筆尖輕觸開關(guān)觸發(fā)時產(chǎn)生的信 號，控制攝像頭獲取圖像。同時，書本的實際長寬應(yīng)是已知的。本發(fā)明采用如圖1所示的基于視頻圖像的點讀機點讀方法的流程圖，進行點讀機 的點讀位置準(zhǔn)確測量并讀取相應(yīng)語音，其具體實施步驟如下1、視頻圖像實時獲取將帶有支架的攝像頭放置在書本正前方的合適位置，實時獲取點讀筆和書本的視 頻圖像。2、筆尖輕觸開關(guān)是否觸發(fā)判斷筆尖開發(fā)是否觸發(fā)，若觸發(fā)，則微處理器執(zhí)行點讀筆和書本的單幀圖像采集， 否則，等待點讀。3、單幀圖像采集當(dāng)點讀筆點讀時，筆尖上的輕觸開關(guān)觸發(fā)，產(chǎn)生信號傳入微處理器，控制攝像頭采 集單幀圖像數(shù)據(jù)，并輸入微處理器中。4、書本的輪廓提取和校正對第3步獲取的單幀圖像進行書本的邊緣輪廓提取和校正，其主要步驟如下1)利用邊緣檢測算子提取書本的邊緣信息，其中邊緣檢測算子可用Canny、Robert 或 Sobel。2)采用閾值法對圖像進行二值化，并采用圖像膨脹、圖像腐蝕、圖像濾波和最大連 通域法排除非目標(biāo)物體的干擾，準(zhǔn)確提取書本的邊緣輪廓。3)采用垂直掃描法和兩次最小二乘擬合法得到書本的上邊緣直線后，計算該直線 與水平方向的夾角a，將圖像順時針旋轉(zhuǎn)a角，完成了圖像的校正。兩次最小二乘擬合法如下首先，對書本的上邊緣點集進行第一次最小二乘擬合法得到上邊緣直線方程，其 次，計算點集中每點到該直線的距離并按從小到大排序，去除點集中距離遠的二分之一的 點，排除了噪聲點的影響，最后，利用該點集中剩余的點進行第二次最小二乘擬合法得到上 邊緣直線。5、書本坐標(biāo)系的建立利用第4步校正過的書本邊緣輪廓圖像，建立書本坐標(biāo)系的主要步驟如下1)利用書本頂點分別到相應(yīng)圖像頂點距離最短的特征，確定書本的左上和右上兩 個頂點位置，并計算得到書本上邊緣長度的像素值，即為書本長的像素值。2)利用書本左上頂點位置和第4步獲得的書本上邊緣直線方程，并利用書本上邊 緣與左邊緣垂直的特征，計算得到書本左邊緣直線方程。3)已知書本長寬值和得到的書本上邊緣長度的像素值，計算得到書本左下頂點位 置和左邊緣長度的像素值，即為書本寬的像素值。4)以左上頂點為原點，分別以書本上邊緣直線和左邊緣直線為坐標(biāo)系x軸和y軸， 建立書本坐標(biāo)系。6、點讀筆的桿狀特征提取及其筆尖位置確定本發(fā)明利用點讀筆的特制顏色提取點讀筆的桿狀特征，并用掃描法獲取其筆尖位 置，其主要步驟如下1)利用點讀筆的紅色(或藍色、綠色等)，并用閾值分割法將點讀筆的邊緣輪廓從 圖像中分離出來。2)采用最大連通域法去除其他干擾，提取出點讀筆的桿狀特征。3)采用行掃描法獲取筆尖位置，若為右手握點讀筆，則從左至右掃描獲取點讀筆 的筆尖位置；若為左手握點讀筆，則從右至左掃描獲取點讀筆的筆尖位置。7、圖像坐標(biāo)標(biāo)定及點讀筆的筆尖坐標(biāo)計算利用已知書本的長寬值與圖像中書本長寬的像素值，對圖像坐標(biāo)進行標(biāo)定，即獲 得圖像中每個像素所對應(yīng)的實際坐標(biāo)值。利用標(biāo)定結(jié)果和第6步獲得的筆尖位置，計算出 點讀筆的筆尖坐標(biāo)。8、點讀功能實現(xiàn)根據(jù)點讀筆的筆尖坐標(biāo)，調(diào)出相應(yīng)的語音信息，實現(xiàn)了基于視頻圖像的點讀機點 讀功能。
權(quán)利要求
一種基于視頻圖像的點讀機點讀方法，其特征是方法步驟為(1)用視頻攝像頭實時獲取點讀筆和書本的視頻圖像；(2)利用點讀筆的筆尖輕觸開關(guān)，觸發(fā)微處理器捕獲單幀圖像，并將該圖像輸入到微處理器中；(3)先利用邊緣檢測算子和閾值分割法將圖像二值化，再采用圖像膨脹、圖像腐蝕、圖像濾波和最大連通域法排除非目標(biāo)物體的干擾，準(zhǔn)確提取書本的邊緣輪廓，并對書本邊緣輪廓進行校正；(4)利用書本邊緣輪廓獲取書本長寬的像素值，并建立書本坐標(biāo)系；(5)先根據(jù)點讀筆的顏色信息，利用閾值分割法將圖像二值化，再采用最大連通域法獲取點讀筆的桿狀特征；(6)根據(jù)點讀筆的桿狀特征，利用行掃描法獲取點讀筆的筆尖位置；(7)利用已知書本的長寬值與圖像中書本長寬的像素值，對圖像坐標(biāo)進行標(biāo)定；(8)在書本坐標(biāo)系下，利用標(biāo)定結(jié)果計算點讀筆的筆尖坐標(biāo)；(9)根據(jù)筆尖在書本坐標(biāo)系下的坐標(biāo)值，調(diào)出相應(yīng)的語音信息，從而實現(xiàn)了基于視頻圖像的點讀機點讀。
2.根據(jù)權(quán)利要求1所述的一種基于視頻圖像的點讀機點讀方法，其特征在于利用視 頻攝像頭、點讀筆和微處理器實現(xiàn)點讀機的點讀功能。
3.根據(jù)權(quán)利要求1所述的一種基于視頻圖像的點讀機點讀方法，其特征是所述的點讀 筆有特制顏色的筆桿，筆尖有輕觸開關(guān)，開關(guān)觸發(fā)時可以產(chǎn)生信號并能被微處理器識別和 接收。
全文摘要
一種基于視頻圖像的點讀機點讀方法，其特征是方法步驟為(1)用視頻攝像頭實時獲取點讀筆和書本的視頻圖像；(2)利用點讀筆的筆尖輕觸開關(guān)，并將該圖像輸入到微處理器中；(3)對書本邊緣輪廓進行校正；(4)建立書本坐標(biāo)系；(5)采用最大連通域法獲取點讀筆的桿狀特征；(6)根據(jù)點讀筆的桿狀特征，利用行掃描法獲取點讀筆的筆尖位置；(7)利用已知書本的長寬值與圖像中書本長寬的像素值，對圖像坐標(biāo)進行標(biāo)定；(8)在書本坐標(biāo)系下，利用標(biāo)定結(jié)果計算點讀筆的筆尖坐標(biāo)；(9)從而實現(xiàn)了基于視頻圖像的點讀機點讀。本發(fā)明的優(yōu)點是利用視頻攝像頭、點讀筆和微處理器實現(xiàn)點讀機的點讀功能；利用最大連通域法有效排除了圖像二值化后的噪聲和其他非目標(biāo)物體的干擾；利具有簡單實用、攜帶方便、通用性好、點讀精度高的優(yōu)點。
文檔編號G06K9/00GK101799996SQ20101012252
公開日2010年8月11日 申請日期2010年3月11日 優(yōu)先權(quán)日2010年3月11日
發(fā)明者張超, 熊邦書, 莫燕 申請人:南昌航空大學(xué)