本發(fā)明涉及一種具有加工時間測量功能和在機(jī)(On-machine)測量功能的帶控制裝置的加工裝置。

背景技術(shù)：

以往，進(jìn)行以下加工：作成加工程序，并基于該加工程序控制加工裝置來加工工件。在加工裝置進(jìn)行的工件加工中，作業(yè)人員在保持預(yù)定水準(zhǔn)以上的加工精度的同時，調(diào)整加工條件使得能夠以更短的時間進(jìn)行加工。但是，關(guān)于對加工條件的調(diào)整，根據(jù)工具的特性、工件的特性、加工內(nèi)容、加工裝置的種類等不同，加工條件的最佳值不同，因此作業(yè)人員每次進(jìn)行新的加工都根據(jù)知識和經(jīng)驗(yàn)一邊試錯一邊付出勞動調(diào)整加工條件。

作為這樣的與加工條件的調(diào)整相關(guān)的現(xiàn)有技術(shù)，在國際公開第00/010769號公開了這樣一種方案：以支援作業(yè)人員為目的，將過去進(jìn)行的加工運(yùn)轉(zhuǎn)中使用的加工條件數(shù)據(jù)庫化來進(jìn)行利用。

作業(yè)人員能夠通過使用上述的公知技術(shù)，對相似狀況的加工條件進(jìn)行再利用，因此能夠在某種程度上減輕加工條件調(diào)整的勞動。但是，將過去的加工條件從數(shù)據(jù)庫讀出后，為了根據(jù)當(dāng)前加工狀況來調(diào)整該讀出的加工條件，作業(yè)人員不得不進(jìn)行試錯，這點(diǎn)沒有改變，該公知技術(shù)不能完全減輕作業(yè)人員的勞動。

技術(shù)實(shí)現(xiàn)要素：

因此，本發(fā)明的目的在于提供一種具有加工時間測量功能和在機(jī)測量功能的帶控制裝置的加工裝置，能夠根據(jù)加工狀況的變化來求出適當(dāng)?shù)募庸l件。

本發(fā)明的加工裝置包括：在機(jī)測量部，其以在機(jī)的方式對工件的加工形狀進(jìn)行測量；加工時間測量部，其測量工件的加工時間；以及機(jī)械學(xué)習(xí)器，其將所述加工形狀與所述工件的設(shè)計數(shù)據(jù)之間的加工精度、以及所述加工時間作為輸入來進(jìn)行機(jī)械學(xué)習(xí)，其中，所述機(jī)械學(xué)習(xí)器構(gòu)成為：基于機(jī)械學(xué)習(xí)的結(jié)果來變更加工條件，以提高所述加工精度或者使所述加工時間最短。

也可以是，所述機(jī)械學(xué)習(xí)器以如下方式進(jìn)行機(jī)械學(xué)習(xí)：以所述加工裝置將所述工件加工成了所述加工形狀與所述工件的設(shè)計數(shù)據(jù)之間的誤差變小的情況或者縮短了所述加工時間的情況作為正回報，以所述加工裝置將所述工件加工成了所述加工形狀與所述工件的設(shè)計數(shù)據(jù)之間的誤差變大的情況或者延長了所述加工時間的情況作為負(fù)回報。

也可以是，所述機(jī)械學(xué)習(xí)器構(gòu)成為：在機(jī)械學(xué)習(xí)時，對重視減小所述加工形狀與所述工件的設(shè)計數(shù)據(jù)之間的誤差以及縮短加工時間中的哪一個進(jìn)行加權(quán)。

也可以是，該加工裝置能夠與至少一個其他加工裝置相連接，并與所述其他加工裝置之間相互交換或者共享機(jī)械學(xué)習(xí)的結(jié)果。

本發(fā)明的機(jī)械學(xué)習(xí)器，其對加工裝置進(jìn)行的工件加工中的加工條件的調(diào)整完成機(jī)械學(xué)習(xí)，其中，該機(jī)械學(xué)習(xí)器包括：學(xué)習(xí)結(jié)果存儲部，其存儲所述加工條件的調(diào)整的機(jī)械學(xué)習(xí)結(jié)果；狀態(tài)觀測部，其取得狀態(tài)數(shù)據(jù)，該狀態(tài)數(shù)據(jù)至少包括由所述加工裝置進(jìn)行的工件加工中的加工時間、工件的加工精度以及加工條件；加工條件調(diào)整學(xué)習(xí)部，其基于所述加工條件的調(diào)整的機(jī)械學(xué)習(xí)結(jié)果以及所述狀態(tài)觀測部取得到的所述狀態(tài)數(shù)據(jù)，來進(jìn)行所述加工條件的調(diào)整；以及加工條件輸出部，其輸出所述加工條件調(diào)整學(xué)習(xí)部調(diào)整后的所述加工條件。

通過本發(fā)明的具有加工時間測量功能和在機(jī)測量功能的帶控制裝置的加工裝置，通過向帶控制裝置的加工裝置導(dǎo)入機(jī)械學(xué)習(xí)(machine learning)，能夠根據(jù)加工狀況來求出能保持加工精度并且以更短時間進(jìn)行加工的適當(dāng)?shù)募庸l件。

附圖說明

從參照附圖進(jìn)行的以下實(shí)施例的說明能夠了解本發(fā)明的上述說明及其他目的、特征。這些附圖中：

圖1是說明強(qiáng)化學(xué)習(xí)算法的基本概念的圖。

圖2是本發(fā)明的實(shí)施方式的加工裝置的與機(jī)械學(xué)習(xí)相關(guān)的視圖。

圖3是對本發(fā)明的實(shí)施方式中處理的各數(shù)據(jù)進(jìn)行說明的圖。

圖4是本發(fā)明的實(shí)施方式的加工裝置的功能框圖。

具體實(shí)施方式

在本發(fā)明中，向進(jìn)行工件加工的加工裝置導(dǎo)入作為人工智能的機(jī)械學(xué)習(xí)器，通過對工件加工中的加工條件的調(diào)整進(jìn)行機(jī)械學(xué)習(xí)，能夠?qū)ぜ庸ぷ詣忧蟪鲎罴鸭庸l件。加工條件的調(diào)整的目的在于更短時間的加工和加工精度的維持。

[1]機(jī)械學(xué)習(xí)

通常，機(jī)械學(xué)習(xí)根據(jù)其目的、條件分類為有教師學(xué)習(xí)(supervised learning)、無教師學(xué)習(xí)(unsupervised learning)等各種算法。在本發(fā)明中，以學(xué)習(xí)調(diào)整向加工工件的加工裝置設(shè)定的加工條件為目的，考慮到基于設(shè)定好的加工條件利用加工裝置進(jìn)行加工的結(jié)果是難以明確地指示針對測量出的加工時間和加工精度進(jìn)行什么樣的行為(進(jìn)給速度、主軸轉(zhuǎn)速、帶輸送、單刃進(jìn)給等調(diào)整)是否正確，采用僅通過給予回報機(jī)械學(xué)習(xí)器就自動地學(xué)習(xí)用于達(dá)到目標(biāo)的行為的強(qiáng)化學(xué)習(xí)算法。

圖1是說明強(qiáng)化學(xué)習(xí)算法的基本概念的圖。

在強(qiáng)化學(xué)習(xí)(reinforcement learning)中，通過成為學(xué)習(xí)的主體的智能體(機(jī)械學(xué)習(xí)器)與成為控制對象的環(huán)境(控制對象系統(tǒng))之間的交換，智能體學(xué)習(xí)和行為得以推進(jìn)。更具體而言，

(1)智能體對某時刻的環(huán)境狀態(tài)s_t進(jìn)行觀測，

(2)基于觀測結(jié)果和過去的學(xué)習(xí)選擇自己能夠取得的行為a_t，執(zhí)行行為a_t，

(3)因執(zhí)行所述行為a_t，環(huán)境狀態(tài)s_t向下一狀態(tài)s_t+1變化，

(4)基于作為行為a_t的結(jié)果的狀態(tài)變化，智能體收到回報r_t+1，

(5)智能體基于狀態(tài)s_t、行為a_t、回報r_t+1及過去的學(xué)習(xí)結(jié)果來進(jìn)行學(xué)習(xí)，在智能體與環(huán)境之間進(jìn)行這樣的交換。

在所述(5)的學(xué)習(xí)中，作為用于判斷將來能夠取得的回報量的基準(zhǔn)的信息，智能體獲得觀測到狀態(tài)s_t、行為a_t、回報r_t+1的映射。例如，設(shè)各時刻取得的狀態(tài)個數(shù)為m，取得的行為個數(shù)為n，則通過反復(fù)執(zhí)行行為能夠獲得存儲與狀態(tài)s_t和行為a_t的組相應(yīng)的回報r_t+1的m×n的二維陣列。

然后，基于上述獲得的映射使用表示當(dāng)前的狀態(tài)、行為有多好的函數(shù)即價值函數(shù)(評價函數(shù))，在反復(fù)執(zhí)行行為的過程中更新價值函數(shù)(評價函數(shù))，從而學(xué)習(xí)與狀態(tài)相應(yīng)的最佳行為。

狀態(tài)價值函數(shù)是表示某狀態(tài)s_t是多好的狀態(tài)的價值函數(shù)。該狀態(tài)價值函數(shù)表現(xiàn)為以狀態(tài)作為自變量的函數(shù)，在反復(fù)執(zhí)行行為的過程中的學(xué)習(xí)中，基于針對某狀態(tài)下的行為獲得的回報、由于該行為而要變化的未來狀態(tài)的價值等，來更新狀態(tài)價值函數(shù)。

對應(yīng)于強(qiáng)化學(xué)習(xí)的算法來定義狀態(tài)價值函數(shù)的更新式，例如，強(qiáng)化學(xué)習(xí)算法之一的TD學(xué)習(xí)的情況下，利用下述式(1)定義狀態(tài)價值函數(shù)。在式(1)中，α是學(xué)習(xí)系數(shù)，γ是折扣率，0＜α≤1，0＜γ≤1。

V(s_t)←V(s_t)+α[r_t+1+γV(s_t+1)-V(s_t)]……(1)

另外，行為價值函數(shù)是表示在某狀態(tài)s_t下行為a_t是多好的行為的價值函數(shù)。行為價值函數(shù)表現(xiàn)為以狀態(tài)和行為作為自變量的函數(shù)，在反復(fù)執(zhí)行行為的過程中的學(xué)習(xí)中，基于針對某狀態(tài)下的行為獲得的回報、由于該行為而要變化的未來狀態(tài)的行為價值等，來更新行為價值函數(shù)。對應(yīng)于強(qiáng)化學(xué)習(xí)的算法來定義行為價值函數(shù)的更新式，例如，代表性的強(qiáng)化學(xué)習(xí)算法之一的Q學(xué)習(xí)的情況下，利用下述式(2)定義行為價值函數(shù)。在式(2)中，α是學(xué)習(xí)系數(shù)，γ是折扣率，0＜α≤1，0＜γ≤1。

另外，對于存儲作為學(xué)習(xí)結(jié)果的價值函數(shù)(評價函數(shù))的方法，除了使用近似函數(shù)方法、使用陣列的方法以外，例如在狀態(tài)s取得較多狀態(tài)這樣的情況下，有使用以狀態(tài)s_t、行為a_t為輸入，來輸出價值(評價)的多值輸出的SVM、神經(jīng)網(wǎng)絡(luò)等有教師學(xué)習(xí)器的方法等。

然后，在選擇上述(2)的行為時，使用利用過去的學(xué)習(xí)而作成的價值函數(shù)(評價函數(shù))來選擇在當(dāng)前狀態(tài)s_t下到將來時的回報(r_t+1+r_t+2+…)為最大的行為a_t(在使用狀態(tài)價值函數(shù)的情況下，是用于向價值最高的狀態(tài)變化的行為，在使用行為價值函數(shù)的情況下，是在該狀態(tài)下價值最高的行為)。另外，在智能體的學(xué)習(xí)中以學(xué)習(xí)的進(jìn)展為目的，在所述(2)的行為選擇時以一定的概率選擇隨機(jī)行為，也是有效的(ε貪婪算法)。

這樣，通過反復(fù)進(jìn)行(1)～(5)，學(xué)習(xí)得以進(jìn)展。在某環(huán)境下學(xué)習(xí)完成之后，即使在處于新環(huán)境的情況下，也能夠通過進(jìn)行追加學(xué)習(xí)來進(jìn)行學(xué)習(xí)，以適應(yīng)該環(huán)境。因而，像本發(fā)明這樣應(yīng)用于加工裝置的工件加工中的加工條件的決定，從而即使在進(jìn)行基于新的設(shè)計數(shù)據(jù)的工件加工時，也能夠基于過去的加工條件調(diào)整的學(xué)習(xí)來進(jìn)行以新的設(shè)計數(shù)據(jù)作為新環(huán)境的追加學(xué)習(xí)，由此在短時間內(nèi)進(jìn)行適當(dāng)?shù)募庸l件的調(diào)整。

另外，在強(qiáng)化學(xué)習(xí)中，通過將多個智能體經(jīng)由網(wǎng)絡(luò)等連接起來形成系統(tǒng)，在智能體之間共享狀態(tài)s、行為a、回報r等信息而利用各智能體的學(xué)習(xí)，從而各智能體能夠進(jìn)行將其他智能體的環(huán)境也考慮在內(nèi)地學(xué)習(xí)的分散強(qiáng)化學(xué)習(xí)，這樣，能夠進(jìn)行高效率的學(xué)習(xí)。在本發(fā)明中，還能夠通過在控制多個環(huán)境(成為控制對象的加工裝置)的多個智能體(機(jī)械學(xué)習(xí)器)經(jīng)由網(wǎng)絡(luò)等連接起來的狀態(tài)下進(jìn)行分散機(jī)械學(xué)習(xí)，而高效率地進(jìn)行加工裝置的工件加工中的加工條件調(diào)整的學(xué)習(xí)。

另外，作為強(qiáng)化學(xué)習(xí)的算法，公知有Q學(xué)習(xí)、SARSA法、TD學(xué)習(xí)、AC法等各種方法，作為適用于本發(fā)明的方法可以采用任一種強(qiáng)化學(xué)習(xí)算法。另外，各強(qiáng)化學(xué)習(xí)算法是公知的，因此本說明書省略了對各算法的詳細(xì)說明。

以下，基于具體的實(shí)施方式對導(dǎo)入有機(jī)械學(xué)習(xí)器的本發(fā)明的加工裝置進(jìn)行說明。

[2]實(shí)施方式

圖2是表示本發(fā)明的一實(shí)施方式的導(dǎo)入有成為人工智能的機(jī)械學(xué)習(xí)器的加工裝置的與加工條件調(diào)整的機(jī)械學(xué)習(xí)相關(guān)的示意圖。另外，在圖2中僅示出了本實(shí)施方式的加工裝置的機(jī)械學(xué)習(xí)的說明所必需的結(jié)構(gòu)。

在本實(shí)施方式中，作為機(jī)械學(xué)習(xí)器20確定環(huán)境(在所述“[1]機(jī)械學(xué)習(xí)”中說明的狀態(tài)s_t)用的信息，將作為加工裝置的輸出數(shù)據(jù)的“加工精度”和“加工時間”輸入機(jī)械學(xué)習(xí)器?！凹庸r間”是由加工裝置1所具有的加工時間測量部4測量出的值，“加工精度”是基于由加工裝置1所具有的在機(jī)測量部3測量出的加工后工件的加工形狀與利用CAD等作成的設(shè)計數(shù)據(jù)(表示作為目標(biāo)的加工后工件的加工形狀的數(shù)據(jù))而算出的值(設(shè)計數(shù)據(jù)表示的加工形狀與加工后工件的加工形狀之間的誤差)。

本實(shí)施方式的加工裝置1具有在機(jī)測量部3，能夠在固定于加工裝置1的狀態(tài)下對工件的加工形狀進(jìn)行測量。加工裝置1將設(shè)計數(shù)據(jù)表示的工件的加工形狀與由在機(jī)測量部3測量出的加工后工件的加工形狀相比較，算出加工精度的數(shù)據(jù)。

圖3是表示本實(shí)施方式的加工精度的數(shù)據(jù)的一例的圖。

作為加工精度的數(shù)據(jù)種類，例如能夠列舉出：表示各工件的高度差的設(shè)計數(shù)據(jù)的深度方向(Z軸方向)上的長度與加工后工件的深度方向上的長度之間的誤差的深度方向精度Az、表示各工件的高度差的設(shè)計數(shù)據(jù)的寬度方向(X軸方向)上的長度與加工后工件的寬度方向上的長度之間的誤差的寬度方向精度Ax、表示在各工件的拐角部由于內(nèi)轉(zhuǎn)誤差等原因?qū)е碌脑O(shè)計數(shù)據(jù)與加工后工件的誤差(拐角附近部分的體積差)的拐角部精度Ac、表示在各加工面由于加工面的加工后的粗糙度、變形等原因產(chǎn)生的設(shè)計數(shù)據(jù)與加工后工件的誤差(面附近部分的體積差)的面精度As等。

針對工件的各部分求出表示這些各加工精度的數(shù)據(jù)，可以將各值用作機(jī)械學(xué)習(xí)器20決定狀態(tài)用的參數(shù)，也可以將針對工件的各部分求出的加工精度的絕對值按照深度方向精度、寬度方向精度等加工精度的種類累計而得到的值用作(例如，圖3的工件上的兩個高度差形狀的深度方向精度分別記作A_z1、A_z2時，將|A_z1|+|A_z2|作為深度方向精度算出等)作為機(jī)械學(xué)習(xí)器20決定狀態(tài)用的參數(shù)。

另外，在圖3中所示的加工精度的數(shù)據(jù)不過是一個例子，也可以采用其他的加工精度的表現(xiàn)方法。另外，也可以適當(dāng)決定與加工的種類、加工對象等相應(yīng)的加工精度的數(shù)據(jù)種類，例如，在切削螺紋加工的情況下也可以采用螺紋槽深度精度。

在本實(shí)施方式中，作為機(jī)械學(xué)習(xí)器20向環(huán)境的輸出(在所述“[1]機(jī)械學(xué)習(xí)”中說明的行為a_t)，輸出了要向加工裝置1輸入的加工條件的調(diào)整量。作為加工條件，例如能夠列舉出進(jìn)給速度、主軸轉(zhuǎn)速、帶輸送、單刃進(jìn)給等。

另外，在本實(shí)施方式中，作為機(jī)械學(xué)習(xí)器20收到的回報(在所述“[1]機(jī)械學(xué)習(xí)”中說明的回報rt)，使用加工時間和加工精度數(shù)據(jù)。在回報的算出中，對于加工時間，設(shè)定為從預(yù)定的基準(zhǔn)值的角度來看越短則是正值越大的回報，越長則是負(fù)值越大的回報。另外，對于加工精度數(shù)據(jù)，設(shè)定為從預(yù)定的基準(zhǔn)值的角度來看越接近0則是正值越大的回報，比預(yù)定的基準(zhǔn)值大得越多則是負(fù)值越大的回報。關(guān)于加工時間、加工精度數(shù)據(jù)的預(yù)定的基準(zhǔn)值，能夠從對加工裝置1的加工條件進(jìn)行初始設(shè)定后進(jìn)行工件加工時測量出的加工時間及加工精度的數(shù)據(jù)求得。

另外，關(guān)于基于哪個數(shù)據(jù)決定回報，操作人員也可以根據(jù)加工裝置1的工件加工內(nèi)容來適當(dāng)設(shè)定。

另外，在本實(shí)施方式中，機(jī)械學(xué)習(xí)器20基于上述狀態(tài)、行為及回報進(jìn)行機(jī)械學(xué)習(xí)。在機(jī)械學(xué)習(xí)中，在某時刻t，利用輸入數(shù)據(jù)的組合定義狀態(tài)s_t，針對該定義的狀態(tài)s_t進(jìn)行的加工條件的變更成為行為a_t，然后，利用該行為a_t進(jìn)行了加工條件的變更，基于作為進(jìn)行加工條件的變更的結(jié)果而新得到輸入數(shù)據(jù)評價計算得出的值成為回報r_t+1。這些狀態(tài)s_t、行為a_t及回報r_t+1如在所述“[1]機(jī)械學(xué)習(xí)”中說明的那樣，通過應(yīng)用與機(jī)械學(xué)習(xí)的算法相應(yīng)的價值函數(shù)(評價函數(shù))的更新式來推進(jìn)學(xué)習(xí)。

以下，使用圖4的功能框圖對本發(fā)明的一實(shí)施方式的加工裝置進(jìn)行說明。

加工裝置1包括：在零件加工中用于驅(qū)動各軸的伺服電動機(jī)等驅(qū)動部(未圖示)、對這些伺服電動機(jī)進(jìn)行控制的伺服控制部(未圖示)、周邊設(shè)備(未圖示)、對這些驅(qū)動部和周邊設(shè)備進(jìn)行控制的控制部2、對由加工裝置1加工的工件的加工形狀在機(jī)測量的在機(jī)測量部3、對工件的加工所花費(fèi)的加工時間進(jìn)行測量的加工時間測量部4、進(jìn)行機(jī)械學(xué)習(xí)的成為人工智能的機(jī)械學(xué)習(xí)器20。

將圖4所示的加工裝置的結(jié)構(gòu)與圖1所示的強(qiáng)化學(xué)習(xí)算法的要素相對比，包括圖4的加工裝置1通常所具有的伺服電動機(jī)等驅(qū)動部及伺服控制部(未圖示)、周邊設(shè)備(未圖示)及控制部2等在內(nèi)的整體與圖1的強(qiáng)化學(xué)習(xí)算法中的“環(huán)境”相對應(yīng)，另外，圖4的加工裝置1的機(jī)械學(xué)習(xí)器20與圖1的強(qiáng)化學(xué)習(xí)算法中的“智能體”相對應(yīng)。

控制部2對從存儲器(未圖示)讀出的或者經(jīng)由輸入設(shè)備(未圖示)輸入的程序進(jìn)行解析來對加工裝置1的各部進(jìn)行控制。在該控制部2中，工件的加工所用的加工條件和表示利用程序加工的工件的加工形狀的設(shè)計數(shù)據(jù)預(yù)先存儲于存儲器。

在機(jī)測量部3具有對由加工裝置1加工的工件的加工形狀在機(jī)測量的功能，例如由激光測量器、磁測量器等構(gòu)成，在被固定于加工裝置1的狀態(tài)下對工件的加工形狀進(jìn)行測量。測量出的工件加工形狀向控制部2輸入。然后，基于從在機(jī)測量部3輸入的加工后工件的加工形狀和存儲于未圖示的存儲器的表示作為目標(biāo)的工件的加工形狀的設(shè)計數(shù)據(jù)，算出加工后工件的加工形狀的加工精度。如上述那樣按照工件的各部位算出加工精度。

加工時間測量部4對利用加工裝置1進(jìn)行一個工件的加工所花費(fèi)的加工時間進(jìn)行測量，例如，使用控制部2的計時功能等對從用于加工的程序啟動開始到結(jié)束為止的時間進(jìn)行測量，作為加工時間。

然后，將測量出的加工時間和算出的加工精度用于計算機(jī)械學(xué)習(xí)器20的學(xué)習(xí)中的回報。

進(jìn)行機(jī)械學(xué)習(xí)的機(jī)械學(xué)習(xí)器20如圖4所示那樣包括：狀態(tài)觀測部21、狀態(tài)數(shù)據(jù)存儲部22、回報條件設(shè)定部23、回報計算部24、加工條件調(diào)整學(xué)習(xí)部25、學(xué)習(xí)結(jié)果存儲部26、加工條件輸出部27。該機(jī)械學(xué)習(xí)器20可以設(shè)置于加工裝置1內(nèi)，也可以設(shè)置于加工裝置1外的計算機(jī)等。

狀態(tài)觀測部21經(jīng)由控制部2對加工裝置1的相關(guān)狀態(tài)數(shù)據(jù)進(jìn)行觀測，并將其取到機(jī)械學(xué)習(xí)器20內(nèi)。觀測的狀態(tài)數(shù)據(jù)包括所述加工時間及加工精度的相關(guān)數(shù)據(jù)等。

狀態(tài)數(shù)據(jù)存儲部22輸入并存儲狀態(tài)數(shù)據(jù)，將該存儲的狀態(tài)數(shù)據(jù)向回報計算部24、加工條件調(diào)整學(xué)習(xí)部25輸出。向狀態(tài)數(shù)據(jù)存儲部22輸入的狀態(tài)數(shù)據(jù)可以是最新的加工運(yùn)轉(zhuǎn)所取得的數(shù)據(jù)，也可以是過去的加工運(yùn)轉(zhuǎn)所取得的數(shù)據(jù)。另外，也可以將存儲于其他加工裝置1、集中管理系統(tǒng)30的狀態(tài)數(shù)據(jù)輸入并存儲于狀態(tài)數(shù)據(jù)存儲部22或者將狀態(tài)數(shù)據(jù)存儲部22存儲的狀態(tài)數(shù)據(jù)向其他加工裝置1、集中管理系統(tǒng)30輸出。

回報條件設(shè)定部23對在機(jī)械學(xué)習(xí)中收到回報的條件進(jìn)行設(shè)定。收到的回報有正回報和負(fù)回報，可以適當(dāng)設(shè)定。此外，也可以從在集中管理系統(tǒng)30使用的計算機(jī)、平板電腦終端等進(jìn)行向回報條件設(shè)定部23的輸入，但是通過設(shè)置為能夠經(jīng)由加工裝置1所具有的MDI設(shè)備(未圖示)輸入，能夠更簡便地進(jìn)行設(shè)定。

回報計算部24基于在回報條件設(shè)定部23設(shè)定的條件對從狀態(tài)觀測部21或者狀態(tài)數(shù)據(jù)存儲部22輸入的狀態(tài)數(shù)據(jù)進(jìn)行分析，并將計算出的回報向加工條件調(diào)整學(xué)習(xí)部25輸出。

以下，示出本實(shí)施方式的在回報條件設(shè)定部23設(shè)定的回報條件的例子。

[回報1：加工時間的縮短(正回報、負(fù)回報)]

一個工件的加工所花費(fèi)的加工時間縮短的情況下，零件加工的周期會得到提高，因此與其程度相應(yīng)地收到正回報。在回報的算出中，對于“加工時間”，設(shè)定為從“預(yù)定的基準(zhǔn)值”的角度來看越短則成為正值越大的回報，越長則成為負(fù)值越大的回報。關(guān)于“加工時間的預(yù)定的基準(zhǔn)值”，可以以在對加工裝置1的加工條件進(jìn)行初始設(shè)定后進(jìn)行工件的加工時測量出的加工時間為基準(zhǔn)。

[回報2：加工精度的提高(正回報、負(fù)回報)]

在相對于由設(shè)計數(shù)據(jù)表示的作為目標(biāo)的工件的加工形狀而言、加工后工件的加工形狀的加工精度高的情況下，與其程度相應(yīng)地收到正回報。也可以如上述那樣按照加工精度的種類算出基于加工精度的回報。在回報的算出中，對于加工精度數(shù)據(jù)，設(shè)定為從“預(yù)定的基準(zhǔn)值”的角度來看越接近0則是正值越大的回報，比預(yù)定的基準(zhǔn)值大得越多則是負(fù)值越大的回報。關(guān)于加工精度數(shù)據(jù)的“預(yù)定的基準(zhǔn)值”，可以以在對加工裝置1的加工條件進(jìn)行初始設(shè)定后進(jìn)行工件的加工時測量出的加工精度數(shù)據(jù)為基準(zhǔn)。

另外，對于由加工時間得到的回報和由加工精度得到的回報，也可以與其重要度相應(yīng)地進(jìn)行加權(quán)。這樣，能夠?qū)W習(xí)進(jìn)行重視加工時間的加工條件的調(diào)整、或者學(xué)習(xí)進(jìn)行重視加工精度的加工條件的調(diào)整。

另外，如上述那樣，在具有多個加工精度數(shù)據(jù)的情況下，也可以對每個加工精度數(shù)據(jù)進(jìn)行加權(quán)。通過這樣，能夠進(jìn)行重視深度方向精度或者重視拐角部精度的學(xué)習(xí)。

回到圖4，對于加工條件調(diào)整學(xué)習(xí)部25，每當(dāng)利用加工裝置1進(jìn)行的一個工件加工結(jié)束時，就會基于狀態(tài)數(shù)據(jù)、自身進(jìn)行的加工裝置1的加工條件的調(diào)整結(jié)果以及由回報計算部24計算出的回報來進(jìn)行機(jī)械學(xué)習(xí)(強(qiáng)化學(xué)習(xí))，進(jìn)而基于過去的學(xué)習(xí)結(jié)果和當(dāng)前狀態(tài)數(shù)據(jù)來調(diào)整加工裝置1的用于工件加工的加工條件。這里上述的加工條件的調(diào)整與圖1中的強(qiáng)化學(xué)習(xí)算法的“行為a”相當(dāng)。

對于加工條件的調(diào)整，例如可以將要調(diào)整的加工條件和加工條件的調(diào)整量的各種組合預(yù)先定義為可選擇的‘行為’，基于過去的學(xué)習(xí)結(jié)果選擇將來能夠得到的回報最大的‘行為’。并且，也可以采用所述的ε貪婪算法，以預(yù)定的概率選擇隨機(jī)‘行為’，從而謀求學(xué)習(xí)的進(jìn)展。

這里，在加工條件調(diào)整學(xué)習(xí)部25進(jìn)行的機(jī)械學(xué)習(xí)中，利用某時刻t的狀態(tài)數(shù)據(jù)的組合來定義狀態(tài)s_t，與該被定義的狀態(tài)s_t相應(yīng)地調(diào)整加工條件并利用后述的加工條件輸出部27輸出該調(diào)整結(jié)果的行為成為行為a_t。之后，基于該調(diào)整結(jié)果利用加工裝置1進(jìn)行了工件的加工，基于作為該加工的結(jié)果得到狀態(tài)數(shù)據(jù)，由所述回報計算部24計算出的值成為回報r_t+1。根據(jù)應(yīng)用的學(xué)習(xí)算法來決定用于學(xué)習(xí)的價值函數(shù)。例如，在使用Q學(xué)習(xí)的情況下，可以按照上述的式(2)來更新行為價值函數(shù)Q(s_t，a_t)，從而進(jìn)行學(xué)習(xí)。

學(xué)習(xí)結(jié)果存儲部26存儲上述加工條件調(diào)整學(xué)習(xí)部25學(xué)習(xí)的結(jié)果。并且，在加工條件調(diào)整學(xué)習(xí)部25再使用學(xué)習(xí)結(jié)果時，將存儲的學(xué)習(xí)結(jié)果向加工條件調(diào)整學(xué)習(xí)部25輸出。對于學(xué)習(xí)結(jié)果的存儲，如上述那樣，可以利用近似函數(shù)、陣列或者多值輸出的SVM、神經(jīng)網(wǎng)絡(luò)等有教師學(xué)習(xí)器等存儲與利用的機(jī)械學(xué)習(xí)算法相對應(yīng)的價值函數(shù)。

另外，也可以向?qū)W習(xí)結(jié)果存儲部26輸入并存儲其他加工裝置1、集中管理系統(tǒng)30存儲的學(xué)習(xí)結(jié)果，或者將學(xué)習(xí)結(jié)果存儲部26存儲的學(xué)習(xí)結(jié)果輸出給其他加工裝置1、集中管理系統(tǒng)30。

加工條件輸出部27將利用加工條件調(diào)整學(xué)習(xí)部25進(jìn)行的加工條件的調(diào)整結(jié)果輸出給控制部2?？刂撇?基于由加工條件輸出部27輸出的加工條件來控制加工裝置1，從而進(jìn)行工件的加工。

然后，在加工結(jié)束之后，再次利用機(jī)械學(xué)習(xí)器20取得狀態(tài)數(shù)據(jù)，使用輸入的狀態(tài)數(shù)據(jù)反復(fù)進(jìn)行學(xué)習(xí)，從而能夠得到更優(yōu)的學(xué)習(xí)結(jié)果。

在使用學(xué)習(xí)完成后的學(xué)習(xí)數(shù)據(jù)而實(shí)際利用加工裝置1進(jìn)行加工時，也可以是，機(jī)械學(xué)習(xí)器20不進(jìn)行新的學(xué)習(xí)而是直接使用學(xué)習(xí)完成時的學(xué)習(xí)數(shù)據(jù)來反復(fù)運(yùn)轉(zhuǎn)加工裝置1。

并且，也可以是，將學(xué)習(xí)完成后的機(jī)械學(xué)習(xí)器20(或者，將其他的機(jī)械學(xué)習(xí)器20的已完成的學(xué)習(xí)數(shù)據(jù)復(fù)制到學(xué)習(xí)結(jié)果存儲部26的機(jī)械學(xué)習(xí)器20)安裝于其他加工裝置1，直接使用學(xué)習(xí)完成時的學(xué)習(xí)數(shù)據(jù)來反復(fù)運(yùn)轉(zhuǎn)其他加工裝置1。

而且，也可以是，將學(xué)習(xí)完成后的機(jī)械學(xué)習(xí)器20以保持其學(xué)習(xí)功能有效的狀態(tài)安裝于其他加工裝置1來繼續(xù)進(jìn)行工件加工，從而使該機(jī)械學(xué)習(xí)器20進(jìn)一步學(xué)習(xí)每個加工裝置1的不同的個體差異、經(jīng)年變化等，對于該加工裝置1，能一邊探索更好的加工條件一邊進(jìn)行運(yùn)轉(zhuǎn)。

也可以加工裝置1單獨(dú)地進(jìn)行機(jī)械學(xué)習(xí)，但是若多個加工裝置1還分別具有與外部通信的通信單元，則可以將各加工裝置1的存儲于上述狀態(tài)數(shù)據(jù)存儲部22的狀態(tài)數(shù)據(jù)、存儲于學(xué)習(xí)結(jié)果存儲部26的學(xué)習(xí)結(jié)果通過收發(fā)來共享，能夠更高效地進(jìn)行機(jī)械學(xué)習(xí)。例如，使加工條件在預(yù)定的范圍內(nèi)變動來進(jìn)行學(xué)習(xí)時，多個加工裝置1一邊以不同的加工條件在預(yù)定的范圍內(nèi)分別變動加工條件進(jìn)行工件的加工，一邊在各加工裝置1之間進(jìn)行狀態(tài)數(shù)據(jù)、學(xué)習(xí)數(shù)據(jù)的交換來并行地進(jìn)行學(xué)習(xí)，由此能夠高效率地進(jìn)行學(xué)習(xí)。

這樣，在多個加工裝置1之間進(jìn)行交換時，通信可以經(jīng)由集中管理系統(tǒng)30等的主計算機(jī)進(jìn)行，也可以加工裝置1彼此直接進(jìn)行通信，還可以使用云端，但是由于有處理大量數(shù)據(jù)的情況，因此優(yōu)選通信速度盡量快的通信手段。

另外，可以是不直接加工成為產(chǎn)品的部分，而是使用工件的不需要部分進(jìn)行預(yù)備加工，在進(jìn)行了某種程度的機(jī)械學(xué)習(xí)后再進(jìn)行成為產(chǎn)品的部分的正式加工，從而能夠從一開始就獲得在某種程度上精度較高的加工形狀。

以上，對本發(fā)明的實(shí)施方式進(jìn)行了說明，但是本發(fā)明并非局限于上述實(shí)施方式的例子，還可以通過進(jìn)行適當(dāng)?shù)淖兏愿鞣N形態(tài)來實(shí)施本發(fā)明。