用Q-learning算法實現(xiàn)自動走迷宮機(jī)器人的方法示例-創(chuàng)新互聯(lián)

項目描述：

站在用戶的角度思考問題，與客戶深入溝通，找到巴彥淖爾網(wǎng)站設(shè)計與巴彥淖爾網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名與空間、虛擬空間、企業(yè)郵箱。業(yè)務(wù)覆蓋巴彥淖爾地區(qū)。

在該項目中，你將使用強(qiáng)化學(xué)習(xí)算法，實現(xiàn)一個自動走迷宮機(jī)器人。

如上圖所示，智能機(jī)器人顯示在右上角。在我們的迷宮中，有陷阱（紅色×××）及終點(diǎn)（藍(lán)色的目標(biāo)點(diǎn)）兩種情景。機(jī)器人要盡量避開陷阱、盡快到達(dá)目的地。

小車可執(zhí)行的動作包括：向上走 u、向右走 r、向下走 d、向左走l。

執(zhí)行不同的動作后，根據(jù)不同的情況會獲得不同的獎勵，具體而言，有以下幾種情況。

• 撞到墻壁：-10
• 走到終點(diǎn)：50
• 走到陷阱：-30
• 其余情況：-0.1

我們需要通過修改 robot.py 中的代碼，來實現(xiàn)一個 Q Learning 機(jī)器人，實現(xiàn)上述的目標(biāo)。

Section 1 算法理解

1.1 強(qiáng)化學(xué)習(xí)總覽

強(qiáng)化學(xué)習(xí)作為機(jī)器學(xué)習(xí)算法的一種，其模式也是讓智能體在“訓(xùn)練”中學(xué)到“經(jīng)驗”，以實現(xiàn)給定的任務(wù)。但不同于監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)，在強(qiáng)化學(xué)習(xí)的框架中，我們更側(cè)重通過智能體與環(huán)境的交互來學(xué)習(xí)。通常在監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)任務(wù)中，智能體往往需要通過給定的訓(xùn)練集，輔之以既定的訓(xùn)練目標(biāo)（如最小化損失函數(shù)），通過給定的學(xué)習(xí)算法來實現(xiàn)這一目標(biāo)。然而在強(qiáng)化學(xué)習(xí)中，智能體則是通過其與環(huán)境交互得到的獎勵進(jìn)行學(xué)習(xí)。這個環(huán)境可以是虛擬的（如虛擬的迷宮），也可以是真實的（自動駕駛汽車在真實道路上收集數(shù)據(jù)）。

在強(qiáng)化學(xué)習(xí)中有五個核心組成部分，它們分別是：環(huán)境（Environment）、智能體（Agent）、狀態(tài)（State）、動作（Action）和獎勵（Reward）。在某一時間節(jié)點(diǎn)t：

智能體在從環(huán)境中感知其所處的狀態(tài)

智能體根據(jù)某些準(zhǔn)則選擇動作

環(huán)境根據(jù)智能體選擇的動作，向智能體反饋獎勵

通過合理的學(xué)習(xí)算法，智能體將在這樣的問題設(shè)置下，成功學(xué)到一個在狀態(tài) 選擇動作 的策略 。

1.2 計算Q值

在我們的項目中，我們要實現(xiàn)基于 Q-Learning 的強(qiáng)化學(xué)習(xí)算法。Q-Learning 是一個值迭代（Value Iteration）算法。與策略迭代（Policy Iteration）算法不同，值迭代算法會計算每個”狀態(tài)“或是”狀態(tài)-動作“的值（Value）或是效用（Utility），然后在執(zhí)行動作的時候，會設(shè)法大化這個值。因此，對每個狀態(tài)值的準(zhǔn)確估計，是我們值迭代算法的核心。通常我們會考慮大化動作的長期獎勵，即不僅考慮當(dāng)前動作帶來的獎勵，還會考慮動作長遠(yuǎn)的獎勵。

在 Q-Learning 算法中，我們把這個長期獎勵記為 Q 值，我們會考慮每個 ”狀態(tài)-動作“ 的 Q 值，具體而言，它的計算公式為：

也就是對于當(dāng)前的“狀態(tài)-動作” ，我們考慮執(zhí)行動作 后環(huán)境給我們的獎勵，以及執(zhí)行動作 到達(dá) 后，執(zhí)行任意動作能夠獲得的大的Q值，為折扣因子。

不過一般地，我們使用更為保守地更新 Q 表的方法，即引入松弛變量 alpha，按如下的公式進(jìn)行更新，使得 Q 表的迭代變化更為平緩。

根據(jù)已知條件求。

已知：如上圖，機(jī)器人位于 s1，行動為 u，行動獲得的獎勵與題目的默認(rèn)設(shè)置相同。在 s2 中執(zhí)行各動作的 Q 值為：u: -24，r: -13，d: -0.29、l: +40，γ取0.9。

1.3 如何選擇動作

在強(qiáng)化學(xué)習(xí)中，「探索-利用」問題是非常重要的問題。具體來說，根據(jù)上面的定義，我們會盡可能地讓機(jī)器人在每次選擇最優(yōu)的決策，來大化長期獎勵。但是這樣做有如下的弊端：

• 在初步的學(xué)習(xí)中，我們的 Q 值會不準(zhǔn)確，如果在這個時候都按照 Q 值來選擇，那么會造成錯誤。
• 學(xué)習(xí)一段時間后，機(jī)器人的路線會相對固定，則機(jī)器人無法對環(huán)境進(jìn)行有效的探索。

因此我們需要一種辦法，來解決如上的問題，增加機(jī)器人的探索。由此我們考慮使用 epsilon-greedy 算法，即在小車選擇動作的時候，以一部分的概率隨機(jī)選擇動作，以一部分的概率按照最優(yōu)的 Q 值選擇動作。同時，這個選擇隨機(jī)動作的概率應(yīng)當(dāng)隨著訓(xùn)練的過程逐步減小。

在如下的代碼塊中，實現(xiàn) epsilon-greedy 算法的邏輯，并運(yùn)行測試代碼。

import random 
import operator 

actions = ['u','r','d','l'] 
qline = {'u':1.2, 'r':-2.1, 'd':-24.5, 'l':27} 
epsilon = 0.3 # 以0.3的概率進(jìn)行隨機(jī)選擇 

def choose_action(epsilon):     
  action = None 
   if random.uniform(0,1.0) <= epsilon: # 以某一概率 
    action = random.choice(actions)# 實現(xiàn)對動作的隨機(jī)選擇 
   else:  
     action = max(qline.items(), key=operator.itemgetter(1))[0] # 否則選擇具有大 Q 值的動作 
   return action 

當(dāng)前文章：用Q-learning算法實現(xiàn)自動走迷宮機(jī)器人的方法示例-創(chuàng)新互聯(lián)
文章網(wǎng)址：http://muchs.cn/article24/dpphce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、微信小程序、網(wǎng)站導(dǎo)航、自適應(yīng)網(wǎng)站、定制網(wǎng)站、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)