我的小小AI 天地

如果大家有看過我之前寫的文章

應該就知道這是一個提供很多環境讓你測試演算法的平台

今天就來詳細介紹一下使用方法

完整程式碼如下:

import gym
import tensorflow
env = gym.make('Acrobot-v1')

env.monitor.start('log_gym/cartpole-experiment-1',video_callable=lambda count: count % 10 == 0)

for  episode in range(100):
    env.reset()
    for i in range(100):
        env.render()
        next_state,reward,done,_=env.step(env.action_space.sample()) # take a random action
        
        if done:
            break
        
    print 'episdoe: ',episode
env.monitor.close()

gym.upload('/home/darren/My_project/log_gym/cartpole-experiment-1', api_key='your key')
 

首先要先引用相關函數

import gym
import tensorflow

再來選擇您要跑的環境
env = gym.make('Acrobot-v1')

大致上介紹一下 環境大概如下 acrobot 是由兩根連桿 所組成的

主要目的就是使得連桿的尾端 接近到我們所定義的高點 (上面黑色那條)

我最愛的就是這個功能 想當初我還要自己找第三方軟體 自行錄影

在gym當中 他都幫妳寫好了 你只需要打下面這一行

裡面的參數是填寫你想要存放的位置 

至於 cartpole-experiment-1  你可以隨便命名 他會產生相應資料夾

env.monitor.start('log_gym/cartpole-experiment-1')

它會自動幫你錄影 至於隔多少 小編就不知道它怎麼算的了

小邊隨便跑個100個episode 所記錄的分別是 0 1 8 27 64

您還可以自己控制每隔幾個episode 記錄一次

小編這裡是寫 每隔10個episode 記錄一次

env.monitor.start('log_gym/cartpole-experiment-2',video_callable=lambda count: count % 10 == 0)

再來就開始學習囉~~~

不過這裡小編沒打任何演算法

主要是讓大家熟悉 gym 的code編寫方式

這裡小編設計總共跑 100個 episode
for  episode in range(100):

    然後記住 每重新一個episode 必須把環境初始化一次
    env.reset()

    這裡小編設計 每一個 episode 跑 100 個step
    for i in range(100):

        每執行完一個動作後 必須render一次 這樣狀態才會更新 畫面也才會更新
        env.render()

        這裡小編是採取random action 的方式  總共會回傳三個值 

        分別是  

        第一個: 狀態  

                    每個環境回傳的狀態可能都不一樣 這需要翻原始碼去找

        以這個環境為例子 原始檔碼在這裡

打開就有詳細的說明:

state 會回傳四個值 分別是 第一軸角度 第二軸角度 第一軸角速度 第二軸角速度

        第二個:reward  

        找到原始檔 最下面有說 如果沒有甩到上面 reward 都一直給 -1 

        甩到上面reward 就給0

        第三個:done  

        紀錄完成已否 如果完成了 那麼done 會回傳1 反之回傳0

        next_state,reward,done,_=env.step(env.action_space.sample()) # take a random action

        如果完成了 就讓他跳出迴圈  執行下一個episode
        if done:
            break
        

整個學習過程結束 我們將monitor 關閉    
env.monitor.close()

然後將資料夾裡的東西上傳到gym平台  他會自己幫你打分數

這也是我喜歡的功能之一 好像每次都是小考一樣啊 哈哈

前面參數擺要上傳的資料夾位置 後面就是放入你的api_key

這需要創建一個 github 帳號 然後點擊右上角 sign in with github

在右上角的地方 你就會看到您帳號的api_key 了

gym.upload('/home/darren/My_project/log_gym/cartpole-experiment-2', api_key='your key')

上傳後就馬上幫你打分數了呢  我看看...我的分數是...........  -100分阿  哈哈

隨便寫寫的考券 竟然可以比別人高阿~~哈哈   看來random 方法也不錯啊XD

大家也趕快去上傳自己演算法的訓練結果吧~~

如果您想分享原始碼的話 就去github創建一個gist 然後把網址貼上就可以囉~

貼完就像這樣