我的網站學習地圖

小編覺得痞克邦的索引連結實在沒有做得很好,為什麼不能點開分類看到每一個網頁標題內容呢,有時候小編都要找好久才能找到想要的資料,因此小編決定做一個地圖索引,幫助自己也幫助大家快速地尋找我網站中的資料。

小編的網站主要是提供給有興趣想學AI的人,資料都是從網路上蒐集以及聽過的一些課程加上自己的筆記整理,是小編花很多心思整理的,如果覺得有幫助到您的話,留言給小編鼓勵一下,小編會很開心的^.^,這樣小編就更有毅力寫教學文教大家AI囉。寫部落格過程中看到最近新版 Alpha Go 頻頻獲勝的新聞時,小編更是興奮不已,讓小編堅信自己的選擇是沒有錯的,小編相信不久後使用在Alpha Go上的技術將會廣為流傳到各大企業中大大取代人力資源,因此小編也怕以後被裁員阿XD,趕緊跟在這些大師們後面加緊學習,不然以後沒飯吃阿~

DeepMind 的講師 David silver 曾經說過,Deeplearning + Reinforcement learning就是AI,小編深有同感,小編已經看過很多驚奇的影片、論文都是從Deep Reinforcement learning出來的,當然大名鼎鼎的AlphaGo也是DRL的一種,深度學習目前已經廣泛的運用在企業中,但是DRL目前只有少數頂尖公司投入錢研究,因此在企業應用中是少之又少,但小編深信最後創造出來的機器人一定會大量使用這些技術,因此這些技術流入業界中恐怕也只是時間早晚的問題,所以如果不想被裁員,趕快跟著小編的腳步學習AI阿~~

可能啟發您學習的影片

深度學習

深度學習是廣為流行的一種模擬人腦的神經訓練模型,它改善了從前類神經網路的諸多缺點、引用人類大腦學習技術使得圖片辨識率從原本的9X%立刻提升到接近99%的正確度,關於了解什麼是深度學習前應該先理解傳統類神經網路,因為深度學習是從傳統類神經網路開始改進的。

強化式學習

強化式學習是AI中很重要的一個演算法,他是經由觀察人腦的學習模式而漸漸發展出來的,它不像類神經一樣需要出現正確的輸入/輸出對,所需要的只是提供一個環境給演算法學習,以及跟機器人說如何做是對的、錯的,那麼機器人會漸漸地學習出最佳的路徑出來,就像訓練小狗握手一樣,牠如果做對了就給牠東西吃,漸漸的狗狗就會知道當你把手伸出來的時候,和你握手就會有東西可以吃,所以狗狗就學會和你握手了 ^.^

Darwin的AI天地 發表在 痞客邦 留言(8) 人氣()

類神經網路 筆記

 

小編看了很多的書籍介紹類神經的,發現這本講的最淺顯易懂而且還附有程式碼,我認為電腦科學與其他物理學、電磁學...等最不同的點在於他是可以看出效果的,是感覺的到的,就算不太懂他的數學原理,反覆地去看程式碼再回來對照公式很快就可以更深入的了解,但是類似電磁學那種理論,即使你經由公式算出了電場是多少,電荷是多少,我依然沒有什麼感覺因為他看不到也摸不到,但電腦科學就不同了,你可以經由寫程式透過軟體去驗證你的理論正不正確,下面就帶各位一步一步地進入類神經的科學理論以及用個實際的例子說明這理論要如何使用。

 

PS: 小編找了很久的word 轉成部落格資料,一直遇到公式無法直接轉換問題,終於有天讓我找到了pandoc無痛轉法,但是圖片卻無法轉,至使我還要一個一個貼,如果有網友知道word轉部落格的方法的話,歡迎通知小編我,小編會感激不盡的,

文章標籤

Darwin的AI天地 發表在 痞客邦 留言(22) 人氣()


Deep Reinforcement Learning 

 

使用說明書


文章標籤

Darwin的AI天地 發表在 痞客邦 留言(3) 人氣()

https://kknews.cc/zh-tw/tech/lvkyeb.html

資訊 | 微軟開源Malmo項目,使用Minecraft測試人工智慧算法

 

小編當初就有看到這則新聞,當時覺得超酷的,不過也沒太去注意,因為這種東西我一輩子都碰不到吧,想不到今天小編看到他已經新增到gym的環境了,OpenAI 團隊實在太強了!!!,說實在的關於 Minecraft 的安裝測試,官網一個字都沒有提到,只說有新增了,那到底怎麼裝呢,經過小編測試了一整個下午,終於把他跑出來了,經過重重除錯過程一直到遊戲跑出來的那剎那,內心真是澎湃、激動萬分阿,下面就來跟著小編一步一步安裝吧。

 
文章標籤

Darwin的AI天地 發表在 痞客邦 留言(2) 人氣()

Scientists Develop A Method To

Upload Knowledge to your Brain

 

這技術從前只在電影裡面才看的到,想不到這麼快現實生活中真的出現了,新聞中描述科學家現在已能夠上傳想要學習的知識進入大腦中,也就是說以後想要學會某技能的話不用再辛辛苦苦地學了,可能是到電腦中心,戴上高科技腦儀器,選擇想要的技能,等個幾分鐘~

就會那一項技能了,超酷的拉~~目前的科學家是以收集飛航員的腦神經數據做為訓練依據,然後找一些完全沒有飛航員經驗的測試原來學習,經實驗發現藉由上傳大腦資訊這項技術可以讓測試員掌握飛航員的技術持續幾個小時,但如果持續一直練習,幾天到一個禮拜的時間就可以鞏固了而不需要再戴那個腦儀器。

Darwin的AI天地 發表在 痞客邦 留言(0) 人氣()

Convolutional Neural Net 筆記

更改版本:

2016/11/16 初版

2016/12/16 感謝rxliu同學提供的資料,讓我更清楚CNN的完整架構

 

 

文章標籤

Darwin的AI天地 發表在 痞客邦 留言(10) 人氣()

-learning 推導

 

本文的目的是要讓大家了解Q learning 一行簡單的公式

 

文章標籤

Darwin的AI天地 發表在 痞客邦 留言(3) 人氣()

其實小編從小就對機器人很有興趣

從高中開始就玩過樂高機器人

大學也是進入機器人實驗室

進入研究所後也是學習機器人

在我學習這麼多後

我深深覺得最重要的應該是人工智慧

文章標籤

Darwin的AI天地 發表在 痞客邦 留言(0) 人氣()

小編原本也是一個懵懵懂懂

對 什麼事 AI 也不清楚的一個人

只知道 AI 是人工智慧

很多東西都可以利用人工智慧學習出來

剛開始也只是知道一些皮毛演算法

文章標籤

Darwin的AI天地 發表在 痞客邦 留言(3) 人氣()

DDPG也是延續著之前的觀念而來,是融合了Actor-Critic與DQN的experience replay而演化而來的演算法,完整架構圖如下所示,一樣是有兩個網路,Critic計算動作的好壞,Actor根據Critic網路調整參數獲得更好的策略

Critic network

Critic網路更新方式與之前介紹的Actor-Critic網路更新方式一樣,差別在於此處引用了兩個網路(target與now),這個概念源自於Double DQN,在此篇論文中發現一值更新同一個網路容易造成不穩定的現象,因此提出再創造一個網路(target)然後賦予相同的參數值,然後更新參數的時候更新原本的網路即可(now),等訓練一段時間後再把現now網路的參數再賦予給target網路,這麼做可以使得訓練更穩定,因此選取$q_{t+1}$的値時是選擇選取target網路所給予的q值

```python=
self.target_q = R + self.gamma * self.q_
self.loss = tf.reduce_mean(tf.squared_difference(self.target_q, self.q))
self.train_op = tf.train.AdamOptimizer(self.lr).minimize(self.loss)
``` 

Actor network

Actor 更新的概念很新穎,是採取連續微分的方式計算出action應該變動的方向,設計此網路時比較特殊,首先必須終止梯度計算倒傳遞到Actor網路,再來就是將Critic網路dq/da的梯度計算出來,然後再算出Actor網路da/dparams的微分,之後將兩者微分相乘並套用到Actor網路的參數上即可完成更新網路的動作了

```python=
#程式碼取自莫凡python
self.a = tf.stop_gradient(a)

# provided by Critic network
a_grads = tf.gradients(self.q, a)[0]   # tensor of gradients of each sample (None, a_dim)

# Actor network:caculate policy gradients
policy_grads = tf.gradients(ys=self.a, xs=e_params, grad_ys=a_grads)
train_op = opt.apply_gradients(zip(policy_grads, e_params))
```

Experirence replay

這概念也是源自於DQN網路,在訓練的過程中會持續的收集經驗,並且會設定一個buffer size,這個值代表要收集多少筆經驗,每當經驗庫滿了之後,每多一個經驗則最先收集到的經驗就會被丟棄,因此可以讓經驗庫一值保持滿的狀態並且避免無限制的收集資料造成電腦記憶體塞滿。

文章標籤

Darwin的AI天地 發表在 痞客邦 留言(0) 人氣()