|
|
5仿真币
对这个算法最直观的理解是这样的：! r6 N1 D: j) d5 z6 B* w: J- W. _
" E9 R2 _- V+ a0 b2 H一个agent在一天的开始时观察这个世界（获得information, 这个information是binary的，比如：天有没有下雨；家里的食物储备多不多），之后根据他获得的information，随机地选择一个action（比如：吃储备着的粮食）。在一天结束（即第二天开始）后，他计算了他的效用（就是满意度），如果效用较初始效用上升，他就会使选择这个action的概率上升一个单位。即整个算法是从information map到probability的一个过程。/ [5 l( w- L; s
3 n4 y1 o, G: p0 M6 M. M
以下是对编程有用的具体的算法：
8 v% X2 V2 p$ B o. ~1 G# A8 }
假设现在有2个information, 所以列出所有的排列为[[0 0][0 1][1 0][1 1]]。5 c! o K* K: O% L S2 t
( {. u$ O3 `" o4 _
假设有4个actions: a1, a2, a3, a4。每个action所发生的概率分别为p1,p2,p3,p4。
5 l: v4 N5 k- X8 X* l: _
F/ S' ~" Z" x }! |/ u每一个information vector都对应actions的一个概率分布。初始状态下的对应关系是这样的：
R; e, A/ Y. S6 L2 G, v% j! L! v) D% M+ v
[ [0 0] -> [0.25 0.25 0.25 0.25]
V- K* ^5 M$ ~. s9 Q6 [ [0 1] -> [0.25 0.25 0.25 0.25]1 i: s7 K* ^1 b& W7 g: i+ g# o. ?
[1 0] -> [0.25 0.25 0.25 0.25]
1 s2 i& b- L$ l% \ [1 1] -> [0.25 0.25 0.25 0.25]" g1 }; h; z3 B. K
]
, E: ^& c8 Y+ {6 U: U8 Z% F: W" A; j1 Y8 l! y- f7 e
好，现在agent开始获得information，比如[0 0]，这时，agent就用第一行的[0.25 0.25 0.25 0.25]，来随机选择一个行为，假设他选择的是a2。在他做出了这个action之后，假设第二天他发现他的效用上升了，所以他就把a2发生的概率p2上调w，所以概率矩阵的第一行就变成[0.25-w/3 0.25+w 0.25-w/3 0.25-w/3]。& r" b: W {( N5 E) _7 v- Y
5 Z# K$ x3 E2 u; m6 W! z4 |' ^
他在第二天的开始又获得information，如果还是[0 0]，那么就用[0.25-w/3 0.25+w 0.25-w/3 0.25-w/3]来随机选择一个action。但如果是[0 1]，那么就还是要用第二行的[0.25 0.25 0.25 0.25]来随机选择一个action。选择完action之后就比较前一天的效用，然后再调整概率。6 z3 R" E; N: R* y- R4 t ?
; O+ X1 r4 @* C5 F" H整个算法都在这里了，现在的问题是我根本就不知道从何下手，也不知道这个算法跟模型库中的哪些算法比较相似。
J$ M" b7 O' V8 Z3 V
2 V# z: u! l2 l+ \" s1 Q恳请高人教导！ |
|
发表于 2008-6-7 13:39:29
楼主