应用马可夫决策过程进行课件

應用馬可夫決策過程進行

台股每日交易策略之研究

指導老師：吳文洪組員：許筱茹葉玟妏詹秀櫻關若倩唐寶如應用馬可夫決策過程進行

台股每日交易策略之研究指導老1報告大綱研究動機研究步驟與方法實證結果與分析結論與建議報告大綱研究動機2研究動機經濟環境是經常變化的，對於不同的經濟環境，可以認為事物處於不同的狀態中，馬可夫決策過程（MarkovDecision

Process）的理論，可以對事物不同狀態的初始機率與狀態之間的移轉機率予以估算，以確定狀態變化趨勢，及預測事物的未來。研究動機經濟環境是經常變化的，對於不同的經3研究步驟與方法馬可夫決策過程資料準備最佳策略求解&實證結果分析結論與建議研究步驟與方法馬可夫決策過程資最佳策略求解結論與4馬可夫決策過程馬可夫決策過程是由四組參數所構成的決策模式1.狀態變數（Statevariable）2.移轉機率（Transitionprobability）3.決策變數（Decisionvariable）4.期望利潤（Expectedreward）馬可夫決策過程馬可夫決策過程是由四組參數所構成的5資料準備本研究的實驗對象為民國九十五年證交所的個股股價資料。擷取由九十五年一月二日至九十五年六月三十日，此六個月的資料當作原始資料，其中含塑膠類、電子類、金融類、鋼鐵類、汽車工業類項目包括營業的每天日資料的開盤價、最高價、最低價與收盤價。資料準備本研究的實驗對象為民國九十五年證交6狀態變數表1即為「亞聚股價記錄表」的表格，其中，第一類資料為每檔股票的交易日期、收盤價格和開盤價格。第二類資料有九個欄位，而此九個欄位均依據每日的第一類資料而來(如圖1)。第三類資料記錄收盤價落點區間，依據第二類資料分出區間後，由H1至H5，L5至L1，共記取10個股價狀態變數(如圖2)。狀態變數表1即為「亞聚股價記錄表」的表格，其中7表1亞聚股價紀錄表（2006上半年）第一類第三類第一類第三類交易日開盤價收盤價收盤價記號交易日開盤價收盤價收盤價記號95/1/213.813.5L595/4/612.512.75L395/1/313.713.85H595/4/712.7512.6L395/1/41413.85H595/4/1012.612.55L395/1/513.914.15H595/4/1112.5512.85L495/1/614.314.6H495/4/1212.812.95L4……………………95/3/2912.2512.25L295/6/2612.312.6L395/3/3012.312.3L395/6/2712.612.6L395/3/3112.312.45L395/6/2812.512.45L395/4/312.5512.45L395/6/2912.512.55L395/4/412.612.4L395/6/3012.712.7L3

H1H2H3H4H5L5L4L3L2L1第二類0+20+1.50+10+0.500-0.50-10-1.50-215.815.314.814.313.813.312.812.311.8表1亞聚股價紀錄表（2006上半年）第一類第三類第一類第8I+2I+1.5I+1I+0.5II-0.5I-1I-1.5I-2圖1區間分割說明圖I+2I+1.5I+1I+0.5II-0.5I-1I-1.59圖2區間符號說明圖I+2I+1.5I+1I+0.5II-0.5I-1I-1.5I-2H1H2H3H4H5L5L4L3L2L1圖2區間符號說明圖I+2I+1.5I+1I+0.5II-10移轉機率本研究是利用每家公司過去的歷史股價資料，來計算每個狀態變數的移轉機率，因此每家公司各有不同的移轉機率。舉例而言，以亞聚為例：自95年1月2日至95年6月29日收盤價記號，經統計後可得到每個狀態變數由前一個交易日轉變為次一個交易日的狀態變化總次數，如表2及表3所示。移轉機率本研究是利用每家公司過去的歷史股價資料11表2亞聚各狀態移轉統計樣本(以表1為例)2006/1/2~2006/6/30H1H2H3H4H5L5L4L3L2L1totalH1H2H322H42226H5217423L538718L41519328L31229335L2358L1表2亞聚各狀態移轉統計樣本(以表1為例)2006/1/2~12表3亞聚歷史移轉機率矩陣(以表1為例)2006/1/2~2006/6/30EXAMPLES:1949H1H2H3H4H5L5L4L3L2L1totalH10H20H312H40.3330.3330.3336H50.0870.7390.17323L50.1670.4440.38918L40.0360.1780.6790.08628L30.0290.0570.8290.08635L20.3750.6258L10表3亞聚歷史移轉機率矩陣(以表1為例)2006/1/2~13決策變數在本研究的數學模式中，所謂的決策變數即為股票投資時的操作方法，本研究採用買進賣出、融券、補券與持有操作策略。其中，買進策略:買進:每次只買進或補券一張股票。若於買進狀態時，而連續幾天均出現適於買進股票的狀態時，則視為該股續抱。

賣出策略:賣出:每次只賣出或融券一張股票。若於賣出狀態時，而連續幾天均出現適於賣出股票的狀態時，則視為該股續抱。決策變數在本研究的數學模式中，所謂的決策變數即為股票投14期望利潤期望利率的計算方法：令今日收盤價為

。由於台灣股市交易法規定，每日股票漲跌幅為昨日收盤價的7%，因此將P可切分為14個區間，各區間以k1，k2、…..如表4來表示。利用過去實際的收盤價歷史資料，來統計次一日收盤價格會落入前一日14個股價等分區間的機率值。因此可以分別計算得出如表5的條件機率表。根據表5的條件機率值，即可計算出當策略為買進時，在各個不同狀態下的期望利潤值如表6。期望利潤期望利率的計算方法：15表4各狀態的條件機率表

P(Pj=k1|Pi=Ptd，Si=H1)P(Pj=k2|Pi=Ptd，Si=H1)P(Pj=k3|Pi=Ptd，Si=H1)..P(Pj=k14|Pi=Ptd，Si=H1)P(Pj=k1|Pi=Ptd，Si=H2)P(Pj=k2|Pi=Ptd，Si=H2)P(Pj=k3|Pi=Ptd，Si=H2)..P(Pj=k14|Pi=Ptd，Si=H2)…………P(Pj=k1|Pi=Ptd，Si=L1)P(Pj=k2|Pi=Ptd，Si=L1)P(Pj=k3|Pi=Ptd，Si=L1)..P(Pj=k14|Pi=Ptd，Si=L1)(Pi：前一日收盤價Pj：次一日收盤價Si：前一日的狀態)表4各狀態的條件機率表P(Pj=k1|Pi=16表5不同狀態下的期望利潤值策略狀態買進H1,買H2,買H3,買H4,買H5,買L5,買L4,買L3,買L2,買L1,買表5不同狀態下的期望利潤值策略買進H1,買17表6亞聚各狀態下的期望利潤值

策略狀態買入賣出H100H200H3-0.263830.26383H4-0.021990.02199H5-0.013190.01319L50.0031410.003141L4-0.032980.03298L30.011639-0.011639L20.049467-0.049467L100表6亞聚各狀態下的期望利潤值策略買入賣出18最佳策略求解本研究運用線性規劃法(LinearProgramming)來求解馬可夫決策過程最佳策略。線性規劃法為Ross（1983）所提出，若欲找尋模式中最大值（maximization）或最小值（minimization）問題的最佳策略，可透過如下的線性方程式求解：最佳策略求解本研究運用線性規劃法(Linear19最大值問題（MaximizationProblem）

可運用其對偶函數來進行求解。目標函數：minZ=V1+V2+…+VN限制式：s.t.Foreachstateiandeachdd(i)最小值問題（MinimizationProblem）

其對偶函數如下：目標函數：maxZ=V1+V2+…+VN限制式：s.t.其中i,j：狀態變數,d：決策變數,β：折現率,V：總利潤,r：週期利潤。透過EXCEL的求解後，即可得到一組最佳策略。

()å==-NjjidjirVdijPV1,b()å==-NjjidjirVdijPV1,b()å==-NjjidjirVdijPV1,b()å==-20實證結果分析經使用前述馬可夫機率模型及配合轉移矩陣原理，對股價歷史資料作進出場最佳投資策略分析後，亞聚股價實際進出場投資報酬分析結果如表9。實證結果分析經使用前述馬可夫機率模型及配21表9亞聚使用馬可夫決策之投資報酬表日期價格買賣策略股數金額融券保證金利息手續費融券手續費證交稅成本或淨收益實現損益報酬報酬率7/312.8買買入10001280018.2412818.24

7/412.7買持有1000

7/512.55買持有1000

7/612.5買持有1000

7/712.55買持有1000

7/1712.2買持有1000

7/1812.3賣賣出10001230017.5336.912245.57-572.67

融券123001107017.5312.312270.17

7/1911.55維持持有1000

7/2011.6買補券100011600110700.6116.5334.811651.94618.24

買入1160016.5311616.53

8/2911.7買持有1000

8/3011.65買持有1000

8/3111.75買持有1000215.170.029/111.8買持有1000

9/2912買持有1000215.170.02表9亞聚使用馬可夫決策之投資報酬表日價買策股金融券利手融22結論與建議本研究主要透過「馬可夫決策過程」的動態規劃決策模式，以線性規劃法所找出最佳決策法則，來進行實際投資的操作策略。經由實際採用五類樣本驗證分析後，得到以下的結論：本文以五類15支個股作投資報酬率績效比較，結果顯示，績效優異排名類股依序為電子類股、塑膠類股、金融類股、汽車類股、鋼鐵類股。結論與建議本研究主要透過「馬可夫決策過程」的動態23各類股投資報酬率績效比較表10中顯 示，電子類股的聯電季投資報酬率為 0.9997倍，獲利至為豐碩，鴻海季投 資報酬率亦高達0.1545倍。其次表現 佳者為塑膠類股其中以華夏投資報酬 率為0.3844倍，表現較佳；亞聚投資 報酬率為0.0940倍。其次表現最佳者 為鋼鐵類股，盛餘季投資報酬率為 0.0898倍，其中金融類股第一保季季 報酬率0.0305倍，獲利尚可。各類股投資報酬率績效比較表10中顯24表10

類股比較分析表類股股別報酬

報酬率

7月8月9月累計7月8月9月累計電子聯電-706.15519395.18018689.027-0.03781.037800.9997

鴻海-7029.68246916.49-8936.80430950.005-0.03510.2342-0.04460.1545

台積電1468.20342492.5758-4081.56-120.78080.025680.0436-0.0714-0.0021塑膠華夏206.0391354.8741329.6138890.5270.28860.04970.04620.3844

亞聚774.1684215.1743215.1743989.34280.06040.01680.01680.094

臺塑-188.78300-188.783-0.003800-0.0039金融合庫175.525-3.4150172.110.0077-0.000200.0075

第一保-647.123892.615590.42535.916