PROPOSAL TESIS

MODEL GERAK HINDAR NPC PADA GAME FPS MENGGUNAKAN FUZZY STATE MACHINE

Ady Wicaksono, S.Pd., S.Sn.

NRP. 2208205731

DOSEN PEMBIMBING

Moch. Hariadi, S.T., M.Sc., Ph.D.

PROGRAM MAGISTER

BIDANG KEAHLIAN JARINGAN CERDAS MULTIMEDIA

JURUSAN TEKNIK ELEKTRO

FAKULTAS TEKNOLOGI INDUSTRI

INSTITUT TEKNOLOGI SEPULUH NOPEMBER

SURABAYA

1

2009

BAB I

PENDAHULUAN

1.1 Pendahuluan

Penelitian tentang AI (Artificial Intelligence) pada NPC (Non-Player

Character) dalam game hingga saat ini masih terus di kembangkan. AI tersebut di

kembangkan untuk merancang perilaku NPC [8]. Ketika kita mengatakan bahwa

game sudah mempunyai AI yang baik, berarti bahwa karakter permainan

menunjukkan perilaku yang konsisten dan realistis, bereaksi dengan tepat kepada

tindakan pemain dan karakter lain. Untuk genre permainan tertentu-misalnya, FPS

(First Person Shooter) dan RTS (real-time strategy), game dengan AI yang baik

juga merujuk pada kemampuan permainan untuk menantang pemain pada tingkat

taktis dan strategis [3].

AI pada game FPS umumnya terdiri dari perencanaan path, mengambil

item, menggunakan item, dan berperang. Khusus untuk berperang NPC juga

diharapkan mempunyai strategi-strategi khusus seperti halnya manusia [9].

Strategi yang dimaksud bisa berupa strategi dan pengambilan keputusan kapan

saat mengejar lawan, menyerang lawan maupun menghindari lawan dengan

penyesuaian pada kondisi NPC pada saat itu.

Bagi NPC, menghindar bisa jadi merupakan sebuah strategi untuk

mengalahkan musuh (pemain). Misal jika pemain sedang berada dalam posisi

menyerang NPC, maka NPC akan begerak menghindar kearah rekan satu timnya

yang memiliki kondisi HP lebih baik. Demikian halnya jika status HP dari NPC

dalam kondisi kritis, maka NPC akan membuat keputusan untuk menghindar dan

mencari perlindungan. Dari dua contoh pergerakan menghindar tersebut,

keduanya mempunyai tujuan akhir meningkatkan tingkat kesulitan yang dihadapi

pemain dalam melawan NPC. Maka dari itu, penelitian ini akan membahas

mengenai model strategi gerak hindar NPC pada game FPS, dengan penekanan

untuk mendesain pergerakan NPC digunakan FuSM (Fuzzy State Machine).

2

Contoh strategi menghindar yang dilakukan NPC game yang ditunjukkan

pada gambar 1.1. Dalam game yang berjudul Prahara Singhasari tersebut, setiap

NPC mempunyai karakteristik perilaku yang berbeda, tetapi saling mendukung

dan mempunyai tujuan yang sama yaitu mengalahkan player. NPC B bertugas

untuk bergerak ke arah player dan membawanya sampai ke zona serang yaitu

mendekati posisi NPC A, dimana secara natural player akan mendekati musuh

(NPC) dan berusaha menyerangnya. Kemudian setelah musuh terpancing untuk

menyerang maka NPC B berusaha menghindar dari serangan dan menuju posisi

NPC A. Dengan begitu NPC B bisa mendapat bantuan serangan dari rekan se

timnya yaitu NPC A. Panah warna hijau adalah arah pergerakan NPC B,

sedangkan panah warna kuning adalah arah pergerakan player. Pergerakan NPC

tersebut dapat dirancang dengan menggunakan FSM (Finite State Machine).

Gambar 1.1 Contoh strategi gerak NPC pada game

Pada FSM dasar, state tersusun lebih sederhana dan berurutan, namun

memiliki banyak kelemahan karena sistem yang paling praktis memiliki jumlah

state dan transisi yang banyak sehingga representasi dan analisis menjadi sulit [2].

Pad logika yang digunakan dalam FSM dasar, …………………………………

Logika Fuzzy, pada dasarnya adalah………………………

3

Dengan FuSM (Fuzzy State Machine), state dapat lebih disempurnakan ke

FSM lain. Tetapi secara signifikan dapat mengurangi jumlah transisi dan

membuat FSM lebih intuitif dan mudah dimengerti, sehingga lebih mudah

diterjemahkan ke dalam bahasa pemrograman.

Implementasi dari penelitian ini adalah untuk game ber-genre FPS dimana

NPC musuh akan berinteraksi langsung dengan karakter pemain. Game engine

yang digunakan adalah Torque Game Engine 1.4, yang merupakan Game Engine

3D. Game Engine ini dipasarkan oleh Garege Games, dengan ciri pemrograman

setiap elemen game terdiri dari class-class [6].

1.2 Rumusan Masalah

Berdasarkan latar belakang di atas, perumusan masalah dalam penelitian

ini adalah sebagai berikut :

1. Bagaimana merencanakan strategi menghindar untuk NPC pada game

FPS?

2. Bagaimana membuat Fuzzy State Machine untuk strategi menghindar NPC

pada game FPS?

3. Bagaimana mengimplementasikan Fuzzy State Machine yang sudah dibuat

ke dalam Torque Game Engine?

1.3. Tujuan dan Manfaat Penelitian

Tujuan penelitian ini adalah untuk :

1. Dapat merencanakan strategi menghindar untuk NPC pada game FPS.

2. Dapat membuat Fuzzy State Machine untuk strategi menghindar NPC

pada game FPS.

3. Dapat mengimplementasikan Fuzzy State Machine yang sudah dibuat ke

dalam Torque Game Engine.

Sedangkan manfaat yang diharapkan pada penelitian ini yaitu :

1. Ditemukannya strategi koordinasi menghindar untuk NPC pada game FPS.

2. Ditemukannya metode Fuzzy State Machine untuk koordinasi strategi

menghindar NPC pada game FPS.

4

3. Dapat mengimplementasikan Fuzzy State Machine yang sudah dibuat ke

dalam Torque Game Engine.

5

BAB II

KAJIAN PUSTAKA DAN DASAR TEORI

2.1 Game

Pada umumnya game digolong menjadi beberapa genre,

diantaranya : RPG, Adventure game, RTS, FTPS, platform games, shooter

games, sport games, racing classic games, fighting games [11]. Adapun

penjelasan lebih lanjut dituliskan pada sub berikut.

2.1.1 RPG (Role Play Games)

RPG (Role Play Games) merupakan game yang memberikan

keluasaan player dapat memilih satu atau beberapa karakter untuk

dimainkan. Masing-masing karakter yang dimainkan memiliki keunikan

dan behavior tertentu. Pemilihan karakter mungkin mempengaruhi jalan

cerita game yang dimainkan. Game bergenre RPG biasanya berupa game

petualangan (quest) yang semakin lama dilalui akan semakin meningkat

skill atau ability dari karakter tersebut. RPG sendiri telah berkembang

menjadi MMORPG (Massively Multiplayer Online Role Playing Game)

dimana jumlah pemain yang terlibat pada "dunia maya" (game world) bisa

mencapai ratusan bahkan ribuan. Contoh dari game bergenre RPG adalah

Ragnarok, Diablo, Witcher, Dragon Age, dan Final Fantasy.

2.1.2 Adventure Game

Adventure game merupakan permain dimana player memainkan

satu karakter (tidak multiplayer), dan dalam menyelesaikan misi biasanya

melibatkan pembicaraan yang intensif "ngobrol" dengan karaketer lainnya

dalam game untuk memecahkan puzzle yang dijumpai pada setiap

petualangan. Contoh Adventure ame diantaranya adalah The Longest

Journey, Syberia I, Syberia II.

6

2.1.3 RTS (Real Time Strategy)

Genre RTS merupakan game yang permainannya menekankan

kepada kehebatan strategi pemainnya, biasanya pemain memainkan tidak

hanya 1 karakter saja akan tetapi banyak karakter. Contoh dari game

bergenre RTS adalah Microsoft Age of Empire, Warcraft, Starcraft.

2.1.4 FPS (First Person Shooters)

First Person Shooters merupakan game dengan mengambil sudut

pandang orang pertama pada gamenya sehingga seolah-olah kita sendiri

yang berada dalam game tersebut, kebanyakan game ini mengambil setting

peperangan dengan senjata-senjata militer. Sedangkan Third Person

Shooters genre game yang mengambil sudut padangan orang ketiga

dalam permainan. Contoh dari game FPS adalah Half Live, Counter

Strike, Fallout. Game dengan genre inilah yang dijadikan bahan pada

penelitian ini.

2.1.5 Platform Games

Platform Games merupakan salah satu genre game yang

mempunyai karakteristik gerakan player dengan melompat antar platflorm

atau obstacle lain. Dibutuhkan kendali dari player untuk mencegah

karakter jatuh dari platform atau salah melompat. Contoh-contoh game ini

bervariasi, beberapa mekanisme lompatan di modifikasi dengan bantuan

alat-alat tertentu seperti tali pengayun dengan panjang yang telah diatur,

atau melompat dari trampoli atau pegas.

2.2 Non-Player Character

NPC model berarti obyek dinamis yang tidak menjadi subordinat

atau dibawah kontrol pemain, obyek ini membuat keputusan secara

mandiri dan beroperasi di wilayah virtual dalam game.[1].

Autonomous character adalah jenis otonomous agent yang

ditujukan untuk penggunaan komputer animasi dan media interaktif seperti

games dan virtual reality. Agen ini mewakili tokoh dalam cerita atau

permainan dan memiliki kemampuan untuk improvisasi tindakan mereka.

Ini adalah kebalikan dari seorang tokoh dalam sebuah film animasi, yang

7

tindakannya ditulis di muka, dan untuk “avatar” dalam sebuah permainan

atau virtual reality, tindakan yang diarahkan secara real time oleh pemain.

Dalam permainan, karakter otonom biasanya disebut NPC (Non-Player

Character).

Autonomous character atau karakter otonom harus

menggabungkan aspek robot otonom dengan beberapa keahlian dari

manusia improvisasi aktor dalam teater. Karakter-karakter ini biasanya

tidak real robot, dan jelas bukan aktor manusia, tetapi berbagi beberapa

properti dari masing-masing. Sebuah agen dapat reaktif (naluriah,

didorong oleh stimulus) atau dapat deliberatif (“intellectual” dalam

pengertian klasik AI). Agen otonom dapat menangani secara eksklusif

dengan abstrak informasi (“softbot”, “knowbot”, atau “information

agent”) atau dapat diwujudkan dalam fisik manifestasi (yang khas robot

industri atau kendaraan yang otonom). Kombinasi terletak, reaktif, dan

diwujudkan menetapkan beberapa kelas yang berbeda agen otonom.

Perilaku karakter yang otonom dapat lebih baik dipahami dengan

membaginya menjadi beberapa lapisan. Lapisan ini dimaksudkan hanya

untuk kejelasan dan kekhususan dalam diskusi yang akan mengikuti.

Gambar 2.1 menunjukkan sebuah divisi gerak perilaku otonom hirarki

karakter menjadi tiga lapisan: seleksi tindakan, steering, dan penggerak.

Gambar 2.1 Hirarki gerak perilaku

Tiga lapisan hirarki tersebut, adalah motivasi, tugas, dan motor.

[5]. Pada penelitian ini lebih di fokuskan pada bagian action selection

yang di dalamnya berisi strategi pergerakan NPC.

8

2.3 Artificial Intelligence Game

Pada awalnya upaya untuk meneliti kinerja game komputer,

terbatas pada game-game seperti catur, checker, dll. Mengembangkan

programming game adalah wilayah penelitian yang paling menarik adalah

pada kecerdasan buatan, karena kecerdasan buatan menjanjikan teknik

telah banyak diterapkan pada AI game. Dalam beberapa tahun terakhir,

penerapan AI pada game komputer seperti tindakan, simulasi, dan peran

bermain berkembang pesat. Sebagian besar penelitian tentang

pengendalian perilaku dilaksanakan di bidang robotik dan agent, dan

orang-orang teknik secara perlahan-lahan mengadopsinya untuk

mengendalikan NPC dalam game.

AI dalam permainan memerlukan reaktifitas yang tinggi terhadap

lingkungan. Sebuah perilaku bodoh cenderung untuk membuat permainan

menjadi membosankan sehingga mengurangi tingkat kesenangan terhadap

game tersebut. Sebagian besar AI yang digunakan dalam game

dieksplorasi, antara lain kekurangan dan kelebihan terhadap cara yang

digunakan dalam game. AI dari banyak game komputer dirancang dengan

aturan-aturan berdasarkan metode seperti Finite State Machine dan Fuzzy

Logic. Keduanya tergolong sederhana dari pada metode yang lain, tetapi

kemampuan untuk mengelola perilaku sangat baik, selain itu metode

tersebut sering digunakan oleh para pengembang game, salah satu

alasannya adalah karena mudah untuk menguji, memodifikasi dan

menyesuaikan sesuai dengan keinginan [8].

2.4 Basic Finite State Machine

Sebuah FSM atau Finite State Machine terdiri dari serangkaian

kegiatan input, satu set output peristiwa, satu set negara, suatu keadaan

awal dan satu set transitions. Berdasarkan contoh dari FSM, yang

ditunjukkan pada Gambar 2.2, input peristiwa (a, b) dan output peristiwa

(u, v). Setiap elips mewakili sebuah state dan setiap arah panah mewakili

transisi. Arah panah tanpa state sumber menunjuk ke keadaan awal state.

9

Gambar 2.2 Bentuk FSM dasar

Setiap transisi menghubungkan state sumber dengan state tujuan,

dan diberi label dengan baik "guard / action" atau "guard" (yaitu action

dihilangkan). Guard adalah ekspresi boolean atas peristiwa input.

Dievaluasi dari suatu peristiwa yaitu benar atau salah dan hadir atau tidak

pada saat event dilaksanakan. Operator ¬, dan pada guard,

disesuaikan dengan operator boolean “tidak”, “atau” serta “dan”.

Dalam salah satu reaksi dari FSM, akan hadir suatu bagian dari

peristiwa input. Satu transisi ini dipicu ketika guard adalah benar, di

bawah masukan event. Suatu FSM akan meneruskan ke tujuan jika dipicu

keadaan transisi, dan meneruskan masing output events dalam tindakan

yang dipicu transisi. Jika action dihilangkan, maka tidak ada event yang

output diteruskan. Action hanya berisi daftar output event, dan dengan

demikian output event yang lain akan absen [4].

Gambar 2.3 Contoh FSM sederhana dalam game

10

Dalam gambar 2.3 dicontohkan model FSM dalam game yang

dimulai dari Idle state kemudian saat musuh terlihat maka agent akan

menyerangnya. Ketika health atau kesehatun turun masuk pada state

retread dan menjauh dari musuh sampai musuh tidak menemukannya.

Dari contoh tersebut dapat disimpulkan bahwa untuk merancang perilaku

agent sangat mudah dengan menggunakan FSM [10].

2.5 Fuzzy Finite State Machine/ Fuzzy State Machine

Basic FSM yang tersusun lebih sederhana dan berurutan, memiliki

banyak kelemahan karena sistem yang paling praktis memiliki jumlah

state dan transisi yang banyak sehingga representasi dan analisis menjadi

sulit. Salah satu solusi untuk masalah ini adalah hirarki. Dalam Hierarchy

FSM, state dapat lebih disempurnakan ke dalam bentuk FSM lain. FSM

lain yang dimaksud disebut FSM slave dan FSM di luar disebut master

dalam suatu komposisi seperti diilustrasikan pada Gambar 2.4.

Gambar 2.4 Hierarchy Finite State Machine

Pada level dasar, hierarchy tidak menambahkan model komputasi,

juga tidak mengurangi jumlah state. Tetapi dapat secara signifikan

mengurangi jumlah transisi sehingga membuat FSM menjadi lebih intuitif

11

dan mudah dimengerti. Transisi dari α dan β dalam Gambar 2.4 adalah

berupa compact notation yang sederhana untuk transisi dari γ ke α dan β

ke δ. Ruang state pada basic FSM bernilai Q = {α,γ,δ}.

Alfabet input untuk slave FSM adalah himpunan bagian dari

masukan alfabet dari FSM master. Sinyal input untuk slave FSM adalah

subset input sinyal untuk master. Demikian pula, output sinyal dari slave

FSM adalah subset dari sinyal output dari master.

Hirarki semantik menentukan bagaimana FSM slave bereaksi terhadap

reaksi FSM master. Semantik mendefinisikan satu reaksi dari hierarchy

FSM adalah sebagai berikut: jika state tersebut tidak didefinisikan lagi,

hierarchy FSM akan berperilaku seperti pada basic FSM. Jika kondisi

state adalah terdefinikan, maka yang pertama sesuai adalah slave FSM,

dan kemudian FSM master. Jadi, ketika dua transisi dipicu, maka dua

tindakan yang diambil, dimana keedua tindakan tersebut harus entah

digabung menjadi satu.

Trace dari aksi hierarchy FSM yang mungkin terjadi dapat dilihat

pada gambar 2.5. Dalam contoh gambar 2.5 dijelaskan juga bahwa dalam

state β dan substate γ dan sinyal input a dalam kondisi present, aksi yang

memicu slave FSM adalah “v” dan aksi yang memicu master FSM adalah

“u”. Output dari hierarchy FSM tersebut adalah uv, dimana output sinyal

uv dalam kondisi present [2].

Gambar 2.5 Trace dari Hierarchy FSM

12

Pada gambar. 2.4, hierarchy FSM hanya terdiri dari dua tingkatan.

Namun, slave FSM dapat benar-benar menjadi hierarchy FSM yang lain.

Dengan hierarchy FSM benar-benar mendorong setiap FSM yang ada di

dalamnya. Modularitas yang merupakan ciri FSM tidak mengurangi

kompleksitas dari desain, yang pada gilirannya mempermudah proses

pembuatannya [1].

13

2.6 Torque Game Engine

Pada penelitian ini HFSM diaplikasikan pada game ber-genre FPS

dimana NPC musuh akan berinteraksi langsung dengan karakter pemain.

Game engine yang digunakan adalah Torque Game Engine 1.4, yang

merupakan Game Engine 3D. Bahasa pemrograman yang digunakan

adalah bahasa C++, dimana setiap elemen game terbagi ke dalam class-

class. Fitur-fitur yang dimiliki TGE antara lain [6]:

Dapat digunakan untuk single player maupun multiplayer game. TGE

berbasis pada standard arsitektur client-server.

Raster base graphic.

Even driven simulation. TGE dilengkapi dengan event-driven

simulator yang dibagi menjadi bagian server dan bagian client.

TGE menggunakan memori dan bandwidth jaringan dengan efisien.

Board functionality. TGE dilengkapi dengan method dan function

yang disarankan untuk event standard game seperti penghitungan,

action, dan respon.

Fully Integrated. TGE memasukkan semua kode program untuk

proses render/play/capture semua elemen game, termasuk GUI, sound,

3D Graphic, dan bentuk I/O yang lain.

Objek 3 D pada Torque Game Engine (TGE) berekstensi .dts yang

dapat dibuat menggunakan software 3DS Max dengan DTS Exsporter di

dalamnya [7].

14

Halaman sengaja dikosongkan.

15

BAB III

METODE PENELITIAN

Pada bab ini akan dijelaskan parameter, ide, dan langkah-langkah yang

digunakan pada saat penelitian serta gambar diagram alir tentang langkah

penelitian dan dicantunkan pula jadwal kegiatan penelitian mulai dari tahap

persiapan penelitian sampai dengan tahap penyusunan tesis.

3.1 Parameter Penelitian

Pada penelitian tentang gerak menghindar pada NPC pada game

FPS ini menggunakan beberapa parameter yang digunakan diantaranya

adalah :

Object yang diteliti adalah strategi gerak menghindar NPC dari

serangan musuh (player)

Metode yang digunakan mendesain perilaku NPC adalah

menggunakan Fuzzy Finite State Machine

Penelitian dilakukan untuk perilaku NPC game ber-genre FPS

menggunakan Torque Game Engine

3.2 Ide Penelitian

Secara sederhana ide awal penelitian ini dapat digambarkan

dalam diagram penelitian:

16

Gambar 3.1 Gambar diagram penelitian

Gambar 3.1 menjelaskan bahwa pada penelitian ini secara

berurutan akan dipelajari dan direncanakan skenario game, strategi NPC

game, FuSM, serta implementasi pada Torque Game Engine. Strategi yang

dimaksud hanya meliputi strategi menghindar dari serangan musuh

(player) dengan tujuan akhir untuk mengalahkan musuh (player).

Ada beberapa strategi gerak menghindar yang akan dikerjakan

dalam penelitian ini, antara lain:

Gerak hindar NPC mengarah kepada rekan se-tim yang paling dekat,

dengan tujuan mendapatkan dukungan untuk mengalahkan player.

gambar 3.2.

Gerak menghindar NPC dengan mendekati atau bersembunyi di obyek

atau bangunan, dengan tujuan untuk melakukan checking kondisi

NPC, untuk kemudian menentukan apakan menyerang player atau

diam, gambar 3.3.

17

(a)

(b)

Gambar 3.2 Strategi gerak menghindar NPC dengan cara mendekati tim

terdekat

(a) NPC bertemu musuh

18

(b) NPC menghindar mendekati tim terdekat

(a)

(b)

Gambar 3.3 Strategi gerak menghindar NPC dengan cara bersembunyi

(a) NPC bertemu musuh

19

(b) NPC menghindar mendekati objek diam

Ada beberapa parameter yang menjadi pertimbangan NPC sebelum

melakukan strategi menghindar, diantaranya adalah sebagai berikut:

Jumlah musuh yang dihadapi

Kesehatan musuh

Kesehatan NPC

Jarak musuh

Amunisi

Apabila musuh yang dihadapi lebih dari satu maka keputusannya adalah

menghindar. Ketika musuh yang dihadapi hanya satu maka NPC harus

membandingkan level kesehatannya terhadap musuh, jika lebih rendah

dari musuh maka keputusannya adalah menghindar. Jika jarak musuh

masuk jarak tembak, maka NPC harus melakukan checking amunisi dan

level kesehatan. Hal tersebut seperti di digambarkan dengan HFSM pada

gambar 3.4.

Parameter yang menentukan arah menghindar NPC adalah sebagai

berikut:

Posisi tim terdekat

Posisi perlindungan terdekat

Mencari posisi tim terdekat tujuannya adalah untuk mendapatkan

dukungan serangan. Jika posisi tim jauh, maka alternatif kedua adalah

mencari posisi objek yang bisa dipergunakan untuk menghindar seperti

batu, atau ruman dan bangunan dijadikan tempat perlindungan sementara.

Tetapi jika tidak ditemukan keduanya, maka alternatif terakhir adalah

menyerang musuh.

20

Gambar 3.4 HFSM perilaku menghindar NPC

21

3.3 Langkah Penelitian

Langkah penelitian yang akan dilakukan digambarkan

dalam diagram alir berikut ini:

Gambar 3.5 Diagram alir penelitian

22

3.4 Rencana dan Jadwal Kegiatan Penelitian

No. Kegiatan Bulan 1 Bulan 2 Bulan 3 Bulan 41. Penyusunan

proposal

2. Desain alur penelitian

3. Uji coba (penelitian pendahuluan)

4. Pengambilan data

5. Pengolahan data

6. Analisis hasil

7. Penyusunan laporan tesis

23

DAFTAR PUSTAKA

[1] Verification of FSM using Attributes Definition of NPCs Models, Chong-Han Kim, seung-Moon Jeong, Gi-Taek Hur, Byung-Gi Kim, IJCSNS International Journal of Computer Science and Network Society, Vol.6 No 7a, July 2006

[1] A Visual Programming Language for Hierarchical Finite State Machines in Game AI, Jørgen Havsberg Seland, 2007

[2] Hierarchical Finite State Machines with Multiple Concurrency ModelsAlain Girault, Bilung Lee, and Edward A. Lee, Fellow, IEEE 1999

[3] Hunting Down the Player in a Convincing Manner, Alex Mclean, Pivotal Games, 2002

[4] Interaction of Finite State Machines and Concurrency Models, Bilung Lee and Edward A. Lee, Proceeding of Thirty Second Annual Asilomar Conference on Signals, Systems, and Computers, Paci?c Grove, California, 1998

[5] Steering Behaviors For Autonomous Characters, Craig W. Reynolds, Sony Computer Entertainment America

[6] The Game Programmer's Guide to Torque, Edward F. maurina, A Garage Games Book 2006

[7] Torque Game Engine Primer, David J. Sushil, 2007

[8] Evolving Reactive NPCs for the Real-Time Simulation Game, JinHyuk Hong dan Sung-Bae Cho, CIG, 2005

[9] Creating a Multi-Purpose First Person Shooter Bot with Reinforcement Learning, Michelle McPartland and Marcus Gallagher, IEEE 2008.

[10] Agents for Massive On-line Strategy Turn Based Games Lu´ıs Miguel Landeiro Ribeiro,2007

[11] Schawab Brian , AI Game Engine Programming,1st edition, Charles River Media, INC, New York, 2004

24