Jurnal Teknik Industri dan Sistem Vol. 2, No 2, pp 88-96 Summer 2008 Efisien Simulasi sebuah Turnamen Knockout Acak Sheldon M. Ross 1 *, Samim Ghamami2 Epstein Departemen Teknik Industri dan Sistem, Universitas California Selatan, Los Angeles, CA, USA smross@usc.edu ghamami@usc.edu ABSTRAK Kami menganggap masalah menggunakan simulasi untuk efisien mengestimasi probabilitas untuk menang peserta dalam turnamen knockout umum acak. Kedua estimator diajukan kami, salah satu didasarkan pada gagasan tentang "kelangsungan hidup diamati" dan kondisi harapan lain berdasarkan dan pasca-stratifikasi, sangat efektif dalam hal pengurangan varians jika dibandingkan dengan baku simulasi estimator. Untuk kasus khusus dari turnamen KO acak klasik 2n-player, dimana setiap selamat dari babak sebelumnya bermain di babak saat ini, yang kedua bersyarat harapan estimator berbasis diperkenalkan. Pada akhirnya, kita membandingkan simulasi diusulkan kami estimator berdasarkan contoh numerik dan dalam hal pengurangan varians dan waktu untuk menyelesaikan percobaan simulasi. Berdasarkan studi empiris kami, metode "kata kelangsungan hidup "adalah metode yang paling efisien. 1. PENDAHULUAN DAN RINGKASAN Memilih satu pemenang dari satu set banyak kontestan adalah tema umum dalam banyak olahraga acara. Turnamen struktur yang bervariasi yang digunakan untuk memilih pemenang dalam situasi di mana pemain dapat dibandingkan berpasangan. Dalam turnamen KO pemain bersaing head-to-head di cocok; dengan pecundang yang dikeluarkan dari turnamen. Dalam turnamen KO acak di awal setiap pemain putaran dipasangkan secara acak. Sebuah turnamen yang melibatkan pemain KO umum N dispesifikasikan oleh parameter integer positif n, m1, ..., mn-1, mn = 1, memuaskan Σ Σ = - = = - ≤ - = - n j

j i j i j m N m N m i n 1 1 1 1 2, 1 ,..., 1 * Sesuai Penulis Efisien Simulasi sebuah Turnamen Knockout Random 89 Interpretasi parameter ini adalah bahwa turnamen ini terdiri dari n putaran, dengan putaran i melibatkan cocok mi. Biarkan Σ- = = - 1 1 k j kjr m N adalah jumlah pemain yang tersisa pada awal putaran k. Kami mengatakan bahwa turnamen knockout adalah turnamen KO acak jika para pemain yang terlibat dalam putaran i adalah yang dipilih secara acak, dan kemudian secara acak dipasangkan, dari Σ- = - 1 1 i j j m N pemain yang belum telah dieliminasi dalam salah satu putaran sebelumnya. Kami berasumsi bahwa hasil pertandingan antara dua pemain dalam setiap putaran hanya bergantung pada pasangan dan bukan pada putaran atau putaran sebelumnya, dan kami biarkan PIJ = 1-PJI menunjukkan probabilitas bahwa saya pemain mengalahkan pemain j jika mereka dipasangkan. Pemain yang memenangkan pertandingan di putaran n disebut pemenang turnamen. Membiarkan pi menjadi probabilitas bahwa saya pemain adalah pemenang turnamen i = 1,. . . , N, kami tertarik untuk menggunakan simulasi untuk efisien estimasi Pi ini Pada bagian 2 kita mengusulkan suatu prosedur simulasi efisien didasarkan pada gagasan "kata kelangsungan hidup ". Pada bagian 3 kita menggabungkan ekspektasi bersyarat dan sampling stratifikasi untuk pasca-lain

pendekatan simulasi. Pada bagian 4, kita mempertimbangkan "knockout turnamen klasik" dimana N = 2n dan k putaran terdiri dari pertandingan 2n-k, dan menyajikan estimator harapan kedua bersyarat. Dua contoh numerik dipertimbangkan dalam bagian 5. Pada contoh ini, cukup varians pengurangan atas estimator simulasi baku diperoleh ketika menggunakan salah satu metode kita disarankan. Waktu untuk menyelesaikan percobaan simulasi juga dipertimbangkan untuk setiap metode. Mengingat pengurangan varians kriteria secara paralel dengan waktu untuk memperoleh hasil simulasi, kita menyimpulkan bahwa metode bertahan hidup diamati adalah yang terbaik. 2. METODE 1: kelangsungan hidup DITINJAU DAN ESTIMATOR PRODUK Kita bisa model evolusi dari turnamen knockout acak dari setiap putaran ke yang berikutnya oleh transisi rantai Markov yang menyatakan adalah set pemain hidup pada awal setiap bulat. Biarkan Ni adalah jumlah putaran yang saya pemain bertahan (yaitu, untuk 0 ≤ n <j, Ni = j jika i pemain kalah di babak j +1). Masalah kita mengestimasi Pi = P (Ni> n -1) sebenarnya kasus khusus dari masalah yang lebih umum menggunakan simulasi untuk memperkirakan distribusi jumlah transisi dibutuhkan rantai Markov untuk memasukkan set tertentu dari negara. Secara khusus, Ni +1 adalah jumlah transisi yang dibutuhkan rantai Markov yang negara adalah kumpulan pemain bertahan hidup di awal setiap putaran untuk memasuki keadaan yang tidak mengandung i. Dalam Ross dan Schechner (1985) simulasi estimator berdasarkan bahaya diamati dikembangkan untuk secara efisien memperkirakan pertama distribusi bagian untuk satu perangkat negara dari rantai Markov. Metode kami 1 menggunakan estimator dikembangkan di Ross dan Schechner (1985). Setiap menjalankan simulasi melibatkan simulasi turnamen sampai n -1 putaran. (Tidak ada perlu mensimulasikan n bulat). Perhatikan bahwa Π = => - => - ≥ - n i k i N P P n P k N N k 1 (1) (1 1) 90 Ross dan Ghamami Perhatikan bahwa (i) = P (N> k-1N ≥ k -1) Kii adalah tingkat kelangsungan hidup nilai diskrit mewakili probabilitas bahwa saya pemain bertahan k bulat mengingat dia telah bertahan sampai babak k. Menggunakan simulasi, kami menggambarkan bagaimana memperkirakan Π => - n = i k k P n N s i 1 (1) (). Keterangan. Menggunakan i yang akan bermain dalam putaran 1 dengan 2m1 probabilitas / N dan, jika dia tidak bermain, bahwa nya lawan sama mungkin salah satu-1 pemain lain N, kita mendapati bahwa

Σ ≠ = - - l i PLI N N s (i) 1 2m1 (1) 1 Biarkan j i N adalah jumlah putaran yang saya bertahan dalam jangka simulasi j. Kami mendefinisikan "kata kelangsungan hidup "di j simulasi dijalankan sebagai titik estimasi sk (i), k = 1, ..., n, sebagai berikut. Membiarkan () (1) 1 j k j i jk P i N k - λ => - β dimana j β k adalah himpunan simulasi pemain hadir pada awal putaran k. Jadi, jika j i N adalah jumlah putaran yang saya bertahan dalam jangka simulasi j, maka ⎪ ⎩ ⎪ ⎨ ⎧ <- ≥ - - - = Σ ∈ ≠ 0 1 1 (1) 2 1 (), jika k N P jika N k r r m i j i j l li i k k k j

k j λ β k Perhatikan bahwa) (i jk λ merupakan penaksir yang tidak bias dari sk (i) asalkan N k ≥ j -1 i. Misalkan kita membuat total simulasi r berjalan. Membiarkan () 1 () / {#: 1} = Σ ≥ - = i N k j j i r j j λk λk Kemudian (i) k λ adalah perkiraan s sintasan nilai diskrit (i) = P (N> k-1N ≥ k -1) Kii dan Π = n KKI 1 λ () adalah perkiraan yang konsisten dari Π => - = n IKK PN ns 1 (1) sebagai r, jumlah simulasi berjalan, pergi ke infinity. Keterangan. Misalkan r melakukan simulasi berjalan, kami belum bisa mendapatkan perkiraan titik sm (i), ..., sn (i). Dengan kata lain, mempertimbangkan situasi di mana N m <j-1 i untuk semua j = 1, .., r. Untuk memperkirakan P (N> n -1) i berdasarkan estimator tersebut sangat berguna untuk menurunkan batas analitik untuk sk (i). Pertimbangkan set probabilitas untuk i player, {PIJ: j ≠ i, j = 1, 2 ,..., N}, dan menyuruh mereka sehingga 1 2 1 ... - ≤ ≤ ≤ i. IIN P P P. Kemudian, batas bawah dan atas untuk sk (i) adalah sebagai berikut Efisien Simulasi sebuah Turnamen Knockout Random 91 Σ Σ - = - + - = - ≤ ≤ - - - 1 1 1 1 (1) 2 () 1 (1) 2 1 N j N r I i k k

k k r j Aku i k k k k j k j P r r m P s i r r m Aproksimasi Var (Π = n k 1 k λ) Dalam Ross dan Schechner (1985) metode dua langkah untuk perkiraan Var (Π = n k 1 k λ) dikembangkan. Pertama Var (k λ), k = 1, ..., n didekati, dan kemudian menggunakan metode Delta dan menggabungkan perkiraan, perkiraan Var (Π = n k 1 k λ) diperoleh. (Lihat Ross dan Schechner, 1985 untuk rincian.) 3. METODE 2: PERKIRAAN BERSYARAT DAN stratifikasi PASCA Sampai saya pemain kehilangan pertandingan, saya pemain ditunjuk sebagai pengganti untuk i. Jika seorang pemain mengalahkan saya di beberapa bulat, maka pada awal babak berikutnya yang menjadi pemain pengganti untuk i. Setiap pemain pemukulan pengganti untuk saya saat ronde mengambil alih sebagai pengganti untuk saya pada awal berikutnya bulat. Dengan cara ini, pada awal setiap putaran tepat salah satu pemain yang tersisa adalah pengganti untuk i. Biarkan Ti adalah jumlah pertandingan dimainkan oleh pemain sementara mereka adalah pengganti i. Misalkan Ti = t. Biarkan Fi, 1 menunjukkan pemain pertama saya bermain dalam pertandingan, marilah Wi, 1 menjadi pemenang yang cocok. Biarkan Fi, 2 menyatakan pemain berikutnya untuk bermain Wi, 1 dalam pertandingan, marilah Wi, 2 menjadi pemenang pertandingan itu. Membiarkan Fi, 3 menyatakan pemain berikutnya untuk bermain Wi, 2 dalam pertandingan, marilah Wi, 3 menjadi pemenang pertandingan itu, dan seterusnya sampai untuk Fi, t. Akibatnya, dalam rangka untuk memenangkan turnamen ini, saya pemain harus berturut-turut mengalahkan semua pemain Fi, j, j = 1, ..., t.

Sekarang, mari j n r m p j j j, 1 ,..., 2 = = menunjukkan proporsi para pemain yang telah selamat dari j-1 putaran pertama yang bermain di putaran j. Juga, biarkan Ij, j = 1, ..., n, bisa mandiri Bernoulli variabel acak sehingga P Saya p n j j j (= 1) =, = 1 ,..., Sangat mudah untuk melihat bahwa Σ = = = = n j i P j T k P Saya k 1 () () Untuk menghitung probabilitas sebelumnya, biarkan P k P k aku k s n s s j s j ≤ ≤ = = Σ = () (),, 1 92 Ross dan Ghamami Penyejuk pada Apakah memberi itu () (1) (1) () 1 1 P kp kp P P ksss-ss-= - + - Dimulai dengan P1 (1) = p1, P1 (0) = 1-p1, kita secara rekursif dapat memecahkan sebelumnya sampai kita memiliki jumlah Pn (k), k = 0 ,..., n. Biarkan II menjadi indikator dari peristiwa yang saya memenangkan turnamen. Karena Π = ⎢ = = t j i i t i E Fi j Aku t T F F P 1 , 1,, [, ,...,], kita bisa menggunakan Π = t Fi ji j P 1,, sebagai estimator ekspektasi bersyarat dari Pi. Namun, karena ada akan muncul sebagai korelasi negatif yang kuat antara II dan Ti, seorang estimator stratifikasi posting harus memiliki varians lebih kecil. Artinya, menulis

Σ = = ⎢ = n k i P i n E aku T k P k 1 [] () dan kemudian, setelah menyelesaikan simulasi r berjalan, E memperkirakan [IT k] ii ⎢ = oleh rata-rata jumlah Π = i i j Tj Pi F 1,, diperoleh pada mereka berjalan memiliki Ti = k. Hal ini dapat ditunjukkan (lihat Glasserman, 2004, hal 235) bahwa jumlah berjalan simulasi pergi ke tak terhingga varians dari estimator pasca-stratified adalah dari urutan yang sama besarnya seperti yang dilakukan oleh estimator berlapis yang tidak proporsi Pn (k) anak berjalan tergantung pada Ti = k. Kami juga dapat memperkirakan varians dari estimator E [TI k] ii ⎢ = dengan varians sampel dari nilai Π = i i j Tj Pi F 1,, setelah Ti = k dibagi dengan jumlah yang dihasilkan seperti nilai. Keterangan. Untuk nilai tetap i, mungkin ada nilai k yang ada berjalan untuk yang Ti = k. Jika nilai Pn (k) cukup kecil, kita bisa menggunakan 0 sebagai estimasi E [TI k] P (k) iin ⎢ =. Namun, jika ada cukup nilai-nilai seperti k, stratifikasi posting sebelumnya tidak akan bekerja untuk estimasi Pi. Dalam hal ini, kami menyarankan menggunakan data simulasi untuk mengestimasi Pi dengan menggunakan bersyarat estimator Π harapan = i i j Tj Pi F 1,, dalam hubungannya dengan menggunakan Ti sebagai variabel kontrol dengan rata Σ dikenal = = n i j E p T j 1 []. (Tentu saja, kita masih akan menggunakan prosedur stratifikasi pasca untuk memperkirakan nilai Pj yang kesulitan sebelumnya tidak muncul.) Contoh. Untuk mendapatkan gambaran tentang jumlah pengurangan varians hasil metode sebelumnya, misalkan kita ingin memperkirakan Pi untuk i ditentukan ketika TIJ = α, j ≠ i. Sekarang, dengan Ij, j = 1 ,..., n, seperti sebelumnya didefinisikan [Ti] i P E = α Efisien Simulasi sebuah Turnamen Knockout Random 93

Π Π Π = = = = - - = + - = = Σ = n j j j n j j j n j Aku Aku m r p p E E j n j j 1 1 1 (1 (1) 2) (1) [] [1] α α α α Penaksir harapan lurus bersyarat mengurangi, dalam hal ini, untuk estimator α Ti. Nya varians Π = = - - - = - = - n j j j i i T

i T T m r P E P Var E P i i 1 2 2 2 2 2 2 (1 (1) 2) [()] () [()] α α α α Misalnya, ketika N = 5, mj ≡ 1, α = 1 / 2, yang sebelumnya memberikan yang ) (1 5) .015 2 (6) ((1 2)) (1 3 2 4 1 - ≈ - - = Π = j T j Var i sedangkan varians dari estimator simulasi baku adalah Pi (1-Pi) = 0,16. Kedua stratifikasi bersyarat harapan estimator, estimator bagian sebelumnya berdasarkan pada probabilitas kelangsungan hidup memiliki 0 varians ketika PIJ ≡ α. 4. KLASIK KO TURNAMEN Dalam turnamen KO klasik acak N = 2n, dan ada 2n-k pertandingan di babak k dari turnamen. Dalam melakukan simulasi lari kita dapat menentukan pasangan dalam setiap putaran dengan menghasilkan sebuah permutasi n tunggal acak R R1 2 ,..., 1, ..., 2n yang akan menentukan cara untuk menetapkan pemain untuk posisi awal yang diberi nomor dari 1 sampai 2n. Pertandingan di babak pertama ditentukan oleh pasangan pemain ditugaskan untuk posisi mulai berdekatan. Di babak k, berdekatan pemenang sebelumnya putaran dipasangkan, k = 2 ,..., n. Perhatikan, misalnya, sebuah turnamen delapan-pemain KO acak dengan, [1, 2, 3, 4, 5, 6, 7, 8], sebagai permutasi acak yang dihasilkan. Di babak pertama, pemain 1 memutar melawan pemain 2, 3 pemain bermain melawan pemain 4, 5 pemain bermain melawan pemain 6, dan pemutar 7 memutar

melawan pemain 8. Dalam putaran kedua, pemenang pemain 1 dan 2 memainkan melawan pemenang pemain 3 dan 4, pemenang pemain 5 dan 6 memutar melawan pemenang pemain 7 dan 8. Dalam terakhir putaran yang selamat dari permainan putaran kedua terhadap satu sama lain. Sebuah prosedur rekursif telah diperkenalkan pada Edwards (1996) untuk menghitung probabilitas untuk menang KO acak klasik turnamen ketika posisi pemain 'mulai dikenal dan dari saat itu pasangan ini 94 Ross dan Ghamami ditentukan seperti diuraikan di atas. Dengan demikian, mengingat permutasi R acak, kita dapat menghitung menang probabilitas bersyarat, Pi, i = 1, ..., 2n. Jadi, dalam hal ini, kami memiliki kedua bersyarat harapan estimator. Keterangan. Bila dibandingkan dengan metode 2, penaksir harapan kedua kondisional diturunkan dengan pengkondisian informasi kurang dan sehingga lebih baik untuk metode 2 dalam hal varian pengurangan kriteria. 5. CONTOH NUMERIK Pertimbangkan sebuah turnamen KO dengan 8 pemain. Hal ini umum untuk mewakili probabilitas pemain ', PIJ, i = 1,2, ..., 8, j = 1,2, ..., 8, dalam sebuah matriks yang biasanya disebut "preferensi matriks". Pertimbangkan matriks preferensi berikut untuk turnamen 8-pemain KO acak: ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ - - - - - - - - .4 .5 .7 .4 .5 .4 .7 .2 .5 .5 .9 .6 .4 .3 .3 .2 .1 .4 .2 .6 .6 .6 .3 .7 .3 .8 .4 .5 .5 .4 .8 .7 .6 .1 .6 .7 .6 .2 .3 .9 .5 .3 .8 .4 .6 .7 .8 .5 .5 .2 .3 .5 .4 .7 .8 .6 Kami mempertimbangkan kedua sebuah turnamen KO satu-pertandingan-per-putaran acak (N n = 8, = 7, mi ≡ 1), dan

8-pemain klasik turnamen knockout acak. Menggunakan 105 menjalankan simulasi, kami memperkirakan untuk Pi kedua jenis turnamen. Hasilnya. Yang pertama setelah tiga tabel mengacu pada hasil simulasi dari satu pertandingan-putaran per- KO turnamen acak, dan tiga terakhir tabel merujuk ke knockout acak klasik turnamen. (Perhatikan bahwa dalam tabel diberikan di bawah ini, nomor telepon di bawah setiap Pi menunjukkan perkiraan simulasi berhubungan dengan pemain i). Ingat bahwa metode 1 adalah metode kelangsungan hidup diamati, dan metode 2 mengacu pada harapan bersyarat dikombinasikan dengan pasca-stratifikasi. Dalam simulasi klasik turnamen KO metode 3 mengacu pada estimator harapan kedua bersyarat diperkenalkan di bagian 4. Berdasarkan contoh numerik kami, metode 2 di turnamen satu-pertandingan-per-bulat dan kedua metode 2 dan 3 di turnamen knockout klasik lebih baik daripada metode yang diamati kelangsungan hidup dalam hal pengurangan varians. Namun, di samping pengurangan varians, faktor waktu juga telah diperhitungkan dengan mengukur jumlah waktu yang diperlukan untuk MATLAB lengkap eksperimen simulasi kami. Sangat menarik untuk mengamati bahwa penaksir kami berdasarkan gagasan kelangsungan hidup diamati membutuhkan waktu lebih sedikit dibandingkan dengan ekspektasi bersyarat berbasis estimator dalam kedua jenis turnamen. Hal ini dapat dijelaskan dengan mencatat bahwa ketika estimator simulasi komputasi berdasarkan gagasan ekspektasi bersyarat diperkenalkan pada ini kertas, ada operasi perkalian yang terlibat dalam menjalankan simulasi tunggal. Sebaliknya, dalam metode 1, titik estimasi sk (i) yang pertama dikumpulkan untuk k = 1,2 ,..., n lebih dari 105 berjalan simulasi, dan kemudian rata-rata. Pi kemudian diperkirakan oleh produk dari rata-rata pada akhir simulasi percobaan. Berdasarkan nilai yang diperoleh dalam contoh numerik kita, metode 1 adalah yang paling efisien simulasi prosedur untuk mengestimasi Pi di turnamen knockout acak. Efisien Simulasi sebuah Turnamen Knockout Random 95 Satu Pertandingan Per Putaran Knockout Tournament Acak Tabel 1. Perkiraan Pi P1 P2 P3 P4 P5 P6 P7 P8 Simulasi Baku 0,1097 0,2129 0,1132 0,1388 0,1195 0,0481 0,1208 0,1369 Metode 1 0,1112 0,2112 0,1141 0,1394 0,1184 0,0483 0,1207 0,1365 Metode 2 0,1113 0,2098 0,1131 0,1394 0,1183 0,0483 0,1194 0,1370 Tabel 2. Varians dari estimator berdasarkan 105 berjalan simulasi (skala 10-9) P1 P2 P3 P4 P5 P6 P7 P8 Simulasi Baku 977 1676 1004 1195 1052 458 1062 1182 Metode 1 448,45 122,2 182,1 208,43 104 65,67 130,08 52,31 Metode 2 59 111 63 84 55 21 68 62 Tabel 3. Berlalu waktu (dalam detik)

Baku Simulasi Metode 1 Metode 2 184.9 101.926 7362 Klasik Knockout Tournament Acak Tabel 4. Perkiraan Pi P1 P2 P3 P4 P5 P6 P7 P8 Simulasi Baku 0,1083 0,2249 0,1107 0,1422 0,1183 0,0367 0,1209 0,138 Metode 1 0,1078 0,2245 0,1123 0,1439 0,1174 0,0363 0,1188 0,1384 Metode 2 .1082 .2244 .1124 .1437 .118 .0366 .1192 .1385 Metode 3 0,108 0,2241 0,1122 0,1437 0,1176 0,0365 0,1193 0,1387 Tabel 5. Varians dari estimator berdasarkan 105 berjalan simulasi (skala 10-9) P1 P2 P3 P4 P5 P6 P7 P8 Simulasi Baku 966 1743 985 1220 1043 353 1063 1189 Metode 1 107 81 114 130 78 38 117 42 Metode 2 51 60 68 92 40 10 51 21 Metode 3 14 23 22 31 13 3 16 9 Tabel 6. Berlalu waktu (dalam detik) Baku Simulasi Metode 1 Metode 2 Metode 3 9,1791 13,2288 2580 .4 3475,3 Keterangan. Ingat dalam metode 1, kami menghitung k s λ 'dari simulasi r berjalan untuk mendapatkan satu titik perkiraan Pi. Kami menggunakan metode Ross dan Schechner (1985) untuk memperkirakan varians dari estimator. Memanggil ini estimator variansi internal, kami meneliti akurasi dengan cara membandingkannya dengan sebuah varian eksternal estimator Var (ext) berdasarkan percobaan-meta dari 1000 independen percobaan. 96 Ross dan Ghamami Dari contoh numerik tersebut, kami memperoleh untuk turnamen klasik yang Var (int) = 120 × 10-9 dan Var (ext) = 118 × 10-9, memimpin kita untuk menyimpulkan bahwa varians internal estimator akurat. DAFTAR PUSTAKA [1] Chung F.R.D., Hwang F.K. (1978), Apakah pemain kuat memenangkan turnamen KO lebih; J.? Am. Statis. Ass. 73; 593-596. [2] David H.A. (1959), Turnamen dan perbandingan berpasangan; Biometrika 46; 139-149. [3] Edwards C.T. (1996), Double-eliminasi turnamen: Menghitung dan menghitung; Amer. Statistik 50; 27-33. [4] Glasserman P. (2004), Monte Carlo Metode dalam Rekayasa Keuangan; Springer. [5] Glenn WA (1960), A perbandingan efektivitas turnamen; Biometrika 47; 253 - 262. [6] Horen J., Riezman R. (1985), Membandingkan menarik untuk turnamen eliminasi tunggal; Riset Operasi 33; 249-262. [7] Hwang F.K. (1982), New konsep dalam pembenihan turnamen knockout; Am. Math. Bulanan

107; 140-150. [8] Marchand E. (2002), Pada perbandingan antara standar turnamen dan sistem gugur; The Statistik 51 (2); 169-178. [9] Ross dan Schechner (1985) Ross SM, Schechner Z. (1985), Menggunakan Simulasi Perkiraan Distribusi Passage Pertama; Management Science 31 (2). [10] Ross S.M. (2006), SIMULASI, ed keempat; Academic Press.. [11] Searls DT (1963), Pada probabilitas untuk menang dengan prosedur turnamen yang berbeda; J. Amer. Stat. Assoc.58; 1064-1081.