PERSPEKTIF DAN PANDANGAN GLOBAL - na.theiia.org · Akuntabilitas, Tanggungjawab, dan Pengawasan ... mencoba mengevaluasi strategi AI organisasi, Audit Internal harus menentukan strateginya

PERSPEKTIF DAN PANDANGAN GLOBAL Kerangka Audit Kecerdasan Buatan

(Artificial Intelligence) - IIA

Aplikasi Praktis, Bagian A

Edisi Khusus

Global Perspectives: Artificial Intelligence II

globaliia.org


1 globaliia.org

Daftar Isi

Pendahuluan ............................................................................................ 2

Kerangka Audit Kecerdasan Buatan - IIA ................................................ 2

Strategi AI ................................................................................................ 3 Ketahanan Siber ............................................................................... 3 Kompetensi AI ................................................................................... 4

Tata Kelola ............................................................................................... 5 Akuntabilitas, Tanggungjawab, dan Pengawasan ............................ 5

Regulator .................................................................................... 5 Badan Pengarah/ Dewan/ Komite Audit ..................................... 6 Manajemen Senior ..................................................................... 6 Lini Pertahanan Pertama ............................................................ 6 Lini Pertahanan Kedua ............................................................... 7 Lini Pertahanan Ketiga ............................................................... 7 Audit Eksternal............................................................................ 7

Kepatuhan Terhadap Peraturan ....................................................... 8

Arsitektur & Infrastruktur Data ............................................................... 10

Kualitas Data ......................................................................................... 11

Tindakan Perbaikan Facebook .............................................................. 12

Menggunakan Standar untuk Audit AI ................................................... 13

Penutup ................................................................................................. 13 Diterjemahkan dan diselaraskan oleh IIA Indonesia Volunteers:

1. I Made Suandi Putra, MSc, CIA, CRMP

2. I Gde Wiyadnya, CISA, CERG, ERMCP, CA

3. Agnes Maria Widiyanti, CCSA, ERMCP, CA

4. Stephanus Eko Wijikusuma, CISA, CA

Dewan Penasehat

Anggota dari IIA – Malaysia

IIA

Federasi Afrika

IIA – Belanda

Carolyn Saint, CIA, CRMA, CPA –

IIA – Amerika Utara

Terbitan Sebelumnya

www.theiia.org/gpi.

Masukan Pembaca

http://www.theiia.org/gpi

mailto:[email protected]

globaliia.org


2

Catatan: Laporan ini

adalah laporan

kedua dari seri tiga

bagian. Untuk

informasi lebih lanjut,

lihat laporan

pertama: Kecerdasan

Buatan –

Pertimbangan untuk

Profesi Audit Internal

Pendahuluan Sebuah proyek baru Google yang disebut AutoML siap untuk menjadikan kecerdasan

buatan (artificial intelligence / AI) - sebuah istilah luas yang mengacu pada teknologi

yang membuat mesin "cerdas" - ke tingkat yang lain. ML, singkatan dari machine

learning, mengacu pada algoritma komputer yang menganalisa data untuk belajar

melakukan tugas-tugas. AutoML adalah algoritma machine-learning yang belajar untuk

membangun algoritma machine-learning lainnya.

Teknisi Google Jeff Dean menggambarkan proyek ini sebagai cara bagi perusahaan

untuk membangun sistem dengan AI walaupun mereka tidak memiliki keahlian yang

luas. Dia memperkirakan hanya beberapa ribu perusahaan yang memiliki kemampuan

yang tepat untuk membangun AI saat ini, namun banyak organisai lainnya telah

memiliki data yang diperlukan. "Kami ingin bergerak dari ribuan organisasi yang telah

memecahkan masalah dengan machine-learning menjadi jutaan," katanya kepada The

New York Times.

Google adalah salah satu dari banyak organisasi yang berinvestasi dalam penelitian

dan penerapan AI untuk mengotomatisasi, menambah, atau meniru kecerdasan

manusia - analisis manusia dan pengambilan keputusan. Mengikuti jalur penciptaan

yang dibuat oleh ilmu komputer, Microsoft baru-baru ini meluncurkan sebuah alat untuk

membantu pemrogram membangun "jaringan syaraf mendalam", sejenis algoritma

komputer yang menghilangkan "banyak beban berat, "menurut Joseph Sirosh, seorang

wakil presiden di Microsoft, di The Times. Fokus yang diberikan untuk memfasilitasi

inisiatif AI organisai ini memiliki arti bahwa semakin penting bagi profesi audit internal

untuk sepenuhnya bersiap dalam menghadapi AI saat ini.

Terdapat banyak istilah lain yang terkait dengan AI selain mechine-learing, seperti

pembelajaran mendalam, pengenalan gambar, pemrosesan bahasa alami, komputasi

kognitif, penguatan kecerdasan, peningkatan kognitif, peningkatan kecerdasan mesin,

dan peningkatan kecerdasan. AI, seperti yang digunakan dalam Kerangka Audit IIA

(Framework), mencakup semua konsep ini.

Kerangka Audit Kecerdasan Buatan - IIA Seperti yang dijelaskan dalam tulisan sebelumnya, Kecerdasan Buatan - Pertimbangan

untuk Profesi Audit Internal, peran audit internal dalam AI adalah untuk "membantu

organisasi dalam mengevaluasi, memahami, dan mengkomunikasikan tingkatan di

mana kecerdasan buatan akan memiliki dampak (negatif atau positif) terhadap

kemampuan organisasi untuk menciptakan nilai dalam jangka pendek, menengah, atau

panjang. "

Untuk membantu audit internal memenuhi peran ini, auditor internal dapat

memanfaatkan Kerangka Audit IIA dalam memberikan layanan konsultasi, asurans,

atau gabungan konsultasi/ asurans yang terkait AI, yang sesuai dengan organisasi.

Kerangka ini terdiri dari tiga komponen menyeluruh - Strategi AI, Tata Kelola, dan

Faktor Manusia - dan tujuh elemen: Ketahanan Siber; Kompetensi AI; Kualitas Data;

Arsitektur & Infrastruktur Data; Pengukuran Kinerja; Etika; dan Kotak Hitam (The Black

Box)

https://global.theiia.org/knowledge/Public%20Documents/GPI-Artificial-Intelligence.pdf




3 globaliia.org


Audit internal harus mempertimbangkan berbagai penugasan atau pengendalian, dan aktivitas atau prosedur dalam menerapkan Kerangka dan menyediakan jasa konsultasi, asurans atau gabungan jasa konsultasi/assurans dari Audit Internal yang berhubungan dengan kegiatan AI organisasi. Tujuan dan kegiatan atau prosedur yang relevan yang membahas Strategi (elemen Ketahanan Siber dan AI) dan Tata Kelola (elemen Arsitektur & Infrastruktur Data dan Kualitas Data) dari Kerangka ini disediakan dalam laporan ini. Tujuan dan kegiatan atau prosedur yang relevan yang membahas tata kelola (ElemenPengukuran Kinerja) dan elemen Faktor Manusia (Etika dan Kotak Hitam) akan diberikan di Bagian III dari seri tiga bagian ini.

Strategi AI Strategi AI masing-masing organisasi akan unik yang sesuai dengan

pendekatan organisasi untuk memanfaatkan peluang yang diberikan AI.

Strategi AI organisasi mungkin merupakan perluasan keseluruhan strategi

data digital atau strategi big data organisasi. Strategi AI harus secara jelas

mengartikulasikan hasil kegiatan AI yang diinginkan. Strategi AI harus

dikembangkan secara kolaboratif antara pimpinan bisnis organisasi yang

dapat mengartikulasikan hasil kegiatan AI yang diinginkan serta memahami

bagaimana hasil tersebut dapat dihubungkan dengan tujuan organisasi, dan

pemimpin teknologi yang memahami kemampuan, kendala, dan aspirasi

teknologi AI organisasi tersebut. Baik pemimpin bisnis maupun profesional

teknologi juga perlu dilibatkan dalam mengelola pelaksanaan strategi AI.

AI bergantung pada big data, sehingga strategi big data organisasi harus

dikembangkan dan diterapkan sepenuhnya sebelum mempertimbangkan

AI. AI dapat membantu organisasi dalam menangkap pandangan (insight)

dari big data. Seperti yang dijelaskan dalam Panduan Audit Teknologi

Global IIA: Memahami dan Mengaudit Big Data , dengan menggunakan

pandangan tersebut, "organisasi dapat membuat keputusan yang lebih

baik, menargetkan pelanggan baru dengan cara yang kreatif dan berbeda,

memberikan layanan kepada pelanggan yang ada dengan model

penyampaian yang menyasar dan lebih baik, yang unik untuk setiap

individu, dan menawarkan layanan dan kemampuan baru yang benar-

benar membedakan perusahaan dari pesaingnya". Organisasi yang

memanfaatkan peluang AI dapat mengembangkan keunggulan kompetitif

yang dapat bertahan, dan strategi AI harus dikembangkan serta diterapkan

dengan berlandaskan pada ketahanan siber dan kompetensi AI.

Ketahanan Siber

Kemampuan organisasi untuk melawan, bereaksi, dan pulih dari serangan

siber, termasuk penyalahgunaan teknologi AI organisasi yang secara

sengaja dengan cara jahat, menjadi semakin penting (lihat Tindakan

Perbaikan Facebook di halaman 12). Kepala Audit Internal (KAI) harus cepat

membangun kompetensi keamanan siber dalam tim mereka, terus

memantau risiko AI / kemanan siber, dan mengkomunikasikan kepada

manajemen eksekutif dan dewan mengenai tingkat risiko terhadap

organisasi dan upaya untuk mengatasi risiko tersebut.

Sebelum Audit Internal

mencoba mengevaluasi

strategi AI organisasi, Audit

Internal harus menentukan

strateginya sendiri untuk

menangani AI dengan

memasukkannya dalam

penilaian risiko dan

mempertimbangkan apakah

AI harus dimasukkan dalam

rencana audit berbasis risiko.

.

globaliia.org


4

Tujuan dan aktivitas atau

prosedur yang relevan yang

diidentifikasi oleh IIA tidak

mencakup rencana audit yang

telah ditentukan, namun

merupakan contoh yang

berguna dalam

mengidentifikasi tujuan

penugasan atau pengendalian,

dan dalam merencanakan dan

melaksanakan penugasan

audit AI.

Penugasan audit AI harus

sesuai dengan Standar IIA

2200: Perencanaan

Penugasan. Rencana audit AI

dan tujuan dan prosedur

penugasan AI harus selalu

disesuaikan untuk memenuhi

kebutuhan organisasi

Kompetensi AI

Sebagaimana tertulis di dalam Kecerdasan Buatan - Pertimbangan untuk

Profesi Audit Internal, kumpulan professional berbakat di bidang teknologi

dengan keahlian AI dinyatakan jumlahnya sedikit. Bahkan jika proyek

seperti AutoML (lihat halaman 2) berhasil, memungkinkan organisasi untuk

membangun sistem dengan AI walaupun mereka tidak memiliki keahlian

yang luas, organisasi masih perlu mengisi kesenjangan pengetahuan

melalui staf yang memiliki pemahaman mendalam tentang AI walaupun

mereka tidak bisa "melakukan" AI.

Staf perlu:

Mengetahui bagaimana AI bekerja

Memahami risiko dan peluang yang diberikan AI

Menentukan apakah hasil AI seperti yang diharapkan

Mampu merekomendasikan atau melakukan tindakan perbaikan jika diperlukan

Kompetensi semacam itu akan dibutuhkan dalam audit internal dan di

antara lini pertahanan pertama dan kedua. Manajemen senior dan dewan

direksi juga harus mengetahui bagaimana AI bekerja dan memahami risiko

dan peluang yang dihadirkan AI.

Audit Internal harus juga memiliki kemampuan untuk menentukan

apakah penyedia teknologi AI pihak ketiga telah kompeten.

Tujuan dan Aktivitas atau Prosedur yang Relevan dengan Strategi AI

Tujuan Penugasan atau Pengendalian Aktivitas atau Prosedur

Terlibat aktif dalam proyek AI sejak

awal, memberikan saran dan

pandangan yang berkontribusi

terhadap kesuksesan implementasi

Menghadiri pertemuan tim proyek AI

.

Organisasi telah mendefinisikan strategi AI

Tentukan apakah strategi AI telah didokumentasikan dan jika sudah, periksa bahwa

strategi:

Mengartikulasikan hasil kegiatan AI yang diinginkan (tujuan strategis)

Mengartikulasikan pada tataran tinggi bagaimana tujuan AI akan tercapai (rencana strategis)

Memberikan asurans atas kesiapan dan

reaksi terhadap ancaman siber

.

Memanfaatkan kerangka keamanan siber yang mapan, bekerja sama dengan TI

dan pihak-pihak lain untuk memastikan pertahanan dan tanggapan yang efektif

diterapkan.

Adanya kecukupan sumber daya (staf

dan anggaran) untuk menerapkan

strategi AI.

Meninjau proses untuk menentukan kebutuhan staf dan anggaran untuk mendukung AI

Memberikan pertimbangan apakah

strategi telah mempertimbangkan

ancaman dan peluang AI secara

memadai.

Meninjau setiap penilaian mengenai ancaman dan peluang AI yang

tersedia. Jika tidak ada penilaian, berikan rekomendasi untuk melangkah

maju (bagaimana organisasi dapat merencanakan untuk mengidentifikasi

ancaman dan peluang AI).

5 globaliia.org


Tata Kelola Tata Kelola AI merujuk kepada struktur, proses, dan prosedur yang diterapkan

untuk mengarahkan, mengatur, dan mengawasi kegiatan AI dalam organisasi.

Struktur dan formalitas Tata Kelola akan beragam sesuai dengan karakter

spesifik dari organisasi tersebut. Tata Kelola AI:

Membentuk akuntabilitas, tanggungjawab, dan pengawasan. Membantu meyakinkan bahwa pihak yang bertanggungjawab AI memiliki

keterampilan dan keahlian. Membantu meyakinkan bahwa kegiatan AI dan keputusan serta tindakan

terkait AI telah sesuai dengan nilai organisasi, serta tanggungjawab etis, sosial dan hukum.

Kebijakan dan prosedur AI harus dibentuk untuk keseluruhan siklus hidup AI —

dari masukan sampai dengan hasil keluarannya. Kebijakan dan prosedur juga

harus dibentuk untuk pelatihan, pengukuran kinerja dan pelaporan.

Akuntabilitas, Tanggungjawab, dan Pengawasan AI berpotensi untuk menciptakan keuntungan maupun kerugian besar. Pada

akhirnya, para pemangku kepentingan akan tetap meminta Dewan dan

Eksekutif Senior untuk bertanggungjawab atas hasil dari pemanfaatan AI

organisasi. Pada saat menilai tata kelola AI, auditor internal dapat

menggunakan pendekatan Tiga Lini Pertahanan (three lines of defense).

Ketiga lini pertahanan, bersama-sama dengan manajemen senior, badan

pengarah, auditor eksternal, dan pemerintah, semuanya memiliki peran dalam

AI. Auditor internal harus memahami peran dari masing-masing pihak, dan

bagaimana audit internal berhadapan dengan peran-peran tersebut.

Regulator

Regulator memberi informasi serta mengendalikan aktivitas tertentu (seperti

perbankan, perawatan kesehatan, atau keamanan makanan) di tingkat

nasional, regional maupun lokal. Regulator “memberi informasi” melalui

aktifitas seperti pengadaan penelitian, berpartisipasi dalam pembentukan

standar dan pedoman, serta komunikasi dengan pemangku kepentingan.

Regulator “mengendalikan” melalui aktifitas seperti pengawasan, dan

penentuan serta penegakan peraturan. Seperti disebutkan dalam The IIA

Position Paper: The Three Lines of Defense in Effective Risk Management and

Control, pemerintah terkadang menetapkan ketentuan untuk memperkuat

pengendalian dalam suatu organisasi dan dalam kesempatan lain melakukan

fungsi yang independen dan obyektif untuk menilai keseluruhan atau sebagian

dari lini pertahanan pertama, kedua atau ketiga terhadap ketentuan-ketentuan

tersebut.

Sampai saat ini, belum terdapat peraturan khusus mengenai AI. Namun,

bagian dari peraturan yang sudah ada dapat berkaitan dengan aktifitas AI, dan

pemerintah serta penyusun kebijakan di seluruh dunia telah menunjukkan

kepeduliannya melalui penelitian-penelitian, bahan diskusi, rekomendasi, dan

pedoman (lihat Kepatuhan terhadap Peraturan di halaman 8).

“Kerangka Audit Kecerdasan

Buatan (Artificial

Intelligence) – IIA adalah

sebuah alat yang sangat

praktis untuk membantu

audit internal untuk

memberikan keyakinan

independen atas proses

manajemen risiko,

pengendalian dan tata

kelola terkait AI.”

Nur Hayati Baharuddin,

Anggota, IIA–Malaysia

https://global.theiia.org/standards-guidance/recommended-guidance/Pages/Position-Papers.aspx







globaliia.org


6

Regulator telah mengetahui pentingnya audit AI. Sebagai contoh, dalam

pedomannya di Off-The-Shelf (OTS) Software Use in Medical Devices,

departemen U.S. Food and Drug Administration mengetahui pentingnya

melakukan audit atas perangkat lunak berbasis pengetahuan OTS (sebagai

contoh, AI, expert system, dan perangkat lunak neural net). Mereka

menyatakan bahwa produsen diharapkan memberikan keyakinan “bahwa

metodologi pengembangan produk yang digunakan oleh pengembang

perangkat lunak OTS sudah benar dan memadai untuk penggunaan yang

dimaksudkan..” dan “merekomendasikan audit terhadap metodologi desain

dan pengembangan yang dipergunakan dalam konstruksi perangkat lunak

OTS. Audit ini harus melalui penilaian yang menyeluruh terhadap

pengembangan dan dokumentasi kualifikasi untuk perangkat lunak OTS”.

Auditor harus tetap memahami hal yang dilakukan oleh pemerintah dan

pengatur kebijakan dalam bidang AI, memberi saran yang penting kepada

manajemen dan Dewan dan menilai apakah tujuan pengendalian organisasi

terkait kepatuhan terhadap peraturan telah mencerminkan perkembangan

peraturan, standar dan pedoman.

“Dalam memberikan

asurans atas kegiatan

AI, audit internal harus

meyakini bahwa komite

audit dan dewan telah

diperlengkapi untuk

memahami peran

mereka dalam

mengarahkan

keuntungan dan risiko

terkait dengan AI di

perusahaan yang

mereka layani.”

Carolyn Saint,

KAI, University of

Virginia

Badan Pengarah/ Dewan/ Komite Audit

Dewan bertanggungjawab untuk pengawasan utama atas kegiatan AI

organisasi. Dewan dan Manajemen Senior harus diikutsertakan dalam

mendefinisikan strategi AI organisasi.

Audit internal harus memahami dan mendapat informasi yang memadai

tentang AI secara umum, khususnya kegiatan AI organisasi. Dalam

memberikan asurans atas kegiatan AI, audit internal harus menawarkan saran

dan pandangan untuk membantu meyakinkan bahwa Dewan telah siap untuk

perannya dalam AI.

Manajemen Senior Bersama dengan dewan, manajemen senior mendefinisikan strategi AI

organisasi. Manajemen senior juga mengatur tujuan AI dan mengembangkan

rencana untuk menerapkan strategi AI.

Audit internal harus terwakilkan dalam tim manajemen senior. Audit internal

harus mendapat informasi yang jelas mengenai perakarsa AI dari senior

manajemen terkait dengan manajemen risiko, tata kelola dan pengendalian

AI. Audit internal harus menjadi penasehat terpercaya manajemen senior.

Lini Pertahanan Pertama Manajer operasional harus memiliki dan mengelola risiko AI dalam kegiatan

sehari-hari. Audit internal harus menilai kebijakan dan prosedur AI dalam level

operasional, membuktikan bahwa tujuan pengendalian telah memadai dan

bekerja seperti yang direncanakan.

https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm073779.pdf

https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm073779.pdf

7 globaliia.org


The Three Lines of Defense Model

Lini Pertahanan Kedua

Kepatuhan, etika, manajemen risiko, privasi dan keamanan informasi adalah fungsi lini pertahanan kedua yang kemungkinan besar akan mengawasi beberapa aspek risiko AI. Audit internal harus menilai kebijakan dan prosedur terkait AI pada lini pertahanan kedua serta membuktikan bahwa pengendalian sudah memadai dan bekerja seperti yang direncanakan.

Lini Pertahanan Ketiga

Audit internal juga harus memberikan jaminan independen terhadap risiko, tata

kelola dan pengendalian AI. Kerangka kerja Audit AI dari IIA dapat

memfasilitasi peran ini. Pemerintah dan pengatur kebijakan telah mengetahui

potensi AI dalam manajemen risiko dan kepatuhan. Menurut laporan Financial

Stabilities Board (FSB) - Artificial intelligence and machine learning in financial

services, “penggunaan AI dan mesin pembelajaran di layanan keuangan dapat

membawa keuntungan utamanya untuk kestabilan keuangan dalam bentuk

efisiensi dalam penyediaan layanan keuangan dan peraturan pengawasan

risiko sistemik. Aplikasi internal (back-office) dari AI dan pembelajaran mesin

(machine learning) dapat meningkatkan manajemen risiko, pendeteksian

kecurangan, dan kepatuhan terhadap peraturan, sebisa mungkin pada biaya

terkecil.” Demikian pula, departemen audit internal yang paling maju akan

mulai menggunakan algoritma untuk meningkatkan inisiatif audit dan

pengawasan berkelanjutan untuk mencapai efektifitas dan efisiensi.

Audit Eksternal

Audit eksternal adalah pihak ketiga tanpa kepentingan pribadi terhadap

organisasi dan mengungkapkan opini apakah laporan keuangan telah disusun

sesuai dengan kerangka kerja dan peraturan yang berlaku terkait perlaporan

keuangan. Terkait AI, audit eksternal kemungkinan besar akan fokus pada

hasil – sebagai contoh, algoritma dibelakang model atau penilaian manajemen

risiko, dan apakah algoritma tersebut memiliki dampak material terhadap

laporan keuangan organisasi.

“Munculnya penggunaan

AI menuntut agar audit

secara khusus menyasar

logika yang digunakan

dalam perancangan

algoritma.”

Hans Nieuwlands, Pejabat Eksekutif Tertinggi (CEO),

IIA–Belanda

http://www.fsb.org/2017/11/artificial-intelligence-and-machine-learning-in-financial-service/

http://www.fsb.org/2017/11/artificial-intelligence-and-machine-learning-in-financial-service/

globaliia.org


8

Kepatuhan Terhadap Peraturan Peraturan pada umumnya tertinggal oleh perubahan teknologi, termasuk

teknologi AI. Namun, seperti dilaporkan The Hill, CEO Tesla, Elon Musk

memperingatkan National Governors Association (U.S.) bahwa peraturan

diperlukan lebih cepat dan bukan malah tertinggal. Sebagai tambahan,

peraturan privasi seperti Undang-undang Portabilitas dan Akuntabilitas

Asuransi Kesehatan Amerka Serikat Tahun 1996 (HIPAA) dan Peraturan

Proteksi Data Uni Eropa (GDPR), yang efektif pada Mei 2018, dapat

mempersulit implementasi AI. Kedua peraturan ini melindungi informasi pribadi

yang umumnya akan menjadi masukan (input) bagi teknologi AI.

Misalnya, Aturan Privasi HIPAA "menetapkan standar nasional untuk

perlindungan informasi kesehatan, seperti yang diterapkan pada tiga jenis

entitas berikut: perencana kesehatan, pemroses sistem informasi

perawatan kesehatan dan penyedia jasa kesehatan yang melakukan

transaksi perawatan kesehatan secara elektronik. Laporan FSB mengenai

AI dan Machine Learning dalam industri keuangan menyatakan, "beberapa

bagian GDPR sangat relevan dengan AI: Pasal 11 memberikan hak untuk

'penjelasan tentang keputusan yang dicapai melalui penilaian secara

algoritma; Pasal 9 melarang pemrosesan “data pribadi yang sensitif"; Pasal

22 mengatur hak atas data yang memenuhi syarat untuk dikecualikan dari

keputusan dengan konsekuensi hukum atau konsekuensi signifikan yang

semata-mata berdasarkan pemrosesan otomatis; dan Pasal 24

menetapkan bahwa keputusan tidak boleh didasarkan pada kategori

khusus dari data pribadi.

Beberapa masalah peraturan lainnya yang diakui secara umum termasuk

kepatuhan terhadap undang-undang antidiskriminasi dan kewajiban

hukum, terutama yang berkaitan dengan pihak ketiga yang menyediakan

layanan AI kepada organisasi tersebut. FSB menyimpulkan kekhawatiran

mengenai pihak ketiga dengan mengatakan "Banyak penyedia AI dan

machine learning saat ini di bidang jasa keuangan mungkin berada di luar

batas peraturan atau mungkin tidak terbiasa dengan peraturan perundang-

undangan yang berlaku. Dimana lembaga keuangan bergantung pada

penyedia layanan AI dan machine learning pihak ketiga untuk fungsi

kritikalnya, dan peraturan tentang alih daya (outsourcing) mungkin tidak

dipahami oleh penyedia layanan dan penyedia layanan ini mungkin tidak

diwajibkan memiliki supervisi dan pengawasan. Demikian pula, jika

penyedia alat semacam itu mulai memberikan layanan keuangan kepada

nasabah institusi atau ritel, hal ini dapat melibatkan kegiatan keuangan

yang berada di luar batas peraturan. "

http://thehill.com/policy/technology/342345-elon-musk-we-need-to-regulate-ai-before-its-too-late

9 globaliia.org


Organisasi tidak boleh menunggu sampai terbitnya peraturan terkait teknologi. Bahkan jika peraturan yang ada tidak

secara khusus membahas AI, organisasi harus menanyakan apakah aktivitas AI mereka sesuai hukum yang ada.

Salah satu pendekatannya adalah melakukan skenario dan analisis “bagaimana jika” ("what if)? untuk menentukan

apakah aktivitas AI berpotensi digunakan untuk tindak kejahatan, atau mengakibatkan konsekuensi yang tidak

diinginkan yang menyebabkan kerusakan. Mereka yang bertanggung jawab atas tata kelola organisasi juga harus

mempertimbangkan bahwa aktivitas AI dapat berpotensi mengurangi pengendalian internal jika AI belajar untuk

menggantikan (override) peraturan yang telah ditetapkan atau jika sistem AI belajar berkomunikasi satu sama lain dan

"bekerja" bersama tanpa sepengetahuan organisasi. Pendekatan proaktif dalam mempertimbangkan hukum yang ada

akan membantu organisasi menjadi lincah saat peraturan baru diberlakukan dan menjadi efektif .

Tujuan dan Aktivitas atau Prosedur Audit yang Relevan dengan Tata Kelola AI


Memberikan assurans bahwa struktur

tata kelola AI telah ditetapkan,

didokumentasikan, dan berfungsi

sebagaimana mestinya.

Meninjau model bisnis dan struktur organisasi; menentukan apakah model

bisnis dan struktur organisasi mencerminkan strategi organisasi terkait AI.

Meninjau seluruh kebijakan dan prosedur terkait AI; menentukan apakah kebijakan dan prosedur organisasi mengidentifikasi secara jelas peran dan tanggung jawab AI terkait strategi AI, tata kelola, arsitektur data, kualitas data, tuntutan etis, dan pengukuran kinerja.

Menilai apakah orang-orang dengan

tanggung jawab AI memiliki kompetensi

yang diperlukan untuk melaksanakan

tugasnya. Misalnya, mereka yang

bertanggung jawab atas keharusan etis

harus kompeten dalam menilai perilaku etis

para pihak yang memberikan input manusia

ke dalam AI, dan harus independen

terhadap aktivitas AI

Mewawancari mereka yang bertanggung jawab atas AI.

Meninjau uraian pekerjaan terkait AI, keterampilan yang diperlukan, dll., Dan

memeriksa apakah mereka yang bertanggung jawab memiliki kualifikasi yang

diperlukan.

Memberika asurans bahwa kebijakan

dan prosedur terkait AI telah

ditetapkan dan didokumentasikan.

Meninjau kebijakan dan prosedur terkait AI dan menentukan apakah mereka

cukup menangani risiko AI.

Menentukan apakah kebijakan dan prosedur menyediakan perencanaan analisis

atau skenario "what if" secara periodik.

Memberikan asurans bahwa jejak audit

(audit trails) terkait aktivitas AI

memberikan informasi yang memadai

untuk memahami dan menjelaskan

keputusan AI.

Meninjau jejak audit (audit trails) AI

Menentukan apakah jejak audit memberikan informasi yang memadai untuk

memahami dan menjelaskan keputusan AI

Memberikan asurans bahwa kebijakan

dan prosedur telah dilaksanakan dan

sesuai dengan desain pengendalian,

serta bahwa karyawan mematuhi

peraturan tersebut.

Mengamati karyawan yang menerapkan prosedur AI.

Meninjau laporan saluran bantuan/ saluran pelaporan dan meninjau tindak lanjut

atas laporan yang mengarah kepada ketidakpatuhan atau bahaya yang terkait

dengan AI.

Mewawancarai karyawan yang dipilih secara acak dan menentukan apakah

mereka mengetahui tentang kebijakan dan prosedur AI

Mengidentifikasi and Meninjau kebijakan dan prosedur akses AI

Menevaluasi Kebijakan akses dan Menguji pengedalian akses

Menilai apakah tujuan pengendalian peraturan mencerminkan peraturan, standar,

dan panduan yang terbaru.

globaliia.org


10

“Infrastruktur dan

Arsitektur data, serta

Kualitas Data seringkali

saling terkait. Tujuan

penugasan atau

pengendalian serta

aktivitas dan prosedur

yang sesuai di dalam satu

area dapat tumpang tindih

atau mempengaruhi

tujuan, aktivitas, dan

prosedur di area lainnya.”

Lesedi Lesetedi,

Wakil Direktur Eksekutif

(Wakil CEO) – Strategy &

Corporate Services

Botswana College of Distance &

Open Learning (BOCODOL)

Arsitektur & Infrastruktur Data Arsitektur dan infrastruktur data AI kemungkinan akan menjadi satu dan

sama, atau setidaknya hampir sama, sebagai arsitektur dan infrastruktur

organisasi untuk menangani big data. Meliputi pertimbangan untuk:

Cara data diakses (metadata, taksonomi, pengenal unik, dan

kesepakatan penamaan).

Privasi dan keamanan informasi di seluruh siklus hidup data

(pengumpulan data, penggunaan, penyimpanan, dan

pemusnahan).

Peran dan tanggung jawab terkait kepemilikan dan penggunaan

data selama siklus hidup data.

Menurut InfoWorld, organisasi harus fokus pada tiga area utama

pengembangan perangkat lunak untuk memastikan keberhasilan integrasi

AI:

Integrasi data - data dari berbagai sumber harus diintegrasikan

sebelum AI dapat digabungkan ke dalam aplikasi dan sistem

organisasi.

Modernisasi aplikasi - pembaruan perangkat lunak perlu dilakukan

secara teratur. Pembaruan yang sering namun kurang intensif harus

menggantikan pembaruan yang jarang namun lebih intensif agar tidak

memperlambat atau mengganggu sistem.

Pendidikan untuk Pegawai - pengembang perangkat lunak, manajer

proyek, dan staf teknologi lainnya perlu mengikuti perkembangan

machine learning dan setiap aspek teknologi "stack" (perangkat lunak

dan komponen yang menjalankan AI).

Selain itu, data harus dicocokan sehingga modifikasi seperti pembulatan,

demografi, dan variabel lainnya dinormalisasi sebelum data dimasukkan.

Tujuan dan Kegiatan Audit terkait Arsitektur Data dan Infrastruktur yang Relevan dengan AI

Tujuan Penugasan atau Pengendalian Aktivitas atau Prosedurs

Memberikan asurans bahwa organisasi memiliki

ketahanan siber. Ketahanan siber ini meliputi, tapi

lebih luas dari pada, keamanan siber. Ketahanan siber

meliputi keamanan (daya tahan), reaksi, dan

pemulihan.

Memahami dan mengaudit Big Data (lihat Panduan

Praktik IIA: Memahami dan Mengaudit Big Data).

Menilai apakah organisasi sedang mempersiapkan kepatuhan

terhadap peraturan teknologi baru, seperti General Data

Protection Regulation (GDPR) Uni Eropa.

Menilai apakah protokol pemulihan bencana organisasi

mencakup kegagalan AI, termasuk rincian kontrol yang

memelihara peraturan yang ditetapkan oleh tata kelola AI.

Memberikan asurans bahwa infrastruktur data memiliki

kapasitas untuk mengakomodasi ukuran dan kompleksitas

aktivitas AI yang ditetapkan dalam strategi AI.

Menilai apakah infrastruktur mampu menangani data terstruktur

dan data tidak terstruktur.

Memberikan asurans bahwa organisasi telah menetapkan

taksonomi data. Mengevaluasi kualitas, kelengkapan, dan

konsistensi penggunaan untuk taksonomi data

perusahaan.

Menilai apakah taksonomi cukup kuat untuk mengakomodasi

ukuran dan kompleksitas aktivitas

https://www.infoworld.com/article/3044468/application-development/artificial-intelligence-gets-into-auditing-whats-next.html


11 globaliia.org

Kualitas Data Kelengkapan, keakuratan, dan reliabilitas data dimana algoritma AI

dibangun sangatlah penting. Agar AI dapat sukses, organisasi memerlukan

akses ke sejumlah besar data berkualitas tinggi - data yang didefinisikan

dengan baik dan dalam format standar. Seringkali, sistem tidak

berkomunikasi satu sama lain atau melakukannya melalui pengaya (add-on)

atau penyesuaian yang rumit. Bagaimana data ini direkonsiliasi, disintesis,

dan divalidasi juga sangat penting, sistem yang tidak saling berkomunikasi

atau komunikasi yang dilakukan dengan rumit dapat menggagalkan aktivitas

AI organisasi.

Selain data yang didefinisikan dengan baik dalam format standar (data

terstruktur), teknologi AI dapat bergantung pada data tidak terstruktur

(seperti posting media sosial). Seperti yang dijelaskan dalam "Panduan

Audit Teknologi Global: Memahami dan Mengaudit Big Data" – IIA, data

tidak terstruktur "biasanya lebih sulit dikelola, karena sifatnya yang

berkembang dan tidak dapat diprediksi, dan biasanya bersumber dari data

yang besar, berbeda, dan seringkali bersumber eksternal. Akibatnya, solusi

baru telah dikembangkan untuk mengelola dan menganalisis data ini”.

Ironisnya, organisasi dapat beralih ke machine lerning - sebuah bentuk AI -

untuk meningkatkan kualitas data. Misalnya, mungkin ada beberapa versi

nama vendor di banyak unit bisnis, basis data, dan spreadsheet

perusahaan. Program komputer bisa memindai dan merekonsiliasi semua

variasi nama dalam hitungan jam atau menit.

Audit Internal harus

melihat bagaimana data

yang digunakan dalam

Laoran Audit Internal telah

dicocokan, digabungkan

dan divalidasi.

Tujuan dan Kegiatan Audit yang Relevan dengan Kualitas Data


Memberikan asurans atas keandalan algoritma yang

mendasari AI dan data yang digunakan dalam

algoritma.

Mendapatkan sampel data mentah yang merupakan input ke AI.

Memverifikasi bahwa organisasi telah menerapkan

metodologi untuk memvalidasi hasil AI dengan hasil aktual

dunia nyata, dan bahwa kebijakan dan prosedur tersedia

untuk terus mengukur, memantau, meningkatkan, dan

memperbaiki ketidakkonsistenan antara keduanya.

Memberikan asurans bahwa input data direkonsiliasi dan

dinormalisasi untuk memaksimalkan akurasi.

Memverifikasi bahwa organisasi memiliki kebijakan dan

prosedur untuk terus mengukur, memantau, meningkatkan,

dan memperbaiki akurasi data dan masalah integritas

Mengkonfirmasi bahwa organisasi secara konsisten mengikuti

dan memantau kerangka rekonsiliasi data yang telah

diformalkan, yang mencakup alasan untuk membedakan

metodologi dan hasil jika ada.

Memberikan asurans bahwa data gabungan sudah lengkap. Memverifikasi bahwa organisasi memiliki kebijakan dan

prosedur untuk membatasi bias dalam input data.

Memberikan asurans bahwa kelengkapan data diukur dan

dipantau dan bahwa setiap pengecualian material yang

mempengaruhi pengambilan keputusan diidentifikasi dan

dijelaskan. Hal Ini harus dilakukan meskipun pengecualian

ditentukan oleh manusia maupun AI.

Meninjau laporan metrik adan metrik AI

Menilai apakah mereka yang bertanggung jawab atas pengambilan keputusan telah menerima dan mempertimbangkan penjelasan mengenai pengecualian material yang berkaitan dengan kualitas data


globaliia.org

Tindakan Perbaikan Facebook Tantangan Facebook terhadap AI telah banyak dibicarakan. Jaringan sosial raksasa ini telah mendapat banyak

sorotan mengenai bagaimana teknologinya yang didasari algoritma telah digunakan - atau disalahgunakan –

untuk tindak kejahatan.

Alur Waktu dari Kekhawatiran Utama:

Pada musim gugur 2016, ProPublica melaporkan bahwa pengiklan dapat menggunakan alat

penargetan iklan Facebook untuk mengecualikan ras tertentu – potensi pelanggaran terhadap

peraturan perumahan dan hak sipil federal.

Di Bulan September 2017:

o Facebook mengungkapkan bahwa pemegang akun palsu yang berbasis di Rusia membeli iklan

yang cukup besar pada isu-isu yang sensitif menjelang pemilihan presiden 2016.

o ProPublica melaporkan bahwa alat penargetan iklan Facebook memungkinkan pengiklan untuk

menargetkan "pembenci" etnis tertentu.

Di Bulan Oktober 2017, kekhawatiran tentang berita palsu muncul kembali saat Facebook (dan Google)

mengirimkan informasi palsu mengenai penembakan massal di Las Vegas.

Dalam kesaksian pada subkomite Senat peradilan pada akhir Oktober, Facebook mengatakan bahwa

jangkauan iklan yang didukung Rusia lebih jauh dari yang mereka duga, mencapai sebanyak 126 juta

orang Amerika sebelum dan selama pemilihan presiden tahun 2016.

Tangggapan Facebook

Pada tanggal 20 September 2017, Chief Operating Officer Facebook, Sheryl Sandberg mengumumkan tiga tindakan perbaikan:

1. Facebook mengklarifikasi kebijakan periklanannya dan memperketat proses penegakannya untuk

memastikan konten yang bertentangan dengan standar komunitas Facebook tidak dapat digunakan untuk

menargetkan iklan. (Kebijakan dan proses terkait dengan komponen Kerangka Kerja Tata Kelola. Antara

lain, Tata Kelola Pemerintahan harus menetapkan akuntabilitas dan pengawasan terhadap penegakan

hukum.

2. Facebook meningkatkan "review dan pengawasan manusia" dari proses otomatisnya. (Tinjauan dan

pengawasan manusia berkaitan dengan komponen Kerangka Kerja Etika. Antara lain, etika membahas

apakah hasil AI mencerminkan tujuan awal dan apakah keluaran AI digunakan secara legal, etis, dan

bertanggung jawab.)

3. Facebook sedang mengerjakan sebuah program yang akan mendorong pengguna Facebook untuk

melaporkan potensi penyalahgunaan sistem iklannya. (Sistem Pelaporan berkaitan dengan komponen

Kerangka Kerja Pengukuran Kinerja. Sistem pelaporan membantu manajemen memantau kinerja aktivitas

AI. Pengukuran Kinerja akan dibahas dalam laporan Pespektif dan Pandangan Global yang akan datang.)

Dengan memanfaatkan Kerangka Audit IIA, Auditor Internal dapat memberikan jasa asurans dan pemberian

nasehat untuk membantu organisasi memisahkan kebenaran dan fiksi serta menangani risiko pelaporan,

operasi, serta kepatuhan yang terkait dengan AI.


13 globaliia.org

Menggunakan Standar untuk Audit AI Auditor internal harus memenuhi semua standar IIA yang berlaku saat

merencanakan atau melakukan pemeriksaan AI. Standar Utama IIA yang

sangat relevan dengan AI disajikan pada kotak di samping, namun standar

yang lain juga dapat diterapkan.

Setiap standar dilengkapi dengan Panduan Implementasi. Panduan

pelaksanaan membantu auditor internal dalam menerapkan Standar.

Panduan tersebut secara kolektif membahas pendekatan, metodologi, dan

pertimbangan audit internal, namun tidak merinci proses atau prosedur.

Penutup Kerangka Audit AI IIA akan membantu auditor internal memberikan jasa

asurans dan advisori terkait AI secara sistematis dan disiplin. Apakah

teknologi dan aktivitas AI organisasi dikembangkan secara internal, melalui

teknologi fasilitatif seperti AutoML, atau oleh pihak ketiga, audit internal

harus disiapkan untuk memberi saran kepada Dewan dan manajemen

senior, berkoordinasi dengan lini pertahanan pertama dan kedua, dan

memberikan asurans atas pengelolaan, tata kelola, dan pengendalian risiko

AI.

Naskah ini adalah Bagian II dari seri tiga bagian untuk memberikan saran dalam menerapkan komponen Strategi dan Tata Kelola AI dari Kerangka Audit AI - IIA. Bagian III akan memberikan saran lebih lanjut untuk menerapkan komponen Tata Kelola, dan komponen Faktor Manusia.

.

Tentang IIA

Institute of Internal Auditor (IIA) adalah advokat, pendidik, dan penyedia standar, panduan, dan sertifikasi profesi audit internal yang paling banyak dikenal. Didirikan pada tahun 1941, IIA saat ini melayani lebih dari 190.000 anggota dari lebih dari 170 negara dan teritori. Kantor pusat global IIA berada di Lake Mary, Florida, AS. Untuk informasi lebih lanjut, kunjungi www.globaliia.org.

Disclaimer Pendapat yang diungkapkan dalam Perspektif dan Pandangan Global belum tentu merupakan kontribusi masing-masing kontributor atau pemberi kontribusi.

Hak Cipta Hak Cipta © 2017 oleh The Institute of Internal Auditors, Inc. Semua hak dilindungi undang-undang.

Fokus Audit

Standard Utama IIA

Standar Internasional Praktik

Profesional Audit Internal IIA terdiri dari

beberapa standar yang sangat relevan

dengan AI, termasuk:

Standar IIA 1210: Kecakapan

Standar IIA 2010: Perencanaan

Standar IIA 2030: Pengelolaan Sumber

daya

Standar IIA 2100: Sifat Dasar

Pekerjaan

Standar IIA 2110: Tata Kelola

Standar IIA 2130: Pengenalian

Standar IIA 2200: Perencanaan

Penugasan

Standar IIA 2201: Pertimbangan

Perencaan

Standar IIA 2210: Tujuan Penugasan

Standar IIA 2220: Ruang Lingkup

Penugasan

Standar IIA 2230: Alokasi Sumber

Daya Penugasan

Standar IIA 2240: Program Kerja

Penugasan

Standar IIA 2310: Pengidentifikasian

Informasi

http://www.globaliia.org/


globaliia.org

globaliia.org