Embed Size (px)
Citation preview
SVEUČILIŠTE U ZAGREBU
FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA
ZAVRŠNI RAD br. 2375
POHRANA ZNAČAJKI DATOTEKA U
PROGRAMSKOM SUSTAVU ZA
DETEKCIJU PLAGIJATA
Ivan Kraljević
Zagreb, svibanj 2012.
Sadržaj
Uvod ............................................................................................................................. 1
1. Izrada značajki datoteka ....................................................................................... 2
2. Obrada arhiva s izvornim programima ................................................................ 9
3. Shema baze podataka ......................................................................................... 14
4. Komunikacija sustava s bazom podataka .......................................................... 20
5. Demonstracija rada sustava ............................................................................... 28
5.1. Registracija na sustav ................................................................................. 28
5.2. Pohrana arhiva i tekstualnih datoteka ........................................................ 30
5.3. Dohvat podataka ........................................................................................ 31
5.4. Brisanje i ažuriranje podataka .................................................................... 33
Zaključak ................................................................................................................... 34
Literatura .................................................................................................................... 35
Sažetak ....................................................................................................................... 36
Summary .................................................................................................................... 37
1
Uvod
Plagiranje izvornih tekstova programa ozbiljan je problem na Fakultetu
elektrotehnike i računarstva. Nemali broj studenata iz različitih razloga posuđuje gotova
rješenja programskih zadataka drugih kolega te ih prisvajaju i prezentiraju kao vlastita
rješenja. Kako fakultet svake godine upisuje više od 600 studenata od kojih će svi slušati
barem nekoliko kolegija čije zadaće i/ili laboratorijske vježbe uključuju pisanje programa,
pregledavanje i međusobno uspoređivanje velikog broja studentskih programskih rješenja
predstavlja veliki napor profesorima i asistentima. S druge strane, prisvajanje tuđih rješenja
ne ide u korist ni samim studentima zato što na taj način štete svome inženjerskom
obrazovanju i usavršavanju.
Iz navedenih razloga očita je potreba za sustavom koji bi fakultetskom osoblju
omogućio jednostavno prepoznavanje programskih plagijata. U tu svrhu razvijen je
programski sustav koji uz jednostavno podešavanje, analizira izvorne kodove programskih
zadataka te otkriva potencijalne programske plagijate.
U ovom završnom radu govorit će se o pohrani izvornih programa u bazu podataka,
automatiziranoj izradi značajki pojedinih izvornih tekstova i njihovom utjecaju na
otkrivanje plagijata. U drugom dijelu rada prikazat ćemo rad sustava na prethodno
definiranoj bazi izvornih tekstova programa.
Svi razredi koji obavljaju prethodno spomenute aktivnosti su implementirani u
objektno-orijentiranom programskom jeziku Java.
2
1. Izrada značajki datoteka
Svaku datoteku pobliže opisuje niz elemenata: veličina datoteke, ime datoteke,
datum zadnje promjene, tip datoteke i slično. Za tekstualne datoteke, poput izvornih
kodova, možemo odrediti još cijeli niz elemenata kao što su ukupni broj redaka (linija
teksta), ukupni broj znakova u tekstu, sažetak (engl. checksum), itd. Budući da je svrha
sustava otkrivanje plagijata izvornih kodova, iz izvornih je kodova potrebno izbaciti sve
što ne utječe na izvođenje programa, na primjer: komentari, višestruke praznine, prazni
redci. Za privremenu pohranu (tj. za pohranu u radnoj memoriji) značajki i elemenata
datoteke s izvornim kodom implementiran je razred FileCharacteristics. Unutar
razreda pohranjeni su sljedeći elementi:
fileID - jedinstveni identifikator datoteke.
fileName - ime datoteke s izvornim tekstom programa.
author - autor izvornog teksta programa.
dateModified - datum posljednje promjene datoteke.
sourceCode - izvorni tekst programa.
sourceCodeFN - normalizirani izvorni tekst programa.
checksum - sažetak izvornog teksta programa.
lineNumber - broj linija izvornog teksta programa (prazni redovi se ne broje).
characterNumber - broj znakova u izvornom tekstu programa (praznine,
tabulatori, oznake za kraj reda i znakovi unutar komentara se ne broje).
fileSize - veličina datoteke.
extension - ekstenzija datoteke (npr .java, .cpp).
Svi elementi dotičnog razreda su enkapsulirani, a njihove vrijednosti je moguće dohvatiti
ili postaviti isključivo korištenjem pripadnih get/set metoda.
Prilikom stvaranja instance razreda FileCharacteristics konstruktoru razreda je
potrebno predati osnovne elemente: izvorni kod, ime datoteke, veličinu (memorijsko
zauzeće) datoteke i datum posljednje promjene.
3
Slika 1.1 Konstruktor razreda FileCharacteristics.
Ako promotrimo konstruktor uočavamo da nakon stvaranja instance nisu postavljene
vrijednosti svih značajki. Za njihovo je postavljanje potrebno nad objektom eksplicitno
pozvati metodu doAll().
Slika 1.2 Programski kod metode doAll() razreda FileCharacteristics.
Konkretno, metoda doAll() postavlja vrijednosti atributa sourceCodeFN,
lineNumber, characterNumber i checksum. Za izračun vrijednosti tih atributa
implementiran je poseban razred Utilities. Svrha razreda Utilities je brzo i
jednostavno izračunavanje i dohvaćanje spomenutih atributa. Sve metode razreda su
4
statičke te za njihovo korištenje nije potrebno stvarati instance razreda Utilities.
Metode koje razred implementira prikazane su na Slika 1.3.
Slika 1.3 Dijagram razreda Utilities.
Slika 1.4 Programski kod metode countLines() razreda Utilities.
Metoda countLines() broji retke teksta predanog u argumentu te kao povratnu
vrijednost vraća broj redaka teksta. Važno je napomenuti da se prazne linije ne broje.
5
Slika 1.5 Programski kod metode countCharacters() razreda Utilities.
Metoda countCharacters() broji znakove teksta predanog u argumentu te kao
povratnu vrijednost vraća ukupni broj znakova u tekstu. Tijekom računanja broja znakova
ne uračunavaju se znakovi za označavanje novog retka, praznine, tabulatori, kao ni
komentari unutar izvornog koda.
Slika 1.6 Programski kod metode removeBlanks() razreda Utilities.
Metoda removeBlanks() uklanja sav bijeli prostor (engl. whitespace), tj. uklanjaju se
sve praznine, oznake za novi red i tabulatori iz teksta u argumentu.
6
Slika 1.7 Programski kod metode removeComments() razreda Utilities.
Metoda removeComments() uklanja sve jednolinijske i višelinijske komentare iz
izvornog koda.
Slika 1.8 Programski kod metode fullyNormalizeText() razreda Utilities.
Metoda fullyNormalizeText() potpuno normalizira tekst, tj. prvo ukloni sve
jednolinijske i višelinijske komentare, a potom i sav bijeli prostor.
7
Slika 1.9 Programski kodovi metoda za izračun sažetka teksta.
Jedan od veoma važnih atributa neke datoteke jest njezin sažetak (engl. checksum). Sažetak
je numerička vrijednost sadržaja datoteke koja se dobiva pozivom nekog kriptografskog
algoritma nad njezinim sadržajem. Neki od danas najpopularnijih i najkorištenijih
algoritama za računanje sažetka datoteke su: MD5, SHA-1 i SHA-256.
Unutar razreda Utilities implementirane su metode koje nad sadržajem izračunavaju
sažetak datoteke uporabom jednog od triju spomenutih algoritama. U samom
programskom sustavu za računanje sažetka odabran je algoritam sa najvećom raspršenosti,
odnosno SHA-256 algoritam. Sažetak teksta se računa nad normaliziranim izvornim
kodom [3].
Slika 1.10 Programski kod metode validExtension() razreda Utilities.
Prije nego što se pokrene obrada neke datoteke potrebno je provjeriti je li datoteka
tekstualnog formata. Provjera formata datoteke povjerena je metodi
validExtension() iz razreda Utilities. Metoda kao ulazni argument prima ime
datoteke ili samo ekstenziju datoteke, te ga/ju uspoređuje sa regularnim izrazom:
^.*\\.(c|cs|cpp|java|js|txt|pl|php|py|jsp|jspx|hs)$
8
Ako ulazni argument odgovara regularnom izrazu, format datoteke je podržan i metoda
vraća vrijednost true, a inače vraća false. U slučaju da je format nepodržan
konstruktor razreda FileCharacteristics će baciti Runtime iznimku.
9
2. Obrada arhiva s izvornim programima
Svi izvorni programi pohranjeni su u .zip arhivama. Unutar glavne arhive nalaze
se kazala (mape, engl. folders) koja označavaju ime autora izvornog koda, a unutar svakog
kazala nalazi se .zip arhiva(u daljnjem tekstu: unutarnja arhiva). U unutarnjoj arhivi
pohranjeni su svi izvorni kodovi dotičnog autora. Hijerarhija strukture datoteka prikazana
je na Slika 2.1.
Slika 2.1 Hijerarhija strukture datoteka.
Za obradu arhive zadužena su tri razreda iz paketa hr.fer.csi.input:
UnzipMainFile
UnzipSingleFile
ReadFile
10
Razred UnzipMainFile obrađuje vanjsku (glavnu) arhivu, razred
UnzipSingleFile obrađuje unutarnju arhivu, dok je razred ReadFile namijenjen
obradi jedne tekstualne datoteke.
Kod obrade neke arhive prvo je potrebno stvoriti instancu razreda UnzipMainFile te
nakon toga pozvati metodu unzip(). Metoda unzip() kao povratnu vrijednost vraća
listu objekata FileCharacteristics, tj. vraća sve obrađene izvorne kodove. Nakon
obrade arhive pomoću metode getErrorMessages() mogu se dohvatiti opisi svih
pogrešaka s kojima se sustav susreo tijekom obrade arhive. Najčešće greške su oštećene
.zip arhive, nepodržani formati arhiva (kao što su .rar ili .7zip), neispravni ili
nepodržani formati tekstualnih datoteka unutarnjih arhiva.
Slika 2.2 Dijagram razreda UnzipMainFile.
Pseudokod metode unzip() razreda UnzipMainFile:
unzip()
Ulaz: Path - putanja do .zip arhive, Destination - mjesto gdje će
se podaci privremeno izdvojiti(engl. extract).
Izlaz: lista instanci razreda FileCharacteristics.
učitajZipArhivu(Path);
sveDatoteke = prazna lista;
trenutnoKazalo = null;
while (ima neobrađenih datoteka u zipu) {
entry = prva neobrađena datoteka;
11
if (entry == kazalo) {
if (trenutnoKazalo != null) {
obrišiTrenutnoKazalo;
}
trenutniAutor = entry.ime;
trenutnoKazalo = Destination + entry.ime;
stvoriNovoKazalo(trenutnoKazalo);
}
else {
extractajTrenutnuDatoteku(Destinacija + trenutnoKazalo,
entry.ime);
unutarnjiZip = stvori objekt razreda UnzipSingleFile;
sveDatoteke.dodaj = unutarnjiZip.getListFromZip(Destinacija +
trenutnoKazalo, entry.ime, trenutniAutor);
obiršiStvorenuDatoteku;
}
entry = obrađen;
}
obrišiTrenutnoKazalo();
vrati sveDatoteke;
Pseudokod metode unzip() razreda UnzipMainFile.
Iz navedenog pseudokoda vidljivo je da se pri obradi koriste i instance razreda
UnzipSingleFile. Uloga razreda UnzipSingleFile je obrada unutarnje arhive u
kojoj se nalaze izvorni programi. Razred UnzipSingleFile se koristi i u slučajevima
kada je na primjer student krivo predao svoju arhivu (npr. .rar format umjesto .zip).
Sustav će dojaviti da je došlo do greške tijekom obrade dotične arhive te korisnik sustava
mora ručno ispraviti problem s arhivom. Nakon popravljanja arhive korisnik ne mora
iznova pohranjivati cijelu glavnu arhivu, već može jednostavno pohraniti unutarnju
(ispravljenu) arhivu te korištenjem instance razreda UnzipSingleFile sadržaj arhive
se jednostavno može dodati već obrađenim datotekama.
12
Slika 2.3 Dijagram razreda UnzipSingleFile.
Pseudokod metode getListFromZip() razreda UnzipSingleFile:
getListFromZip()
Ulaz: Path - putanja do arhive, Author - autor izvornih kodova
unutar arhive.
Izlaz: lista instanci razreda FileCharacteristics.
učitajZipArhivu(Path);
sveDatoteke = prazna lista;
while(ima neobrađenih datoteka u zipu) {
entry = prva neobrađena datoteka;
izvorniKodDatoteke = ReadFile.readTextFile(entry);
FileCharDatoteke = stvori novi objekt razreda
FileCharacteristics(izvorniKodDatoteke);
sveDatoteke.dodaj = FileCharDatoteke;
entry = obrađen;
}
vrati sveDatoteke;
Iz navedenog pseudokoda vidljivo je da tijekom obrade arhive sustav poziva metodu
readTextFile() razreda ReadFile. S obzirom na to da je metoda statička nije
potrebno stvarati instancu razreda ReadFile. Uloga metode je čitanje tekstualne datoteke
i vraćanje njezinog sadržaja. Kao što se razred UnzipSingleFile može koristiti ako je
došlo do pogreške nad nekom unutarnjom arhivom tijekom obrade glavne arhive, tako se i
13
metoda readTextFile() može koristiti umjesto ponovnog pohranjivanja cijele
unutarnje arhive.
Paket čija je uloga obrada arhiva, datoteka i automatizirana izrada značajki prikazan je na
Slika 2.4.
Slika 2.4 Prikaz dijagrama razreda hr.fer.csi.input.
14
3. Shema baze podataka
Baza podataka nam omogućuje jednostavno pohranjivanje i povezivanje podataka
bez nepotrebne zalihosti. Podaci se pohranjuju na način da budu neovisni o programima
koji ih koriste te su strukturirani tako da buduća nadogradnja bude što jednostavnija.
Shema baze podataka je u trećoj normalnoj formi te su navedena potrebna integritetska
ograničenja.
Slika 3.1 EER model baze podataka.
15
Detaljnijim promatranjem EER modela možemo zaključiti:
svaki korisnik(engl. user) može imati proizvoljan broj recenzija (engl. review)
unutar svake recenzije nalazi se proizvoljan broj zadataka (engl. task)
svaki zadatak referencira proizvoljan broj arhiva (engl. archive) i datoteka (engl.
file)
neka datoteka može sadržavati referencu na arhivu, ali i ne mora (npr. ako je
datoteka samostalno pohranjena, tj. nije dio nijedne arhive)
uz svaku datoteku vezan je točno jedan redak iz relacije lex
određena datoteka može biti referencirana u maksimalno 2 retka u relaciji
comparisonresult
Atribut Tip Opis
userID int identifikator korisnika
firstName vchar ime korisnika
lastName vchar prezime korisnika
email vchar e-mail korisnika
password vchar zaporka korisnika
createdOn date datum registracije
PK = {userID}
UNIQUE = {email}
Tablica 3.1 Relacija User.
Entitetom User predstavljeni su svi registrirani korisnici koji imaju mogućnost
prijave na sustav koristeći svoj e-mail i zaporku. Nad atributom email definirano je
integritetsko ograničenje UNIQUE čime se sprječava višestruko registriranje sa jednom te
istom adresom elektroničke pošte. Uz to, važno je napomenuti da se korisnikova zaporka
ne sprema u izvornom obliku, već se korištenjem SHA1 algoritma sprema sažetak lozinke.
16
Atribut Tip Opis
reviewID int identifikator reviewa
userID int identifikator vlasnika
reviewName vchar ime reviewa
description vchar opis reviewa
createdOn date datum stvaranja
PK = {reviewID}
FK = {userID}
Tablica 3.2 Relacija Review.
Entitet Review predstavlja recenziju pojedinog korisnika. Unutar svake recenzije
spremljeni su pojedini korisnikovi zadaci.
Atribut Tip opis
taskID int identifikator zadatka
reviewID int identifikator reviewa kojemu
zadatak pripada
name vchar ime zadatka
description vchar opis zadatka
KGramLength int duljina k-grama
KGramWindowLength int veličina k-gram prozora
ModuloPValue int ModuloP vrijednost
pCheckums int težina sažetka u ukupnom
rezultatu
pKgramWinn int težina winnowing algoritma
pKgramModP int težina 0 modulo P algoritma
17
pLex int težina leksičke analize
PK = {taskID}
FK = {reviewID}
Tablica 3.3 Relacija Task.
Entitet Task predstavlja pojedini zadatak. Vrijednosti KGramLength,
KGramWindowLength i ModuloPValue su atributi pojedinih algoritama. Vrijednosti
pChecksum, pKgramWinn, pKgramModP i pLex predstavljaju udjele pojedinih algoritama
pri izračunu ukupne sličnosti.
Atribut Tip Opis
archiveID int identifikator arhive
taskID int identifikator zadatka kojemu
arhiva pripada
archiveName vchar ime arhive
archive longblob arhiva
PK = {archiveID}
FK = {taskID}
Tablica 3.4 Relacija Archive.
Entitet Archive sadrži arhive zadataka. Pojedini zadatak može imati nula ili više
arhiva, a kod brisanja pojedinog zadatka, brišu se i sve njegove arhive.
Atribut Tip Opis
fileID int identifikator datoteke
archiveID int identifikator arhive
taskID int identifikator zadatka
fileName vchar ime datoteke
18
sourceCode longblob izvorni kod / sadržaj datoteke
extension vchar ekstenzija datoteke
size bigint veličina datoteke
uploadMethod vchar način pohrane datoteke
date date vrijeme posljednje izmjene
datoteke
author vchar ime autora datoteke
PK = {fileID}
FK = {archiveID}
FK = {taskID}
Tablica 3.5 Relacija File.
Entitet File sadrži datoteke i značajke datoteka. Od značajki se pohranjuju ime
datoteke i ime autora datoteke, veličina i datum posljednje izmjene datoteke, tip
(ekstenzija) datoteke te način pohrane datoteke (grupna ili samostalna datoteka). Uz to,
pohranjuju se i identifikatori zadatka i arhive kojima datoteka pripada. Datoteka ne mora
nužno pripadati određenoj arhivi i u tom slučaju vrijednost atributa archiveID bit će null.
Atributi Tip Opis
comparisonresultID int identifikator rezultata
firstID int identifikator prve datoteke
secondID int identifikator druge datoteke
similarity int ukupna sličnost
KGramSimilarity int sličnost dobivena
KGramWinnowing algoritmom
KGramModPSimilarity int sličnost dobivena
KGramModP algoritmom
checksumSimilarity int sličnost sažetaka
19
PK = {comparisonresultID}
FK = {firstID}
FK = {secondID}
Tablica 3.6 Relacija ComparisonResult.
Entitet ComparisonResult predstavlja rezultat usporedbe dviju datoteka. Ukupna
sličnost ovisi o rezultatima pojedinih algoritama usporedbe i o udjelu algoritama pri
računanju ukupne sličnosti. Udjeli pojedinih algoritama pohranjeni su u relaciji Task.
20
4. Komunikacija sustava s bazom podataka
Kako bi sustav mogao pohranjivati podatke u bazu podataka i koristiti pohranjene
podatke u radu, razvijen je paket hr.fer.csi.database.
Slika 4.1 Objektni dijagram paketa hr.fer.csi.database.
21
Razredi Archive, ComparisonResult, Lex, Review, Task, User i
SourceFile (relacija File) sadrže atribute nazivom jednake istoimenim relacijama u
bazi podataka. Navedeni razredi korišteni su za pohranu podataka koji su prethodno
dohvaćeni iz baze podataka.
Najvažniji razred paketa je DatabaseIO. Pomoću njega je omogućeno spajanje na bazu
podataka, a preko njegovih metoda vrši se pohrana i pristup podacima.
Pri stvaranju instance razreda mora se predati putanja do datoteke u kojoj su pohranjena
adresa baze podataka te korisničko ime i lozinka potrebni za uspješno spajanje sustava s
bazom podataka. Pohranjivanje potrebnih podataka u vanjsku datoteku preporuča se jer
ono omogućuje jednostavnu i fleksibilnu konfiguraciju podataka potrebnih za spajanje na
bazu bez potrebe za mijenjanjem i ponovnim prevođenjem programskog koda [1].
Podaci u datoteci spremljeni su u obliku db.parametar=vrijednost. Primjer datoteke
s nužnim podacima:
db.url=jdbc:mysql://localhost:3306/similarity
db.user=korisnik19
db.passwd=lozinka1
Unutar konstruktora DatabaseIO izvodi se čitanje vanjske datoteke, te stvaranje veze s
bazom podataka. Nakon toga, korisnik može manipulirati podacima pomoću mnogobrojnih
metoda instance razreda DatabaseIO. Implementirane metode prikazane su u Tablica
4.1.
Naziv metode Opis
getConnection(String dbFile) Privatna metoda koja stvara vezu s bazom.
printDBMetaData() Ispisuje podatke o bazi podataka.
registerUser(User user) Sprema podatke o korisniku iz argumenta u
relaciju User.
loginUser(String email, String
password)
Provjera postoji li korisnik u bazi podataka.
retriveUserNames(int userID) Vraća ime i prezime korisnika određenog
22
identifikatorom.
retriveUserReviews(int userID) Vraća podatke o svim recenzijama korisnika
određenog identifikatorom.
createReview(Review review) Stvara novu recenziju.
retriveReview(int reviewID) Vraća recenziju određenu identifikatorom.
deleteReview(int reviewID) Briše recenziju određenu identifikatorom.
updateReviewName(int reviewID,
String name)
Preimenovanje recenzije.
updateReviewDescription(int
reviewID, String descritption)
Izmjena opisa recenzije.
createTask(Task task) Stvara novi zadatak.
retriveReviewTasks(int reviewID) Vraća podatke o svim zadacima recenzije
određene identifikatorom.
deleteTask(int taskID) Briše zadatak određen identifikatorom.
retriveTask(int taskID) Vraća zadatak određen identifikatorom.
setTaskValues(int taskID, int
kgramLength, int
kgramWindowLength, int moduloP)
Postavlja parametre algoritama vezane uz
zadatak određen identifikatorom.
setTask_P_Values(int taskID, int
pChecksums, pKgramWinn,
pModuloP, int pLex)
Postavlja udjele pojedinih algoritama u
računanju ukupne sličnosti.
retriveTaskValues(int taskID) Vraća parametre algoritama.
retriveTask_P_Values(int taskID) Vraća udjele pojedinih algoritama.
updateTaskName(int taskID,
String name)
Preimenovanje zadatka.
updateTaskDescription(int
taskID, String description)
Izmjena opisa zadatka.
23
storeMainArchive(int taskID,
String path, String
tmpDestination)
Obrađuje i sprema glavnu arhivu. Vraća
listu svih grešaka koje su nastale tijekom
obrade arhive.
storeSingleArchive(int taskID,
String path, String author)
Obrađuje i sprema unutarnju arhivu. Vraća
listu svih grešaka koje su nastale tijekom
obrade arhive.
retriveArchive(int archiveID,
String path)
Pristupa arhivi i pohranjuje ju na lokaciju
određenu argumentom path. Vraća
informacije o arhivi.
retriveArchives(int taskID) Vraća sve arhive zadatka određenog
identifikatorom.
updateArchiveName(int archiveID,
String name)
Preimenovanje arhive.
deleteArchive(int archiveID) Briše arhivu iz baze.
deleteArchives(int taskID) Briše sve arhive zadatka određenog
identifikatorom.
storeSingleFile(int taskID,
String path, String author)
Sprema tekstualnu datoteku koja se nalazi
na lokaciji određenoj argumentom path.
storeFile(int taskID, int
archiveID, FileCharacteristics
file)
Sprema tekstualnu datoteku koja je dio
arhive.
storeFile(int taskID, int
archiveID, FileCharacteristics
file, String author)
Sprema tekstualnu datoteku koja je dio
arhive.
retriveFile(int fileID) Vraća datoteku određenu identifikatorom.
retriveFiles(int taskID) Vraća sve datoteke zadatka određenog
identifikatorom.
retriveFileCharacteristics(int Vraća sve datoteke zadatka određenog
24
taskID) identifikatorom kao instance razreda
FileCharacteristics.
retriveFilesOutOfRange(int
taskID, long minSize, long
maxSize)
Vraća sve datoteke zadatka određenog
identifikatorom čija veličina nije unutar
intervala [minSize, maxSize].
expectedFiles(int archiveID, int
expected)
Vraća true ako je očekivani broj datoteka
u arhivi jednak argumentu expected,
inače vraća false.
deleteFile(int fileID) Briše datoteku određenu identifikatorom.
addComparisonResult(int firstID,
int secondID, int similarity,
int KGramSimilarity, int
KGramModPSimilarity, int
checksumSimilarity)
Pohranjuje sličnosti između dvije datoteke u
bazu.
updateComparisonResult(int
firstID int secondID, int
similarity, int KGramSimilarity,
int KGramModPSimilarity, int
checksumSimilarity)
Ažurira vrijednosti sličnosti između dvije
datoteke.
getComparisonResult(int firstID,
int secondID)
Vraća sve sličnosti datoteka koje su
određene argumentima firstID i
secondID.
storeLex(int fileID,
List<TableRow> constantsMap,
List<TableRow> identifierMap,
List<TableRow> krosTableMap,
List<TableRow> uniformTable)
Pohranjuje rezultate leksičke analize
datoteke određene identifikatorom.
retriveLex(int fileID) Vraća rezultate leksičke analize datoteke
određene identifikatorom.
Tablica 4.1 Metode razreda DatabaseIO.
25
Većina metoda iz gornje tablice implementirana je na sljedeći način:
1. Ovisno o zahtjevu metode napisan je SQL upit gdje se umjesto konkretnih
vrijednosti postavljaju upitnici ('?'), tj. rezerviraju se mjesta koja će kasnije biti
popunjena.
2. Stvara se instanca razreda PreparedStatement koja interno pohranjuje
prethodno napisani SQL upit.[2]
3. Korištenjem set metoda objekta PreparedStatement prethodno rezervirana
mjesta popunjavaju se konkretnim vrijednostima.
4. Izvršava se upit. Ako upit treba dohvaćati vrijednosti (SELECT upiti) povratna
vrijednost pri izvršavanju će biti instanca razreda ResultSet.
5. Ako je vraćen objekt tipa ResultSet, iterira se kroz njega i uzimaju se svi
potrebni podaci.
Na sljedećih nekoliko slika prikazane su metode pomoću kojih se nešto dohvaća,
pohranjuje, mijenja ili briše iz baze podataka. Zbog velikog broja i opsežnosti pojedinih
metoda, neće biti prikazane sve metode koje se pojavljuju u Tablica 4.1.
26
Slika 4.2 Primjer dohvaćanja podataka: metoda retriveUserReviews().
Slika 4.3 Primjer pohrane podatka: metoda storeFile().
27
Slika 4.4 Primjer brisanja podataka: metoda deleteTask().
Slika 4.5 Primjer ažuriranja podatka: metoda updateTaskName().
28
5. Demonstracija rada sustava
Za demonstraciju sustava pripremljena je jedna glavna (main.zip). jedna
unutarnja (single.zip) arhiva i jedna tekstualna datoteka (zad2.c). Datoteke su
pohranjene u na lokaciji C:\Test\. U glavnoj arhivi (main.zip) su pohranjena tri
kazala, a u svakom od njih se nalazi jedna arhiva. Dvije arhive su u .zip formatu, dok je
jedna u .rar formatu kojega sustav ne podržava. U svakoj arhivi su pohranjene tri
datoteke sa programskim kodom.
U unutarnjoj arhivi (single.zip) se nalaze dvije tekstualne datoteke (zad1.c i zad3.c) i
jedna slika (zad2.png).
5.1. Registracija na sustav
Programski sustav je napravljen tako da ne dopušta pohranu podataka korisnicima koji nisu
registrirani i koji nemaju barem jednu recenziju i zadatak. Stoga se prvo moramo
registrirati na sustav, zatim stvoriti novu recenziju i nakon toga stvoriti novi zadatak.
Programski odsječak sa Slika 5.1 prikazuje registraciju korisnika na sustav.
Slika 5.1 Programski odsječak za registraciju korisnika.
29
Otvaranjem baze podataka preko sučelja phpMyAdmin, vidimo da je registracija uspješno
obavljena.
Slika 5.2 Uspješna registracija na sustav.
Može se primijetiti kako se korisnik i sustav ne moraju brinuti oko dodjele jedinstvenog
identifikatora jer dotični problem rješava baza podataka.
Nakon što smo obavili registraciju potrebno je stvoriti novu recenziju i novi zadatak.
Slika 5.3 Stvaranje nove recenzije.
Identifikator novostvorene recenzije je 12.
Slika 5.4 Stvaranje novog zadatka.
Identifikator novostvorenog zadatka je 19.
30
5.2. Pohrana arhiva i tekstualnih datoteka
Nakon što smo se uspješno registrirali na sustav, stvorili novu recenziju i novi zadatak
možemo početi sa pohranom datoteka u bazu podataka.
Slika 5.5 Spremanje glavne arhive u bazu podataka.
Prethodno je spomenuto da se u glavnoj arhivi nalazi jedna unutarnja arhiva koja je
neispravnog formata, stoga se očekuje da će sustav dojaviti grešku tijekom obrade dotične
arhive, ali da nakon toga neće prestati sa obradom podataka, nego da će ostale ispravne
datoteke obraditi i spremiti u bazu podataka.
Slika 5.6 Ispis pogrešaka prilikom obrade glavne arhive.
Nakon što smo spremili glavnu arhivu, sada idemo pokušati spremiti unutarnju
arhivu (single.zip). Programski odsječak koji obavlja dotičnu radnju prikazan je na
Slika 5.7.
Slika 5.7 Spremanje unutarnje arhive u bazu podataka.
31
Unutar single.zip se nalazi jedna nepodržana datoteka naziva zad2.png. Prilikom
obrade arhive sustav bi nam trebao dojaviti o dotičnoj grešci.
Slika 5.8 Ispis pogrešaka prilikom obrade unutarnje arhive.
Konačno, spremiti ćemo ispravnu tekstualnu datoteku u sustav.
Slika 5.9 Spremanje arhive u bazu podataka.
5.3. Dohvat podataka
Za dohvat podataka je potrebno deklarirati objekt kakav želimo dohvatiti. Na primjer ako
želimo dohvatiti niz zadataka potrebno je deklarirati listu objekata Task, ako želimo
dohvatiti jedan zadatak potrebno je deklarirati jedan Task objekt, itd. Nakon deklaracije
objekta, pozivamo metodu iz razreda DatabaseIO koja dohvaća tražene podatke, te
povratnu vrijednost metode preusmjerimo na deklarirani objekt.
32
Slika 5.10 Primjer dohvata podataka.
Nakon pokretanja prikazanog programskog odsječka ispisuje nam se rezultat kao na Slika
5.11.
Slika 5.11 Ispis rezultata.
33
5.4. Brisanje i ažuriranje podataka
Za brisanje podataka u bazi podataka potrebno je pozvati metodu koja briše podatke iz
određene relacije (sve metode imaju prefiks delete) te preko argumenta predati jedinstveni
identifikator objekta kojeg se želi obrisati.
Slika 5.12 Programski isječak koji briše jedan zadatak.
Za ažuriranje podataka potrebno je potrebno je pozvati metodu koja ažurira podatke iz
određene relacije (sve metode imaju prefiks update) te preko argumenta predati jedinstveni
identifikator objekta kojega se želi ažurirati i vrijednosti koje se žele ažurirati.
Slika 5.13 Preimenovanje zadatka.
34
Zaključak
Sustav je osmišljen tako da buduća nadogradnja bude što je moguće jednostavnija
bez potrebe za mijenjanjem postojećeg izvornog teksta programa. Baza podataka je
osmišljena tako da ne ovisi o programskom sustavu što dodatno povećava fleksibilnost
cjelovitog sustava. Tijekom izrade sustava pojedine komponente su ispitane na velikom
broju različitih ulaza te su riješeni mnogi problemi koji bi mogli izazvati prekid rada
sustava ili netočnu obradu i prikaz podataka.
U budućoj nadogradnji sustava fokusirati će se na prikupljanju dodatnih značajki izvornih
programa i razvoju sustava tako da se mogu obraditi trenutno nepodržani formati datoteka
za pohranu (kao što su .rar i .zip arhive). Paralelno sa razvojem sustava razvijati će se
i baza podataka.
35
Literatura
[1] ZETCODE.COM MySQL Java Tutorial.
http://zetcode.com/databases/mysqljavatutorial/ 2012.
[2] ECKEL, B. Thinking in Java 3rd Edition. 2002.
[3] BAOTIĆ, A. Otkrivanje sličnosti u izvornim tekstovima programa. Diplomski rad.
Sveučilište u Zagrebu, 2011.
36
Sažetak
Pohrana značajki datoteka u programskom sustavu za detekciju plagijata
Namjerno posuđivanje i prepisivanje tuđih programskih rješenja je ozbiljan
problem na mnogim fakultetima. Iz tog razloga razvijen je sustav koji obrađuje studentska
programska rješenja te pronalazi potencijalne plagijate. U ovom radu prezentiran je dio
sustava koji obavlja obradu ulaznih arhiva sa studentskim rješenjima, automatiziranu
obradu studentskih programskih rješenja te pohranjivanje ključnih podataka u bazu
podataka. Osim ključnih podataka o datotekama u bazu podataka pohranjuju se parametri
algoritama koji izračunavaju sličnosti datoteka, rezultati algoritama i cijeli niz drugih
podataka. Sustav je implementiran u objektno-orijentiranom jeziku Java koristeći MySQL
bazu podataka. Za učitavanje i obradu arhiva i datoteka implementiran je paket
hr.fer.csi.input, a za pohranjivanje u bazu podataka i pristup podacima
implementiran je paket hr.fer.csi.database.
Ključne riječi: obrada arhiva, obrada datoteka, značajke datoteka, upravljanje bazom
podataka, Java, MySQL.
37
Summary
File Proporties Storage in the Plagiarism Detection Programming System
Many faculties have a serious problem with students that deliberately borrow and
copy another student's software solutions. For this reason, a system that finds potential
plagiarism is needed. In this paper a part of the system that handles input archive files,
processes them and handles storing key information to a database is discussed. In addition
to key information, many other values are also stored in the designed database. Some of
these values include parameters of algorithms that find potential plagiarism, results of
those algorithms and other data. The whole system is implemented in the object-oriented
programming language Java and uses a MySQL database. The package hr.fer.input
handles file and archive processing and the package hr.fer.database handles file
storage.
Keywords: archive processing, file processing, file characteristics, database management,
Java, MySQL.
