1

RAPORT ŞTIINŢIFIC ŞI TEHNIC

Raport final 2011-2016

Titlu proiect: Sistem pentru palpare virtuală şi training avansat, diagnostic medical şi tratament

(VIPsystem)

Contractul de finanțare nr: 2011‐3.2‐0503

Director: Conf. Univ. Dr. Dan Gheonea

OBIECTIVELE PROIECTULUI:

Obiectivul major al proiectului constă în dezvoltarea unui dispozitiv haptic de simulare a procedurilor

medicale specifice diagnosticului şi evaluării preoperatorii a maselor tumorale hepatice şi pancreatice,

cu posibilitatea de a îl integra în programa de educaţie medicală.

Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapele 1–5

Pe parcursul celor cinci etape am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

și testând un dispozitiv haptic de simulare a procedurii medicale de palpare preoperatorie a maselor

tumorale intra-abdominale, hepatice și pancreatice, bazat pe date obținute prin computer tomograf (CT) și

elastografie.

Toate componentele sistemului au fost realizate și testate, așa cum rezultă din îndeplinirea

obiectivelor principale, redate mai jos.

Obiectivele principale constau în:

O1: Stabilirea protocoalelor de lucru pentru evaluarea pacienţilor cu cancer hepatic şi pancreatic,

metodele de achiziţie a datelor şi management-ul ulterior

Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapa 1 (1.1)

S-a realizat o documentare extensivă în ceea ce priveşte ultimele metode de diagnostic molecular

şi imagistic al cancerului hepatic şi pancreatic cu accent pe achiziţia şi prelucrarea digitală a imaginilor.

Elastografia este metoda imagistică ce apreciază elasticitatea țesuturilor. Prima metodă elastografică

aparută a fost Transient Elastography (TE), urmată de Real Time Elastography (RT–E) și Acustic Radiation

Force Impulse (ARFI). Dezvoltarea computer tomografiei multispirală (MDCT), cu rezoluţie spațială şi

temporală superioară, a dus la îmbunătățirea depistării și caracterizării leziunilor focale.

O2: Stabilirea algoritmilor diagnostici prin metode imagistice – elastografie trans-abdominală, eco-

endoscopică şi intra-operatorie, tomografie computerizată multi-slice, şi integrarea datelor în modelul

computerizat de simulare a elasticităţii tumorale

Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapa 1 (1.2)

S-au stabilit în continuare protocoalele de examinare a pacienţilor, câmpurile bazelor de date

precum şi criteriile de includere şi excludere din studiu. În funcţie de acestea s-a realizat selecţia ulterioară

a pacienţilor evaluaţi.

Pacienţi cu tumori hepatice

Criterii de includere

o varsta peste 18 de ani

o dimensiunea formatiunii cuprinsa intre 1 si 7 cm astfel incat tumoara sa fie inconjurata de

parenchim hepatic in fereastra de elastografie

2

o formatiune situata la o profunzime mai mica de 10 cm fata de sonda ecografica

Criterii de excludere

o tumori profunde, de dimensiuni mari sau greu vizibile in ecografia standard

o pacienti alergici la substanta de contrast administrata la examenul computer tomografic

o pacienti cu insuficienta renala sau hepatica severa

Pacienţi cu tumori pancreatice

Criterii de includere

o Pacienţi diagnsoticaţi cu tumoră pancreatică solidă cu confirmare citoogică sau histologică

o Vârsta între 30 şi 75 de ani, bărbaţi sau femei

o Semnarea consimţământului informat pentru efectuarea EUS

Criterii de excludere

o Tratament chirurgical cu intenţie curativă sau chimio/radioterapie

o Pacienţi diagnosticaţi cu tumori producătoare de mucină sau tumori chistice

Principiul de funcționare al bazei de date, cât și

interacțiunile între diferitele secțiuni ale acesteia,

până la crearea și redarea modelului

tridimensional final, accesibil prin metodele

haptice de interacțiune.

Bazele de date care au stocat datele pacienților au

fost securizate folosind protocoalele Secure

Socket Layer (SSL) și Transport Layer Security

(TLS). Acestea sunt protocoalele de securitate cel

mai des utilizate astăzi, definind de fapt un singur

protocol standardizat. Astfel, datele au fost

securizate cu ajutorul unui protocol care prevede

un canal securizat intre doua mașini care operează

pe Internet sau pe o rețea internă. Sistemul de baze

de date conceput permite conectarea printr-un

browser web în siguranță la un server de web de pe Internet, lucru nesigur în mod normal care însă a fost

posibil folosind protocolul SSL.

3

O3: Dezvoltarea şi implementarea unui software de reconstrucţie şi simulare în cadrul unei aplicaţii de

realitate virtuală pentru vizualizarea tumorilor

Grad de atingere: Obiectiv îndeplinit în totalitate (100%)– Etapele 2 (2.2, 2.3), 3 (3.1), 4 (4.1) și 5 (5.1, 5.2)

Aplicatia este construita sa functioneze de pe locatia „D:\ pacienti”, aceasta citind o serie de 50 de

imagini generate din tomograf cu ajutorul carora se va realiza redarea volumetrica. Imaginie trebuie

denumite sub forma „pacient-000” pentru prima si „pacient-049” pentru ultima.

Modelele 3d reprezentand organul vor fi 3 la numar: primul cu denumirea „organ_vizual” va fi cel

intreg cu proprietati vizuale aproape de realitate, cel cu denumirea „organ_afectat” va fi partea nesanatoasa

a organului cu prorpietatile haptice corespunzatoare aplicate, iar cel cu denumirea „organ_sanatos” va

reprezenta partea sanatoasa a lui cu proprietati haptice corespunzatoare.

Datele pacientilor se vor salva in directoare separate incluse in „d:\Pacienti”, iar modelele active si

imaginile CT se vor fi copia in radacina acestuia.

Directorul in care trebuie inlocuite modelele 3 si seria de imagini din CT

Vizualizare volumetrica

Butoane import modele 3D

Aplicatia permite 3 moduri de vizualizare, x-ray (volumetria) si organul izolat in camera de consultatii

sau organul izolat pe fundal negru.

4

Utilizand sliderele din dreapta, utilizatorul roteste sau sectioneaza pe axele X, Y si Z volumetria

Butonul ce permite vizualizarea volumetrica

Urmatoarele 2 moduri de vizualizare permit utilizarea dispozitivului haptic in 2 scene diferite, in functie de

preferinta utilizatorului. Ambele moduri permit deplasarea in jurul organului pentru a facilita analiza

acestuia fara constrangeri, deplasarea facandu-se prin intermediul tastaturii si a mouse-ului.

Moduri de vizualizare ce permit palparea virtuala utilizand butonul evidentiat

In imaginea de mai jos este reprezentat un ficat pregatit pentru palparea virtuala, inainte ca mana sa faca

contact cu acesta.

Mod palpare, fara contact cu organul

Experiment cu un fișier de tip „obj”

Common Layer Interface (CLI) – este un format internațional pentru date geometrice de intrare

pentru sisteme de fabricație a modelelor bazate pe Layer Manufacturing Technologies (LMT). Este potrivit

pentru sisteme ce creează modele de bază strat cu strat.

Simularea interacțiunii dinamice dintre obiecte folosește ecuații de rezolvare. SOFA se bazează pe

mai multe concepte inovatoare cum sunt reprezentarea multi-model și SOFA mapping. Cele mai multe

componente de simulare: modelele deformabile, coliziunile între modele, instrumente, pot avea mai multe

reprezentări corelate printr-un mecanism de mapare. Fiecare reprezentare poate fi apoi optimizată pentru o

anumită activitate - de exemplu, detectarea coliziunii.

5

Se observă prezența cursorului pentru dispozitivul

haptic - Geomagic TouchX

Cursorul cu ajutorul căruia s-a efectuat palparea

este un obiect care permite deformarea.

Se observă prezența cursorului și a dispozitivului

haptic –Geomagic TouchX

Considerând modelul deformabil al ficatului prezentat în figura de mai jos, acesta este simulat

folosind trei modele diferite. Primul model se referă la reprezentarea și comportamentul intern mecanic al

ficatului și este determinat utilizând metoda elementelor finite. Geometria acestui model este optimizată

pentru calculul forțelor interne cu ajutorul unui număr redus de tetraedre pentru viteză și precize. Cel mai

bun compromis între precizie și viteză în detectarea coliziunilor solicită un alt model geometric, în timp ce

vizualizarea realistă necesită cu siguranță o geometrie. Cel de-al doilea model se referă la detectarea

coliziunilor și forțele de răspuns, în timp ce un al treilea model este dedicat procesului de redare vizuală.

Sofa - Maparea modelului pentru ficat

Sofa - Modelul nivelului de coliziune

Sofa – Modelul corespunzător redării vizuale

6

Modelarea prin metoda elementelor finite a ficatului si tumorii (utilizand Ansys), prin prelucrarea

modeluilui 3D si a informatiei obtinuta prin elastografie mapata peste geometria tumorii.

Simularea operatiei de palpare cu identificarea zonei tumorale. Se observa deformatia tesutului de palpare

cu delimitarea tumorii. Modelul virtual deformabi astfel realizat va fi transferat către echipamentul haptic.

Interacţiunea cu modelul tridimensional în cadrul realităţii virtuale

Identificarea particularităților anatomice și fiziologice ale sistemului senzorial tactil utilizate în

proiectarea și realizarea sistemului haptic

Utilitatea dispozitivelor haptice constă în faptul că utilizatorul reușește să cunoască

mediul cu care interacționează prin contactul direct, fizic cu mediul.

In esență, prin contactul tactil, utilizatorul identifică două tipuri de informații:

Informații primare – identificate direct de sistemul senzorial tactil:

- Existența corpului de contact

- textura suprafeței de contact

- consistența suprafeței de contact

Informații complementare – identificate în conjuncție cu mișcarea mâinii:

- forma corpului de contact

- volumul corpului de contact

- greutatea corpului de contact

- caracteristicile mediului în care se află corpul de contact, privind umiditatea,

vibrații, temperatura, presiune, eventual pH-ul

- modul în care corpul de contact reacționează mecanic (forțe de rezistență,

moment de torsiune) cu mediul in care acesta din urma este integrat

Pornind de la informațiile DICOM furnizate de investigarea CT și completate cu informațiile despre

elasticitate a fost realizata reconstrucția volumetrică în trei dimensiuni, rezultand un obiect în format OBJ.

7

O4: Modelarea tumorilor pe baza datelor volumetrice şi tapetarea acestui volum virtual cu informaţia

elastografică menită să reproducă diferenţele de elasticitate a ţesutului tumoral, baza pentru palparea

virtuală a acestora

Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapele 2 (2.3, 2.4) și 3 (3.1, 3.2)

Pentru ca aplicatia VIPsystem sa poata fi realizata este nevoie si de crearea modelului 3d specific organului

ce se doreste a fi studiat. Aceasta presupune mai multe faze de realizare, prima dintre ele fiind generarea

modelului 3d cu ajutorul unei platforme software pentru analiză (inclusiv inregistrarea și segmentarea

interactiva) și vizualizare (inclusiv redarea volumului) al imaginilor medicale si pentru cercetare in terapia

de tip IGT (image guided therapy).

Generarea modelului 3d in aplicatia specifica ce poate interpreta seria de imagini DICOM cuprinde mai

multe faze:

1 Importul seriei de imagini, aceasta faza presupunand introducerea seriei de imagini in programul folosit

pentru vizualizare, interpretare si generare a modelului 3d

2 Optimizarea seriei de imagini importate prin reglarea nivelului de luminozitate si contrast la un nivel

optim, astfel incat sa permita interpretarea lor la un nivel cat mai exact

3 Pregatirea si separarea zonei de interes, aceasta faza reprezentand etapa prin care se stabilesc limitele de

interes din cadrul modelului, asta putand sa insemne un organ sau mai multe organe sau doar o anumita

zona dintr-un organ

4 Vizualizarea si optimizarea reprezentarii 3d a organului studiat sau a zonei de interes

5 Generarea modelului 3d si reglarea nivelului de calitate a modelului generat (reducerea numarului

de poligoane, nivelul de netezire al suprafetelor)

Folosirea forțelor de răspuns în SOFA

Modelul corespunzătoare SOFA este un set de componente conectate la un nod comun numit

scenegraph. Nodurile de tip scenegraph nu sunt noduri de simulare; fiecare componentă este responsabil

pentru un set redus de sarcini implementate cu ajutorul funcțiilor virtuale într-o abordare orientată pe

obiecte. Platforma SOFA oferă un mediu unitar pentru implementarea în cadrul simulărilor pentru

algoritmii de simulare a coliziunilor, algoritmii de deformare, precum și simularea forțelor de răspuns. Ea

reprezintă un mediu propice pentru implementarea și testarea algoritmilor și metodelor în cadrul

simulărilor, centrul de interes nefiind pe calitatea interacțiunii cu scena în timp real, ci pe capacitatea

înregistrarii și redării în timp real.

Conectivitatea care se referă la tetraedru este stocată în TetrahedronSetTopologyContainer și este

transmisă altor componente, cum ar fi TetrahedralCorotationalFEMForceField, care acumulează forță pe

baza elementelor finite. Un număr arbitrar de funcții de tip forță pot fi atașate la nodul scenegraph, cum ar

fi SpringForceField, care acumulează forțele generate de suprafața membranei externe a ficatului și

ConstantForceField, care se acumulează forțe externe la un anumit subset de noduri de simulare (de

exemplu presiunea exercitată de diafragma asupra ficatului). FixedConstraint este folosit pentru a anula

deplasările particulelor. Fiecare componentă poate interoga nodul mamă pentru a avea acces la starea locală

8

și topologia. Algoritmi nivel înalt, cum ar fi integrarea de tip timp, sunt implementați cu ajutorul șablonului

de proiectare de tip vizitator care permite parcurgerea structurii de date care reprezintă modelul ficatului și

forțele de răspuns atașate acestuia.

Funcția MeshLoader este folosită pentru a citi topologia și geometria din cadrul fișierului XML de

tip scenă (format .scn). Coordonatele x, y ale nodurilor și toți ceilalți vectorii sunt stocați în cadrul stării

obiectului - MechanicalState, care este componenta de bază a modelului mecanic.

Sofa – forța de tip Spring

Sofa – forța de tip element finit

Acest tip de proiectare este foarte modulară deoarece componentele sunt independente una de

cealaltă. Pentru eficiență, MechanicalState conține vectorii de stare ai tuturor nodurilor de simulare pentru

obiectul ficat, pentru a evita apeluri consecutive ale funcțiilor virtuale. Dimensiunea vectorului este dată de

numărul de noduri și fiecare intrare vector are dimensiunea tipului de nod. Se folosesc clase parametrizate

C++ pentru a evita redundanță între tipurile scalare (float, double) și între tipuri de noduri (particule, cadre

sau coordonate generalizate). Toate nodurile unui vector au același tip, cunoscut la compilare, pentru a

permite optimizări. Nodurile folosite pentru simulare sunt păstrate în diferite stări atașate la diferite noduri

scenegraph, eventual legate de forțele de interacțiune.

Mai multe clase care reprezintă forțele sunt folosite în SOFA, inclusiv forțe pentru reprezentarea

volumetrică (tetraedre și hexaedre) sau de suprafață; obiecte deformabile utilizând reprezentări de tip

hiperelastic au fost de asemenea utilizate. Diferitele tipuri de forțe elastice permit modelarea ușoară și rapidă

a deformațiilor, iar pentru obiectele rigide, componentele principale sunt gradele de libertate și matricea de

masă care conține inerția obiectului. Suprafețele sunt aplicate sub-obiectelor folosind maparea.

Scenele pot fi construite procedural folosind componenta SOFA-Modeller sau citite din fișiere

XML al căror format este prezentat mai jos. Vizualizare interactivă este realizată folosind OpenGL, Ogre

sau OpenSceneGraph. Secvențele de fișiere care se referă la geometrie sunt exportate, pentru a crea imagini

și clipuri video. O caracteristică interesantă a scenelor de tip graf este capacitatea lor de a fi încărcate,

respectiv salvate din, respectiv în fișiere text.

9

<?xml version="1.0"?>

<Node name="scene" showVisualModels="1" showBehaviorModels="1" showCollisionModels="1"

showMappings="0" showForceFields="0" >

<DefaultPipeline name="collisionPipeline" />

<BruteForceDetection name="broadPhase" />

<NewProximityIntersection name="narrowPhase" />

<DefaultContactManager name="contactManager" response="default" />

<Node name="rigid" >

<EulerSolver name="eulerSolver" />

<MechanicalState template="Rigid" name="rigidDofs" position="0 0 0 0 0 0 1" />

<UniformMass template="Rigid" name="rigidMass" />

<Node name="contactModel" >

<MechanicalState template="Vec3d" name="sphereCenters" position="0 0 0" />

<SphereModel template="Vec3d" name="spheres" fileSphere="mesh/liver.sph" />

<RigidMapping name="sphereMapping" input="@../rigidDofs" output="@sphereCenters" />

</Node>

</Node>

<Node name="deformable" >

<RungeKutta4Solver name="rungeKutta4Solver" />

<MechanicalState template="Vec3d" name="particleDofs" position="2 0 0 3 0 0" />

<DiagonalMass template="Vec3d" name="particleMasses" massDensity="1" />

<SphereModel template="Vec3d" name="paricleSpheres" />

<SpringForceField template="Vec3d" name="internalForces" />

</Node>

<SpringForceField template="Vec3d" name="contactSpring"

object1="rigid/contactModel/sphereCenters" object2="deformable/particleDofs" />

</Node>

Integrarea dispozitivelor haptice în scenele SOFA

Este utilizat un sistem foarte simplu de cuplare, prezentat în figura următoare. Cuplarea este directă,

simularea va juca rolul unui controlor într-o buclă deschisă.

Pentru detectarea coliziunilor și forța de răspuns, răspunsul de contact rapid este furnizat folosind

constrângeri cu frecare și se bazează pe sub-zone definite pentru suprafață ficatului. Este ilustrată o simulare

în timp real care implică contacte între instrumente chirurgicale reprezentate cu ajutorul dispozitivelor

haptice și ficat. Feedback-ul haptic, de fapt mișcarea instrumentului este controlat cu ajutorul unei interfețe

haptice. SOFA include drivere pentru diferite interfețe haptice și oferă algoritmi de randare haptice. S-a

proiecat un formalism generic pentru rezolvarea interacțiunilor între diverse dispozitive medicale și

structuri anatomice, precum și pentru calcularea redării haptice asociate.

Pentru specificarea modelelor specifice interacțiunilor se folosesc mecanisme virtuale (pentru

obiecte deformabile) și sunt rezolvate printr-un proces bazat pe constrângeri. Cu această abordare, este

descris comportamentul specific al diverselor dispozitive medicale în timp ce depind de o metodă unică

pentru rezolvarea interacțiunile și calcularea feedback-ului haptic. Dinamica obiectelor virtuale este

determinată la rata scăzută în simulare și forțele de interacțiune mecanice sunt modelate și rezolvate cu

ajutorul constrângeri. Această reprezentare include (a) o măsură fizică întemeiată de cuplarea mecanică

10

dintre diferitele interacțiunile și (b) un set de momente cinematice care surprind comportamentul

interacțiunile modelate cu ajutorul legilor de constrângere.

Metoda de palpare a ficatului folosește un concept nou: hărți dinamice de forță și o îmbunătățire cu

privire la algoritmul de redare haptic pentru calcularea rigidității [6]. Metode numerice pentru soluții

aproximative a ecuatiilor cu derivate parțiale, cum ar fi metoda elementului finit (FEM) au câștigat teren în

unele simulări interactive. Un API generic care oferă modelarea algoritmilor pentru țesuturile moi este

Haptics3D (H3D). Principalul avantaj al H3D este capacitatea de a crea prototipuri rapide făcându-l ușor

pentru dezvoltator de a gestiona atât grafica 3D și redarea haptic. Doi factori sunt importanți pentru

țesuturile 3D deformabile: proprietățile de suprafață ale țesuturilor și rigiditatea. Primul definește

proprietățile vizuale și haptice la atingere, în timp ce al doilea este parte a algoritmului de deformare, care

oferă vizual, precum și feedback-ul în timpul interacțiunii cu țesutul prin palpare.

Pentru a simula proprietăți de rigiditate diferite pentru țesutului ficatul este suprapus peste

algoritmii H3D de randare haptică o rețea hexagonală de tip hipergraf. Deformarea vizuală a țesutului

depinde de coordonatele curente și forța aplicată pe suprafața. Algoritmul de deformare vizual sub

platforma H3D folosește o funcție Gauss. Forța de răspuns este calculată de la modelul haptic, având în

vedere distanța de penetrare, constanta de deformare elastică, precum și doi parametri ai nodului de

deformare: rigiditate și amortizare. Un factor de amortizare mare înseamnă că elasticitatea țesutului pentru

punctul curent este redusă.

Bazându-se pe modelul de redare haptic hipernodul asociat cu fiecare nod al modelului poligonal

pentru a stoca valori care vor fi ulterior interpretate ca proprietăți de rigiditate al țesutului pe baza patologiei

(de exemplu, locație și mărimea țesutului chistic). Pentru fiecare hipernod al hipergrafului sunt atașate

valori care vor fi interpretate ca valori de rigiditate.

Aceste valorile au fost determinate în faza de modelare 3D pentru fiecare pacient. Au fost generate

pentru a fi folosite în cadrul simulării mai multe modele hepatice cu diferite stări de evoluție a bolii. Aceste

modele vor fi folosite pentru a pregăti studenții pentru a diagnostica patologii hepatice prin palpare.

O5: Testarea sistemului în diagnosticul on-site cât şi la distanţă, antrenarea pre-operatorie, aplicaţii

computerizate pentru e-learning şi aplicaţii telemedicale diverse

Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapele 3 (3.3), 4 (4.3) și 5 (5.3)

Am implementat dispozitivul haptic în cadrul pregătirii extra-curriculare a studenților anului V, pe

parcursul cercului studențesc de gastroenterologie. Astfel, studenții au fost familiarizați cu aspectul

interfeței cu utilizatorul, explicându-se poziționarea butoanelor, slide-urilor și potențiometrelor virtuale în

imaginea vizibilă prin HUD-ul de realitate virtuală.

Studenții au fost instruiți pe parcursul a trei ore atât în ceea ce privește introducerea datelor în

sistem, cât și în folosirea efectivă a simulatorului haptic. Le-a fost explicată pe larg funcționarea modelului

tumoral, cât și pașii necesari colectării, stocării și folosirii datelor imagistice complexe. Pașii au fost

considerați necesari, o înțelegere bună a sistemului fiind necesară completării unui chestionar standardizat.

Pasul următor a fost deci elaborarea și distribuirea unui chestionar, cu scopul de a testa ușurința în

înțelegere și utilizare a sistemului de către studenți și medici rezidenți aflați în timpul pregătirii în

gastroenterologie. Astfel, s-a ținut cont de principalele tipuri de cerințe ale utilizatorilor în ceea ce privește

o interfață grafică pentru controlul unui dispozitiv haptic, și anume:

- Gradul de corectitudine anatomică al modelului virtual

- Manevrabilitatea dispozitivului

- Ușurința în utilizare a dispozitivului haptic

- Ușurința în a deprinde mișcările necesare poziționării modelului virtual

- Ușurința în introducerea datelor

- Gradul de noutate adus de sistem pentru cursanți

În continuare, studenților li s-a cerut să completeze chestionarul cu 10 întrebări, menit să aducă

informații cuantificabile referitoare la nivelul de satisfacție, al înțelegerii și posibilităților de îmbunătățire

a sistemului. Scala de notare a cuprins exprimarea acordului sau dezacordului subiecților în legătură cu

11

afirmații standardizate referitoare la sistemul VIP. Doar subiecții care au folosit sistemul ulterior unei

sesiuni complete de instruire au fost incluși în evaluare.

Un număr de 90 de studenți

și tineri rezidenți au

completat chestionarul.

Rezultatele evaluării pot fi

urmărite în tabelul următor.

Nici un student nu a raportat

deficiențe majore în

utilizarea sistemului. Nu au

fost semnalate

disfuncționalități importante

ale interfeței grafice, iar

sistemul de realitate virtuală

a fost bine tolerat de către

subiecți.

Toți studenții intervievați au

considerat sistemul util

pentru acumularea de

cunoștințe noi despre

patologia hepatică malignă;

de asemenea, aplicabilitatea

acestor informații a fost

recunoscută de către toți

subiecții (90/90, respectiv

100% din lotul studiat).

Interfața a fost considerată

ușor de folosit de către toți

studenții, în grade diferite de

tolerabilitate; aproximativ

două treimi dintre aceștia nu

au avut probleme în

acomodarea cu aceasta, iar

aproximativ o treime (24/90

– 26,6%) considerând

interfața prietenoasă și având probleme minime de acomodare.

Un singur respondent nu a considerat dispozitivul ușor de folosit, însă a putut folosi interfața după

o sesiune scurtă de antrenare pentru acomodare; restul acomodându-se ușor cu acesta – 80 (88.88%) au

considerat sistemul extrem de accesibil, 9 subiecți nu au întâmpinat probleme majore.

Sistemul de realitate virtuală a fost cel mai greu tolerat de către studenți – aproximativ o treime

(21/90 – 20.33%) considerând experiența parțial realistă, un student considerând-o artificială. Modelul

tridimensional nu a putut fi asimilat în totalitate cu unul real, deoarece majoritatea studenților percepeau

forma anatomică a ficatului și configurația sa naturală, sistemul punând la dispoziție informația

elastografică pe suprafața randată, aportul informațional derivat din această vizualizare fiind considerat

superior de către utilizatorii mai avansați (68 dintre respondenți – 75.55%).

Interacțiunea cu modelul a fost considerată facilă, acesta fiind ușor de manevrat de către toți

respondenții – aceștia au fost de acord sau în total acord cu această afirmație.

De asemenea, redarea ficatului în configurație anatomică inițială și raportarea acestuia la structurile

anatomice adiacente, fiind bazată pe imaginile furnizate de imagistica tip CT/RMN, a fost satisfăcătoare

pentru toți subiecții.

12

Dezacord

puternic Dezacord

Parțial de

acord

De

acord

Acord

puternic

Modelul respectă dimensiunile reale

alte tumorii 0 0 0 0 90

Modelul reproduce fidel forma

tumorii 0 0 0 0 90

Modelul reproduce fidel locația

tumorii 0 0 0 0 90

Modelul este ușor de manevrat 0 0 1 2 87

Dispozitivul haptic permite

interacțiunea facilă cu modelul

virtual

0 0 5 5 80

Echipamentul de realitate virtuală

oferă o experiență realistă 0 1 21 42 26

Sistemul este ușor de folosit 0 0 1 9 80

Interfața este ușor de folosit și

prietenoasă 0 0 0 24 66

Sistemul a oferit informații utile

despre caracteristicile tumorilor

hepatice

0 0 0 0 90

Sistemul a fost util la acumularea de

noi cunoștințe despre patologia

studiată

0 0 0 0 90

Creare de scene dinamice in Unity

Prototipul de sistem software dezvoltat permite simularea palpării ficatului și are ca țintă identificarea

anatomiei și țesutul hepatic anormale. Dispozitivul de interacțiune are un diametru cuprins între 5 și 10 mm

și se introduce în regiunea abdominală a pacientului în timpul procedurii chirurgicale.

Instrumentele chirurgicale sunt în general obiecte rigide care interacționează între ele și cu țesutul care

efectuează o serie de operațiuni de exemplu tăierea țesutului, sau suturarea acestuia. Interacțiunile cu țesutul

hepatic deformabil includ contactul, palparea și penetrarea suprafaței. Atunci când se produce o coliziune,

evenimentul generat este gestionat de sistemul software în ceea ce privește două componente: vizual -

efectul vizual al interacțiunii (de exemplu, deformarea țesutului) și haptic - o forță de feedback este trimisă

înapoi către utilizator prin intermediul dispozitivului haptic. Valoarea forței depinde de caracteristicile

fizice ale modelării la deformare a țesutului și în acest fel structura țesutului este un factor important pentru

o simulare realistă.

Pe baza experienței noastre anterioare cu SOFA (https://www.sofa-framework.org), am decis să

includem două categorii de scene: scene pentru sesiunile de familiarizare a utilizatorului cu dispozitivul

haptic și Oculus VR, iar cea de a doua categorie de scene se concentrează pe procedura medicală și anume

palparea țesutului hepatic. Procedura de palpare pentru evaluarea țesutului hepatic folosește 4 tipuri de

scenă, una pentru fiecare patologie hepatică majoră: ficat normal, ficat cirotic, ficat chistic si ficat hepatic.

În fiecare scenă, utilizatorul poate acționa un instrument virtual (replică realistă a unui forceps Babcock),

care permite palparea virtuala 3D a ficatului, fara posibilitatea de penetrare a țesuturilor. Utilizatorul devine

familiarizat cu manipularea instrumentului haptic și interfața grafică, înainte de a începe sesiunile de

formare propriu-zise.

In timpul sesiunii normale de evaluare a ficatului, reprezentarea grafică a unui sistem cartezian 3D, în

colțul din stânga jos al ecranului facilitează orientarea utilizatorilor în scena 3D. Acest scenariu are ca scop

13

evaluarea și îmbunătățirea cunoștințelor teoretice și practice în evaluarea unui ficat normal, prin palpare.

Procesele de evaluare se concentrează pe îmbunătățirea controlului gest si coordonarea mana-ochi în timpul

palpării hepatice prin evaluarea cantității de forță aplicată asupra țesutului, direcția forcepsului, localizarea

și frecvența de sondare de țesut, precum și metodologia de palpare pe un țesut hepatic sănătos.

În cazul ficatului cirotici, utilizatorul folosește forcepsul pentru a observa și a înțelege atributele

suprafeței hepatice. Dupa ce utilizatorii s-au format o opinie despre ficat bazat pe palpare, aceștia

completează diagnosticul de ficat răspunzând la un set de întrebări despre diferite atribute ale țesutului de

exemplu culoare sau textura suprafeței.

Evaluarea unui țesut ce prezintă formațiuni chistice urmează aceleași etape: un set de întrebări cu

variante multiple, urmate de gestul tactil necesar pentru a valida răspunsul. Modelul ficatului chistic are

două tipuri de chisturi: un tip vizibil, pe suprafața ficatului, care tactil se simt și arată diferent raportate la

proprietățile vizuale din țesutul normal și un chist intern, care este invizibil pentru ochi, dar detectabil prin

palpare și prin valoarea forței de feedback generată de dispozitvul haptic.

Din cauza existenței acestor două tipuri de chisturi, utilizatorul trebuie sa palpeze cu atenție suprafața de

ficat pentru a identifica toate formațiunile existente în ficat (atât de suprafață și chisturi interne)

Hepatita este o boală gravă a ficatului, care schimbă proprietăți ale țesutului hepatic atât vizual cât și în

ceea ce privește elasticitatea și consistența țesutului. Deși aceste modificări sunt detectabile prin palpare,

deseori, aceste proprietăți se schimbă destul de lent astfel încât fac nedetectabilă o situație de urgență în

cazul în care palparea nu se face cu atenție.

În prezent, platformele Augmented Reality(AR) și Virtual Reality (VR) nu se preocupă de feedback-ul

haptic suficient de bine pentru a satisface așteptările din domeniul medical. In timp ce chirurgii folosesc

AR si VR pentru procedurile pe care nu le pot vizualiza direct, acestea ar fi mai utile pentru procedurile în

care capacitatea de a "simți" interacțiunea dintre dispozitive și anatomie este cel mai important aspect.

O altă caracteristică a arhitecturilor care folosesc AR și VR poate fi posbilitatea de a schimba anatomia la

cerere, dar nici aceasta nu este suficient de exploatată. De exemplu, utilizatorul poate trage o bară de cursor

pentru a schimba mărimea sau forma unui ficat.

Domeniul de cercetare și sistemul software proiectat se încadrează în cadrul educației clinice, care poate fi

și la distanță. Sunt părți ale lumii nedezvoltate care nu dispun de resursele și tehnologia pentru a oferi o

instruire directă pentru medici si personalul medical. VR are capacitatea de a oferi o înaltă calitate, relativ

low-cost prin intermediul unei platforme de formare care ar putea crește în mod semnificativ accesul la

îngrijire și a calității asistenței medicale în zonele subdezvoltate.

În același timp sistem poate fi remodelat astfel încât să permită și proceduri chirurgicale de formare. Etapa

de formare pentru domeniul chirurgie presupune costuri ridicate și provocări etice. În prezent, cele mai

multe astfel de proceduri se fac fie pe animale sau pe cadavre.

Pentru formare de bază în domeniul anatomiei imaginile vin de obicei din ilustrații în cărți sau prin utilizarea

cadavrelor. Considerarea modului în care AR și VR pot îmbunătăți formarea in domeniul anatomiei prin

posibilitatea de a evidenția și de a vizualiza relațiile dintre structurile anatomice, adăugarea și eliminarea

structurilor pentru a crește vizibilitatea, această pregătire ar primi o nouă sanșă de dezvoltare.

Complicatiile chirurgicale pot fi devastatoare pentru pacient, chirurg și spital. Prin capacitatea de a

incorpora imagini reale ale pacienților CT în AR și VR, chirurgii pot planifica, colabora, si practica cu

echipa chirurgicală într-un mediu 3D. Aceasta ar putea conduce la scaderea ratei de apariție a complicaților

și la rezultate mai bune din punct de vedere chirurgical.

De multe ori, rezidenții sosesc nepregătiți în sala de operație de la noul loc de muncă. Echipamentele din

sala de operații sunt necunoscute și această necunoaștere poate contribui la ineficiența și ezitare, care ar

14

Etapa de dezvoltare si configurare a elementelor de control ale obiectului de studiu din cadrul aplicatiei VIPsystem. Etapa de dezvoltare si configurare a butoanelor din cadrul aplicatiei VIPsystem

putea duce la complicații pentru pacient. VR poate crea o o sala de operație virtuală astfel încât rezidenții

se pot familiariza cu aspectul și fluxul de lucru.

Folosirea Unity care permită dezvoltarea de aplicații și pentru platformele mobile Android, iOS și Windows

Mobile, dă posibilitatea ca sistemul proiectat să poată fi folosit și pentru astfel de dispozitive.

O6: Dezvoltarea specificaţiilor pentru utilizatori (facultăţi şi spitale)

Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapa 5 (5.4)

A fost realizat un manual de utilizare a dispozitivului și a aplicației de realitate virtuală, în care au fost

descrise principalele componente și modul lor de folosire.

O componenta importanta a aplicatiei haptice este interfata grafica, prin intermediul ei se realizeaza

interactiunea cu toate functiile prezente aici si implicit utilazarea aplicatiei.

Pentru ca aceasta interfata sa functioneze, ca de altfel intreaga aplicatie, aceasta este compusa din doua parti

principale, partea grafica, vizuala si partea de cod care practic o face sa functioneze.

Realizarea interfetei grafice a aplicatiei haptice VIPsystem

Partea grafica a fost realizata intr-un program specific de editare grafica si importata intr-o aplicatie

de tip cross-platform game engine, prin intermediul ei aplicatia haptica VIPsystem va fi construita

(dezvoltata partea software) si rulata. Tot prin intermediul acestei aplicatii va fi dezvoltata si configurata

partea de funtionalitate si interactiune a interfetei.

Mai jos sunt prezentate niste capturi de ecran cu exemple reprezentative pentru fiecare etapa a procesului

de configurare si realizare a interfetei, utilizand aplicatia de tip cross-platform game engine.

15

Salonul de consultatie implementat in aplicatie

Modele 3D si specificatii pentru implementare

Principiul de baza ce a trebuit luat in considerare in vederea modelelor 3D create petru aplicatie, a fost

crearea unolor modele cu un numar cat mai mic de poligoane pentru a mentine functionalitatea aplicatiei.

Numarul mare de poligoane in modele va crea scaderi de fps (frames per second) astfel am folosit

metoda de a creea modele simple si de a da detaliile din texturi. Detaliile sunt necesare in astfel de modele

deoarece maresc senzatia de fotorealism aferente rezultatului final.

Detaliile includ :

- Amprente.

- Praf / zgarieturi minore aferente echipamentelor folosite moderat.

- Indentatii aferente materialelor componente ale respectivelor echipamente.

- Imperfectiuni minore ce ridica nivelul de fotorealism aferente echipamentelor.

Modelarea 3D

Modelarea 3D a fost facuta pentru fiecare piesa de echipament, luand in considerare ca numarul

de poligoane sa fie cat mai redus pentru a nu provoca probleme in scena finala implementata

( Ex : Desi peretele in scena finala este impartit in bucati de faianta, peretele este creat cu 47 de

poligoane, faianta este data din textura Normal Map ).

Dupa modelare, fiecare element este trecut prin procesul numit UVW Unwrapping

(proces prin care fiecare element este ’aplatizat’ si desfacut sub forma unor planuri 2D pe care

vor fi pictate texturile)

Elementele modelate sunt exportate pentru implementare in 2 formate acceptate: FBX si OBJ

Este necesar ca exporturile sa fie facute dupa ce a fost efectuat procesul de UVW Unwrap pentru

a mentine coordonatele texturilor aferente modelelor.

In varianta finala exportata pentru implementare, este necesar ca obictele modelate cu topologie

din poligoane sa fie importate in aplicatie cu topologia formata din triunghiuri.

Ficat Model 3D Ficat UVW Map

16

Nota : exportarea ca FBX va face triangularea obiectului automat, exportarea ca OBJ trebuie

setata pentru a face triangularea.

Texturi

Texturile au fost pictate pe baza UVW Map-urilor extrase din modelele 3D

Pentru a reda respectivele detalii au fost necesare urmatoarele texturi (Maps - Harti) :

- Albedo / Difuse Map

- Normal Map

- Specular Map

- Gloss Map

- Height Map

- Metalness Map

- AO (Ambient Occlusion Map)

(Formatele ideale pentru aceste harti este PSD/ TIFF/ TARGA)

Desi toate texturile redate mai sus au fost create, cele esentiale pentru implementare sunt:

- Albedo Map

- Normal Map

- Specular Map

- Gloss Map

Toate texturile au fost create de la zero folosind informatii corecte in ceea ce priveste particularitatile

materialelor (gradul de neteditate al suprafetelor, Indicele de reflexie, Indicele de refractie, Gradul de

umiditate, gradul de uzura, etc.)

Exemple de texturi :

Albedo Gloss Normal Specular

Exportarea triangulata a ficatului sub forma de OBJ

Proces de implementare a modelelor in aplicatie

17

In cadrul procesului de implementare este important ca texturile aferente modelului sa fie plasate in

sloturile corecte cu valorile corecte.

Texturile esentiale pentru functionare sunt Albedo, Normal, Specular si Gloss. In fuctie de necesitate se

pot adouca si Ambient Occlusion, Height si Metalness.

Organe

Modelul 3D al ficatului extras din CT este trecut prin procesul de UVW Unwrapping dupa care ii este

aplicata textura de Albedo bruta (textura bruta este produsul din care sunt extrase Normal Map si Specular

Map). Pentru ficatul bolnav, singurul lucru ce se schimba este aplicarea texturii bolnave peste modelul

texturat al ficatului sanatos. In continuare vor fi prezentate cateva imagini cu modelul in 3D Max brut in

stanga si cu modelul finalizat si texturat in drapta.

Aplicatia a fost creata sa permita utilizatorului 3 moduri diferite de vizualizare a scenei, posibilitatea de a

palpa si analiza organul din orice unghi si o vedere volumetrica creata din imaginile sectiuni.

Pentru ca organele sa poata oferi feedback-ul dorit la atingere, zonele sanatoase si cele bolnave au fost

reconstruite folosind geometrii separate pentru ca proprietatile lor sa poata fi introduse corespunzator.

Primul pas a fost crearea geometriei ce ofera feedback-ul vizual, aceasta reprezinta intreg organul, cu

ambele zone (sanatoasa si bolnava). Acestei geometrii i-au fost definite proprietati(elasticitate, densitate,

zone cu sau fara constrangeri) ce ii permit ca la atingere sa se comporte ca organul real.

Urmatorul pas a reprezentat aplicarea unui script care defineste proprietatile haptice pe partile componente

ale organului. Zonele sanatoasa si bolnava au fiecare aplicat cate un script , iar parametrii au fost introdusi

corespunzator zonelor. Parametrii sunt: rigiditate, amortizare, frecare statica, frecare dinamica, rezistenta

tangentiala si amortizare tangentiala.

Dupa ce proprietatile haptice au fost definite, s-a trecut la definirea spatiului de lucru, pozitie si dimensiune

si deasemenea obiectul cu care se face palparea. S-a setat modul in care dispozitivul haptic reda fortele.

Pentru a completa experienta consultatiei virtuale s-a realizat o vedere volumetrica compusa din seria

imaginilor create de computerul tomograf, iar aceasta vedere volumetrica poate fi sectionata pentru o

analiza in detaliu pe axele x, y, si z. Sectiunile volumetriei pot fi controlate prin elemente grafice ale

interfetei.

Model brut Ficat Model Finalizat Ficat Sanatos

18

Proprietatile geometriei ce replica vizual comportamentul ficatului la atingere

Proprietatile haptice ale geometriilor bolnava si sanatoasa

Definirea spatiului de lucru si al obiectului cu care se palpeaza Efectul fortei constante si al vascozitatii

19

Atribuirea geometriei cu care se realizeaza sectionarea

Volumetrie sectionata pe X, Y si Z

In imaginea de mai jos este reprezentata atribuirea shaderelor ce permit vizualizarea volumetrica,

posibilitate de reducere a calitatii pentru sporirea performantei, numarul de sectiuni si sectiunile, puterea

opacitatii volumetriei, dimensiunea imaginilor si stabilirea cubului in care se randeaza volumetria si de

asemenea a planului care sectioneaza. De asemenea de aici poate fi contolata si pozitia planului de

sectionare pe x, y, z.

Definirea shaderelor, numar de sectiuni, dimensiune volum, opacitate si sectionare pe X,Y,Z

Modelul corespunzătoare SOFA este un set de componente conectate la un nod comun numit scenegraph.

Nodurile de tip scenegraph nu sunt noduri de simulare; fiecare componentă este responsabil pentru un set

redus de sarcini implementate cu ajutorul funcțiilor virtuale într-o abordare orientată pe obiecte.

Aplicația Modeler este o unealta grafica bazata pe limbajul Qt creată pentru a ușura crearea de

sccene în SOFA.

Se incarcă fisierele .scn se afiseaza optiunile disponibile in scena respectivă si se pot seta parametrii

disponibili scenei.

20

O7: Dezvoltarea documentaţiei tehnice, specificaţiilor de design şi înregistrarea componentelor la

Oficiul de Stat pentru Inveţii şi Mărci (OSIM)

Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapa 5 (5.5 și 5.6)

Toate părțile implicate în procesul de dezvoltare a dispozitivului au participat la redactarea

descrierii invenției și a revendicărilor acestora. Invenția se referă la un sistem haptic pentru palpare virtuală

a formațiunilor tumorale hepatice și pancreatice, și, în special, la un sistem alcătuit dintr-un dispozitiv

computerizat care primește informații de la computer tomograf și un elastograf, reconstruiește într-un mediu

virtual electronic și afișează o formațiune tumorală tridimensională utilizatorului, care interacționează cu

aceasta prin intermediul unui dispozitiv haptic manual capabil să simuleze deformarea țesutului tumoral.

A fost înregistrată la OSIM cererea de acordare a brevetului de invenție nr. A00911 din 28.11.2016,

fiind achitate toate taxele aferente protejării proprietății intelectuale. Titlul invenției este Sistem haptic

pentru palpare virtuală a tumorilor hepatice și pancreatice cu reconstrucție computerizată

tridimensională. Inventatorii fac parte din echipa proiectului, conform contractului inițial și a cererii de

finanțare, cu respectarea prevederilor acestora.

Director proiect

Conf. Univ. Dr. Dan Ionuț Gheonea