ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

CAO THỊ VÂN ANH

ỨNG DỤNG BI (BUSINESS INTELLIGENCE)

TRONG BÀI TOÁN THẨM ĐỊNH

TÀI SẢN BẢO ĐẢM CỦA NGÂN HÀNG

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Hà Nội – 2017

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

CAO THỊ VÂN ANH

ỨNG DỤNG BI (BUSINESS INTELLIGENCE)

TRONG BÀI TOÁN THẨM ĐỊNH

TÀI SẢN BẢO ĐẢM CỦA NGÂN HÀNG

Chuyên ngành: Kỹ thuật phần mềm

Mã số: 60480103

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS. TRƯƠNG NINH THUẬN

Hà Nội – 2017

LỜI CAM ĐOAN

Tôi xin cam đoan nội dung của luận văn “Ứng dụng BI (Business Intelligence) trong bài toán thẩm định tài sản bảo đảm của ngân hàng” là sản phẩm do tôi thực hiện dưới sự hướng dẫn của PGS.TS.Trương Ninh Thuận. Toàn bộ những điều được trình bày trong khóa luận hoặc là của cá nhân, hoặc được tham khảo và tổng hợp từ các nguồn tài liệu khác nhau. Tất cả tài liệu tham khảo, tổng hợp đều được trích dẫn với nguồn gốc rõ ràng.

Toàn bộ chương trình, mã nguồn là do tôi thiết kế và xây dựng, không sao chép của bất kỳ ai và chưa được công bố trên bất kỳ phương tiện nào.

Tôi xin chịu hoàn toàn trách nhiệm về lời cam đoan của mình. Nếu có điều gì sai trái, tôi xin chịu mọi hình thức kỷ luật theo qui định.

. Hà Nội, Ngày tháng năm 2017

Người cam đoan

Cao Thị Vân Anh

LỜI CẢM ƠN

Tôi xin bày tỏ lòng biết ơn sâu sắc đến thầy hướng dẫn của tôi, PGS.TS. Trương Ninh Thuận. Thầy đã giúp tôi có những cơ hội để có thể theo đuổi nghiên cứu lĩnh vực mình yêu thích. Trong suốt quá trình thực hiện luận văn, thầy đã tận tình hướng dẫn cho tôi, góp ý cho tôi về định hướng, đồng thời đưa ra những lời khuyên bổ ích để tôi có thể hoàn thành luận văn của mình.

Tiếp đến, xin được cảm ơn các thầy cô giáo đã giảng dạy trong quá trình học tập, thực hành, làm bài tập, đọc và nhận xét luận văn của em, giúp em hiểu thấu đáo hơn lĩnh vực mà em nghiên cứu và những hạn chế cần khắc phục trong việc học tập, nghiên cứu và thực hiện bản luận văn này.

Xin cảm ơn các bạn bè, đồng nghiệp và nhất là các thành viên trong gia đình đã tạo mọi điều kiện tốt nhất, động viên, cổ vũ trong suốt quá trình học tập và làm luận văn tốt nghiệp.

Hà Nội, Ngày tháng năm 2017

Cao Thị Vân Anh

MỤC LỤC

LỜI CAM ĐOAN

LỜI CẢM ƠN

DANH MỤC KÍ HIỆU VÀ CHỮ VIẾT TẮT.....................................................................i

DANH MỤC HÌNH VẼ.....................................................................................................iii

DANH MỤC BẢNG..........................................................................................................iii

MỞ ĐẦU.............................................................................................................................1

Lý do chọn đề tài..............................................................................................................1

Mục tiêu của đề tài...........................................................................................................1

Đóng góp của luận văn.....................................................................................................2

Cấu trúc của luận văn.......................................................................................................3

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT....................................................................................4

1.1. Giới thiệu về Trí tuệ nghiệp vụ (Business Intelligence)............................................4

1.1.1. Khái niệm............................................................................................................4

1.1.2. Kiến trúc và thành phần của BI...........................................................................4

1.2.Giới thiệu về Data Warehouse...................................................................................9

1.2.1. Khái niệm............................................................................................................9

1.2.2.Kiến trúc của Data Warehouse...........................................................................10

1.2.3.Xây dựng Data warehouse.................................................................................11

1.3. Giới thiệu về Khai phá dữ liệu (Data mining).........................................................13

1.3.1. Khái niệm..........................................................................................................13

1.3.2.Quy trình khai phá dữ liệu.................................................................................13

1.3.3. Các phương pháp khai phá dữ liệu...................................................................15

CHƯƠNG 2: BÀI TOÁN ỨNG DỤNG BI TRONG HỖ TRỢ THẨM ĐỊNH TÀI SẢN

BẢO ĐẢM CỦA NGÂN HÀNG......................................................................................20

2.1. Ứng dụng của BI trong lĩnh vực ngân hàng.........................................................20

2.1.1. Công nghệ BI trong các hoạt động ngân hàng..................................................20

2.1.2. Một số ứng dụng BI trong lĩnh vực ngân hàng................................................21

2.2. Bài toán thẩm định tài sản bảo đảm trong hệ thống ngân hàng...............................22

2.2.1. Giới thiệu về thẩm định tài sản bảo đảm..........................................................22

2.2.2. Quy trình thẩm định giá tài sản bảo đảm..........................................................23

2.2.3. Phương pháp so sánh trực tiếp trong bước định giá giá trị của tài sản.............25

CHƯƠNG 3: PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG BI HỖ TRỢ THẨM ĐỊNH TÀI

SẢN BẢO ĐẢM TRONG NGÂN HÀNG........................................................................27

3.1.Phát biểu bài toán.....................................................................................................27

3.2. Áp dụng thuật toán K-Nearest Neighbors (KNN) và thuật toán hồi quy tuyến tính

đa biến trong quyết định giá...........................................................................................31

3.2.1. Sử dụng thuật toán K-Nearest Neighbors (KNN) để dự đoán giá trị tài sản thẩm định.33

3.2.2. Dự đoán giá trị tài sản qua phương pháp hồi quy tuyến tính đa biến...............35

3.2.3. Kết hợp thuật toán KNN và hồi quy tuyến tính đa biến...................................37

3.3. Thiết kế ứng dụng....................................................................................................39

3.3.1. Module ETL......................................................................................................39

3.3.2. Module Thẩm định tài sản................................................................................40

3.4. Xây dựng và triển khai............................................................................................56

3.4.1. Xây dựng Database...........................................................................................56

3.4.2. Xây dựng mô hình ứng dụng............................................................................60

CHƯƠNG 4: CÀI ĐẶT VÀ KẾT QUẢ............................................................................62

4.1.Cài đặt.......................................................................................................................62

4.2. Kết quả....................................................................................................................63

4.2.1. Chức năng quản lý thông tin hồ sơ thẩm định..................................................63

4.2.2. Chức năng Cập nhật thông tin chung của hồ sơ................................................64

4.2.3. Cập nhật thông tin pháp lý của hồ sơ................................................................65

4.2.4. Cập nhật thông tin tài sản bảo đảm...................................................................66

4.2.5. Cập nhật thông tin kết luận của báo cáo thẩm định..........................................67

4.2.6. Thuyết minh giá................................................................................................68

4.2.7. So sánh kết quả thực nghiệm trên Web thẩm định và phần mềm Weka..........70

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.........................................................................72

Kết luận..........................................................................................................................72

Hướng phát triển.............................................................................................................73

TÀI LIỆU THAM KHẢO.................................................................................................74

PHỤ LỤC 1.......................................................................................................................75

DANH MỤC KÍ HIỆU VÀ CHỮ VIẾT TẮT

BI Business Intelligence

BĐS Bất động sản

CHCC Căn hộ chung cư

CSDL Cơ sở dữ liệu

CVQHKH Chuyên viên quan hệ khách hàng

CVTĐ Chuyên viên thẩm định

DW Data Warehouse

ĐS Động sản

ĐVKD Đơn vị kinh doanh

ETL Extract - Transform - Load

ESS Explained sum of squares

OLAP Online Analytical Processing

OLTP Online Transaction Processing

HS Hồ sơ

RSS Residual sum of squares

SĐT Số điện thoại

SQL Structured Query Language

KD Kinh doanh

KS Khảo sát

KNN K Nearest Neighbor

TĐ Thẩm định

TS Tài sản

TSBĐ Tài sản bảo đảm

TSS Total Sum of Squares

TSSS Tài sản so sánh

TSTĐ Tài sản thẩm định

TGĐ Tổng giám đốc

UBND Ủy ban nhân dân

DANH MỤC HÌNH VẼ

Hình 1- 1: Các thành phần chính trong một hệ thống BI [13].............................................5Hình 1- 2: Chu kỳ của phân tích BI [13].............................................................................6Hình 1- 3: Các pha phát triển một hệ thống BI [13]............................................................8Hình 1- 4: Kiến trúc và các tính năng của một kho dữ liệu [13].......................................10Hình 1- 5: Quy trình khai phá dữ liệu[13].........................................................................14

Hình 2- 1: Quy trình thẩm định tài sản bào đảm trong ngân hàng [6]...............................23

Hình 3- 1: Dữ liệu thẩm định thông tin BĐS.....................................................................29Hình 3- 2: Dữ liệu thẩm định BĐS qua tiền xử lý.............................................................30Hình 3- 3: Kết quả trích chọn thuộc tính sử dụng weka....................................................31Hình 3- 4:Kết quả phân tích hồi quy tuyến tính ví dụ thẩm định đất................................36Hình 3- 5: Mô hình thiết kế ứng dụng thẩm định tài sản bảo đảm....................................39Hình 3- 6: Biểu đồ Use Case module Thẩm định tài sản...................................................41Hình 3- 7:Lược đồ dữ liệu thông tin hồ sơ thẩm định.......................................................56Hình 3- 8: Lược đồ dữ liệu thông tin tài sản BĐS- Đất.....................................................58Hình 3- 9: Lược đồ dữ liệu thông tin báo cáo thẩm định tài sản bảo đảm.........................59Hình 3- 10:Mô hình ứng dụng...........................................................................................60

Hình 4- 1: Chức năng Quản lý hồ sơ.................................................................................64Hình 4- 2: Cập nhật thông tin chung của hồ sơ.................................................................64Hình 4- 3: Cập nhật thông tin pháp lý của tài sản trong hồ sơ thẩm định.........................65Hình 4- 4: Cập nhật thông tin tài sản bảo đảm - Bất động sản..........................................66Hình 4- 5: Kết luận của báo cáo thẩm định tài sản............................................................67Hình 4- 6: Thuyết minh giá...............................................................................................69

DANH MỤC BẢNG

Bảng 3- 1: Ví dụ số liệu mua bán tài sản đất.....................................................................32Bảng 3- 2: Tính toán và sắp xếp giá trị của tài sản theo khoảng cách tăng dần................34Bảng 3- 3: Giá trị các tài sản so sánh.................................................................................37Bảng 3- 4: So sánh hai phương pháp KNN và hồi quy tuyến tính đa biến........................37

Bảng 4- 1: Kết quả thử nghiệm hai phương pháp..............................................................70

1

MỞ ĐẦU

Lý do chọn đề tài

Ngân hàng là tổ chức hoạt động mang tính chất lợi nhuận. Mọi hoạt động của ngân hàng đều hướng tới hiệu quả kinh tế, tìm cách phân tán và giảm thiểu rủi ro. Trong hoạt động cho vay hoặc cấp tín dụng ngân hàng đã có những biện pháp nhằm đảm bảo cho nguồn vốn của ngân hàng sinh lợi nhuận và an toàn. Tài sản đảm bảo là một trong những biện pháp đó. Tài sản bảo đảm của khách hàng có thể là: nhà đất, sạp chợ, phương tiện, công cụ, hàng hóa... Mức tiền khách hàng mong muốn vay hoặc quyết định cấp tín dụng có được chấp nhận hay không thông qua khâu định giá tài sản bảo đảm mà khách hàng đang có và muốn thế chấp.

Quá trình thẩm định giá phải trải qua rất nhiều bước và hồ sơ thẩm định sẽ được luân chuyển qua nhiều phòng ban, vị trí. Trong các bước thẩm định, việc báo cáo thẩm định giá là một khâu phức tạp và cần phải được tính toán cẩn thận. Cán bộ thẩm định phải nêu được giá trị thị trường hay phi thị trường của tài sản thẩm định. Sau đó tại phần lập luận để ra mức giá cuối cùng, cán bộ thẩm định phải tính toán tỷ lệ điều chỉnh phù hợp với mục đích thẩm định. Sẽ đơn giản hơn nếu có một công cụ hỗ trợ cán bộ đưa ra được mức giá có thể cho vay dựa trên các hồ sơ thẩm định trong lịch sử hay từ các nguồn dữ liệu được cập nhật thường xuyên trên thị trường.

Xuất phát từ tình hình thực tế đó, luận văn nghiên cứu giải pháp công nghệ Trí tuệ nghiệp vụ (Business Intelligence - BI) để giải quyết bài toán hỗ trợ ra quyết định giá tài sản bảo đảm của ngân hàng.

Mục tiêu của đề tài

Trong khuôn khổ luận văn này, tôi nghiên cứu kiến thức về Data Warehouse, Data Mining, Trí tuệ nghiệp vụ để thiết kế và xây dựng một hệ thống thẩm định giá tài sản bảo đảm (TSBĐ). Trong đó luận văn sẽ tập trung vào các phương pháp hồi quy trong BI để giải quyết bài toán thuyết minh giá cho TSBĐ. Hỗ trợ nhân viên thẩm định khai thác dữ liệu lịch sử về thẩm định đã thành công được lưu trữ trong hệ thống ngân hàng trước đó, để tìm ra được các tài sản so sánh (TSSS) có các yếu tố tương đồng nhất với TSTĐ bằng phương pháp K láng giềng gần nhất. Và hỗ trợ đưa ra quyết định về mức giá thẩm định TSBĐ trong quá trình ước lượng giá trị tài sản từ tập các TSSS có các yếu tố tương đồng với TSTĐ đã được thẩm định trước đó bằng phương pháp hồi quy tuyến tính đa biến.

Phần mềm thẩm định tài sản bảo đảm sẽ hỗ trợ người dùng quản lý các hồ sơ thẩm định có liên quan đến mình. Xử lý và luân chuyển hồ sơ nhanh chóng, chính xác thông

2

tin giữa các bộ phận trong hệ thống thẩm định. Đặc biệt nó sẽ có ý nghĩa đối với các chuyên viên thẩm định chưa có nhiều kinh nghiệm. Họ sẽ có thể đưa ra tỷ lệ điều chỉnh giá và mức ước lượng giá chính xác hơn, dựa trên các thông tin phân tích từ nguồn dữ liệu đầy đủ trong hệ thống phần mềm…

Đóng góp của luận văn

Luận văn đã trình bày về quy trình thẩm định tài sản bảo đảm, các phương pháp định giá đối với từng loại tài sản và đưa ra một số các khó khăn của các chuyên viên thẩm định trong quá trình thu thập thông tin tài sản dùng để so sánh và ước lượng giá trị của tài sản thẩm định. Luận văn đã thiết kế một kho dữ liệu dùng để lưu trữ các thông tin của hồ sơ thẩm định. Dùng làm nguồn tài nguyên cho việc phân tích, định giá tài sản, tạo các báo cáo theo từng yêu cầu nghiệp vụ. Đồng thời đưa ra giải pháp kết hợp các phương pháp hồi quy: K láng giềng gần nhất và hồi quy tuyến tính đa biến vào khâu định giá tài sản thẩm định bằng phương pháp so sánh. Để đưa ra được một kết quả định giá chính xác và dễ dàng hơn đối với chuyên viên thẩm định.

Hệ thống thẩm định tài sản sẽ giúp người dùng giảm thiều thời gian tìm kiếm, thu thập và nâng cao kết quả phân tích, định giá tài sản. Đồng thời giúp công việc quản lý thông tin hồ sơ thẩm định, tài liệu liên quan đến hồ sơ một cách hiệu quả, dễ dàng. Xử lý hồ sơ một cách linh hoạt và thuận tiện hơn.

Các tính năng và lợi ích của hệ thống thẩm định tài sản bảo đảm:

- Chức năng ETL: Chức năng thu thập, xử lý dữ liệu và lưu trữ các thông tin liên quan đến hồ sơ thẩm định vào trong kho dữ liệu. Làm nguồn tài nguyên hữu ích cho thuyết minh giá, tạo báo cáo. Thông qua: Import trực tiếp file hồ sơ thẩm định trên trang web. Hoặc service tự động download-select-convert-import file từ một thư mục lưu trữ file hồ sơ được thu thập về từ các hệ thống thẩm định giá của liên ngân hàng gửi về.

- Quản lý hồ sơ: Quản lý danh sách hồ sơ có liên quan đến người dùng, thuộc quyền quản lý của người dùng. Nhằm hỗ trợ người dùng theo dõi tiến trình xử lý của hồ sơ và lựa chọn các tính năng xử lý hồ sơ thuộc trách nhiệm và quyền của mình.

- Cập nhật thông tin hồ sơ: Khai báo các thông tin cơ bản của hồ sơ thẩm định. Bao gồm: Thông tin chung về tài sản bảo đảm, thông tin khách hàng, thông tin liên quan đến hồ sơ thẩm định, thông tin về thành phần thẩm định.

- Cập nhật danh sách tài sản thẩm định: Cập nhật các thông tin liên quan đến tài sản dùng để định giá và theo dõi danh sách tài sản được thẩm định để đưa vào làm tài sản bảo đảm trong mỗi hồ sơ thẩm định.

3

- Lập báo cáo thẩm định: Tạo báo cáo thẩm định cho tài sản. Lựa chọn phương pháp định giá phù hợp với tài sản để đưa ra được chi phí dự kiến cho tài sản.

- Thuyết minh giá: Cho người dùng tìm kiếm các tài sản so sánh có các yếu tố tương đồng nhất với các thông tin tài sản người dùng nhập. Khai thác dữ liệu thẩm định lịch sử để đưa ra được mô hình tuyến tính đa biến và giá gợi ý cho tài sản.

Cấu trúc của luận văn

Luận văn này sẽ được trình bày theo bố cục như sau:

- Mở đầu: Giới thiệu về đề tài, mục tiêu và tổ chức của luận văn.- Chương 1: Cơ sở lý thuyết.

Chương này sẽ giới thiệu tổng quan về Business Intelligence, Data Warehouse, Data Mining.

- Chương 2: Bài toán ứng dụng BI trong hỗ trợ thẩm định tài sản bảo đảm của ngân hàng.Chương này trình bày tổng quan về bài toán thẩm định tài sản bảo đảm trong ngân hàng. Giới thiệu giải pháp trí tuệ nghiệp vụ và ứng dụng trong lĩnh vực ngân hàng.

- Chương 3: Phân tích và thiết kế hệ thống BI hỗ trợ thẩm định tài sản bảo đảm trong ngân hàng.Chương này phát biểu yêu cầu của bài toán trong phạm vị thực hiện của luận văn. Mô tả việc áp dụng các phương pháp hồi quy trong ước lượng giá trị tài sản. Thiết kế kho dữ liệu hồ sơ thẩm định.

- Chương 4: Cài đặt và kết quả.Chương này sẽ trình bày cách cấu hình, cài đặt và kết quả xây dựng web thẩm định tài sản bảo đảm.

- Kết luận và hướng phát triển.

4

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT

1.1. Giới thiệu về Trí tuệ nghiệp vụ (Business Intelligence)

1.1.1. Khái niệmTrí tuệ nghiệp vụ (BI) là một giải pháp công nghệ khai thác dữ liệu từ các nguồn

dữ liệu khác nhau, từ các hệ thống tác nghiệp khác nhau, thông qua các mô hình toán học, các kỹ thuật khai phá dữ liệu để xử lý thành các thông tin hữu ích nhằm hỗ trợ ra quyết định kinh doanh hiệu quả. [13]

Mục đích của hệ thống BI là biến đổi dữ liệu từ kho dữ liệu hoặc khối dữ liệu chủ đề thành các thông tin và tri thức hữu ích, thông qua các ứng dụng mô hình toán học và các thuật toán. Từ việc tổng hợp và phân tích thông tin tri thức, doanh nghiệp có thể đưa ra được các chiến lược, hành động hiệu quả. Việc áp dụng các hệ thống BI là một cách tiếp cận hợp lý và khoa học của các doanh nghiệp và các tổ chức phức tạp trong vấn đề quản lý. Ví dụ: Doanh nghiệp có thể dựa trên một bảng tính để dự đoán sự biến động của lãi suất ảnh hưởng đến ngân sách như thế nào. Điều này sẽ thúc đẩy họ tạo ra một thể hiện mới về các dòng phát triển của tài chính.

Cách tiếp cận điển hình của các nhà phân tích BI có thể được tóm tắt như sau:

- Bước 1: Cần xác định các mục tiêu của phân tích và các chỉ số sẽ được sử dụng để đánh giá các lựa chọn thay thế đã được xác định.

- Bước 2: Phát triển các mô tình toán học bằng cách khai thác các mối quan hệ giữa các biến điều khiển hệ thống, các tham số và các chỉ số đánh giá.

- Cuối cùng: Phân tích, đánh giá tính hiệu quả của hiệu suất được xác định bởi các biến điều khiển và các tham số thay đổi.

1.1.2. Kiến trúc và thành phần của BIKiến trúc của BI gồm 3 thành phần chính [13]:

- Nguồn dữ liệu (Data sources): Nguồn dữ liệu được thu thập, chuẩn hóa và tích hợp từ nhiều nguồn khác nhau, không đồng nhất về cách tổ chức và loại dữ liệu. Phần lớn dữ liệu được lấy từ các hệ thống hoạt động của doanh nghiệp, cũng có thể lấy từ tài liệu phi cấu trúc như thư điện tử và các dữ liệu từ các nhà cung cấp bên ngoài.

- Kho dữ liệu và khối dữ liệu chủ đề (Data warehouse/Data mart): Sử dụng các công cụ chiết xuất và chuyển đổi dữ liệu được biết đến như công cụ ETL, dữ liệu được tổ chức từ các nguồn khác nhau sẽ được lưu trữ trong các cơ sơ dữ liệu để cung cấp cho việc phân tích trong hệ thống trí tuệ nghiệp vụ.

- Các phương pháp luận của BI: Dữ liệu được trích xuất và sử dụng cho các mô hình toán học, các phương pháp phân tích. Nhằm hỗ trợ ra quyết định của doanh

5

nghiệp. Trong một hệ thống BI, một vài ứng dụng hỗ trợ ra quyết định sẽ được cài đặt như:

o Phân tích cube nhiều chiều.

o Phân tích dữ liệu thăm dò.

o Phân tích theo chuỗi thời gian.

o Các mô hình học máy quy nạp trong khai phá dữ liệu.

o Các mô hình tối ưu hóa.

Các thành phần chính trong một hệ thống BI được thể hiện như sau:

Hình 1- 1: Các thành phần chính trong một hệ thống BI [13]

- Các nguồn dữ liệu và kho dữ liệu/ khối dữ liệu: Là các thành phần chính trong hệ thống BI. Lưu trữ các thông tin hữu ích cho việc khai phá tri thức.

- Thăm dò dữ liệu (Data exploration): Bao gồm các công cụ thực hiện việc phân tích một cách bị động như: các hệ thống báo cáo, thống kê. Người ra quyết định đặt ra các giả thuyết hoặc các tiêu chí trích xuất dữ liệu, sau đó sử dụng công cụ để tìm ra câu trả lời.

- Khai phá dữ liệu (Data minning): Bao gồm các phương pháp luận trọng các hoạt động của BI, với mục đích là khai thác thông tin và tri thức từ dữ liệu: Các mô hình toán học để nhận dạng máy, học máy và các công cụ khai phá dữ liệu. Không giống như các công cụ được mô tả ở các tầng trước của kim tự tháp, các mô hình này thuộc loại chủ động hơn, không yêu cầu người ra quyết định xây dựng các giả thuyết và tiêu chí trước. Mục đích là mở rộng tri thức cho các chuyên gia ra quyết định. Các kỹ thuật có thể được dùng như: phân loại (classification), phân cụm (clustering), phát hiện luật kết hợp (association rule), dự đoán (prediction)…

Quyết định

Tối ưu hóa

Khai phá dữ liệu

Thăm dò dữ liệu

Kho dữ liệu/khối dữ liệu

Nguồn dữ liệuDữ liệu từ các hệ thống, tài liệu và dữ liệu mở rộng

Phân tích

Nhận thứcĐánh giá

Quyết định

6

- Tối ưu hóa (Optimization): Cho phép xác định giải pháp tốt nhất trong một tập các giải pháp đưa ra.

- Quyết định (Decisions): Sau khi đã lựa chọn phương án tốt nhất, người sử dụng sẽ đưa ra quyết định cuối cùng.

Khi đi từ dưới lên trên kim tự tháp, các hệ thống BI sẽ cần được cung cấc các công cụ hỗ trợ nâng cao hơn theo từng hoạt động. Thậm chí là thay đổi luật và quyền.

1.1.2.1 Chu kỳ của một phân tích BI

Mỗi phân tích BI sẽ theo một lĩnh vực ứng dụng riêng, phụ thuộc vào mục tiêu của người ra quyết định và các phương pháp phân tích có sẵn. Tuy nhiên, có thể đưa ra được một chu kỳ lý tưởng đặc trưng cho sự tiến hóa của một phân tích BI điển hình như hình 1-2, mặc dù vẫn tồn tại sự khác biệt dựa trên đặc thù của từng ngữ cảnh cụ thể.

Hình 1- 2: Chu kỳ của phân tích BI [13]

Phân tích (Analysis): Trong giai đoạn phân tích, cần phải nhận biết chính xác các vấn đề đang xảy ra. Người quyết định phải tạo một thể hiện ý tưởng của hiện tượng đang được phân tích, bằng cách xác định các nhân tố liên quan nhất. Trong giai đoạn này các phương pháp luận BI sẽ được sử dụng, cho phép các nhà quyết định thực hiện nhanh chóng các dò xét khác nhau, bằng việc đặt ra một số câu hỏi để thu được các phản hồi nhanh chóng thông qua các phương pháp tương tác.

Nhận thức (Insight): Trong giai đoạn thứ hai này cho phép các nhà ra quyết định hiểu một cách sâu và rõ ràng hơn các vấn đề hiện tại, thường ở mức độ nhân quả. Một mặt, việc khai thác tri thức có thể xảy ra theo trực giác của người ra quyết định, dựa trên kinh nghiệm của họ và có thể là trên các thông tin phi cấu trúc có sẵn. Mặt khác, các mô hình học máy quy nạp cũng có thể chứng minh là rất hữu ích trong giai đoạn phân tích này, đặc biệt áp dụng cho dữ liệu có cấu trúc.

7

Quyết định (Decision): Trong pha thứ ba, tri thức thu được là kết quả của pha nhận thức được chuyển thành các quyết định và thứ tự hành động. Các phương pháp luận BI cho phép pha phân tích và nhận thức thực hiện nhanh chóng để đưa ra được quyết định hiệu quả hơn và kịp thời phù hợp với các chiến lược ưu tiên của một tổ chức. Vì vậy tổng thời gian thực hiện của chu trình phân tích- quyết định- hành động- sửa đổi sẽ giảm và quá trình ra quyết định sẽ đạt chất lượng tốt hơn.

Đánh giá (Evaluation): Cuối cùng là pha thứ tư của chu trình BI liên quan đến phép đo hiệu suất và đánh giá. Các số liệu mở rộng không chỉ giới hạn trong các khía cạnh tài chính mà còn tính đến chỉ số hiệu suất được xác định theo phòng ban khác nhau của công ty.

1.1.2.2 Phát triển một hệ thống BI

Việc phát triển một hệ thống BI giống như là phát triển một dự án, với một mục tiêu cụ thể, thời gian phát triển và chi phí dự kiến, sử dụng và điều phối nguồn lực cần thiết để thực hiện kế hoạch. Hình 1-3 thể hiện một loại chu kỳ phát triển một hệ thống BI.

Phân tíchXác định các yêu cầu nghiệp vụ

Thiết kếKiến trúc tổng thể

Lập kế hoạch vĩ mô cho dự án

Lập kế hoạchĐặc tả chi tiết dự án

Xác định nguồn dữ liệu định nghĩa kho dữ liệu, khối dữ liệuXác định các mô hình toán học

Xây dựng nguyên mẫu

Xây dựng kho dữ liệu, khối dữ liệu chủ đề

Xây dựng module ETL

Xây dựng ứng dụng

Xây dựng metadata

Phát hành và kiểm thử

Cài đặt và kiểm tra

8

Hình 1- 3: Các pha phát triển một hệ thống BI [13]

Phân tích (Analysis): Xác định các nhu cầu liên quan đến việc phát triển một hệ thống BI của tổ chức. Thông qua một loạt các buổi phỏng vấn các nhân viên có các vai trò và hoạt động khác nhau trong tổ chức. Mô tả rõ ràng các mục tiêu chung và các ưu tiên của dự án, đưa ra các chi phí và trợ cấp phát sinh từ việc phát triển hệ thống BI.

Thiết kế (Design): Nhằm mục đích đưa ra một kế hoạch tạm thời về kiến trúc tổng thể, có tính đến bất kỳ sự phát triển nào trong tương lai gần và sự phát triển của hệ thống trong giai đoạn giữa. Bao gồm hai giai đoạn:

Đầu tiên là đánh giá các cơ sở hạ tầng thông tin đã có và phải kiểm tra các quy trình ra quyết định chính cần được hệ thống BI hỗ trợ để xác định đầy đủ các thông tin yêu cầu.

9

Sau đó, sử dụng các phương pháp quản lý dự án để đưa ra kế hoạch của dự án, xác định các giai đoạn phát triển, các ưu tiên, thời gian và chi phí dự kiến, các vai trò và nguồn lực cần thiết.

Lập kế hoạch (Planning): Xác định và mô tả chi tiết hơn các tính năng của hệ thống BI.

Đánh giá nguồn dữ liệu hiện có, dữ liệu được truy xuất từ bên ngoài. Điều này cho phép xây dựng cấu trúc thông tin của hệ thống BI, bao gồm một kho dữ liệu trung tâm và có thể có nhiều khối dữ liệu đi kèm.

Cần xác định các mô hình toán học được áp dụng, đảm bảo tính sẵn có của các dữ liệu cần thiết cho mỗi mô hình và xác định hiệu quả của các thuật toán có phù hợp với mức độ kết quả các vấn đề.

Cuối cùng, tạo một hệ thống với chi phí thấp và khả năng giới hạn, để phát hiện ra bất kỳ sự khác biệt giữa nhu cầu thực tế và các dự án cụ thể.

Cài đặt và kiểm tra (Implementation and control): Gồm có 5 giai đoạn chính:

Đầu tiên là phát triển kho dữ liệu và khối dữ liệu cụ thể. Đây là những cơ sở hạ tầng thông tin sẽ cung cấp cho hệ thống BI.

Thứ hai là tạo ra một metadata để giải thích ý nghĩa của dữ liệu lưu trữ trong kho dữ liệu và áp dụng các phép biến đổi dữ liệu chính.

Thứ ba là thiết lập các thủ tục ETL để thu thập và chuẩn hóa dữ liệu đã tồn tại trong các nguồn tài nguyên chính, nạp chúng vào trong kho dữ liệu và các khối dữ liệu.

Bước tiếp theo là phát triển các ứng dụng core của BI để thực hiện các phân tích kế hoạch.

Cuối cùng, hệ thống được phát hành để thử nghiệm và sử dụng.

1.2.Giới thiệu về Data Warehouse

1.2.1. Khái niệmData Warehouse (DW) là nơi lưu trữ dữ liệu có giá trị cho việc xây dựng các kiến

trúc BI và các hệ thống hỗ trợ quyết định. Một định nghĩa DW thể hiện toàn bộ các hoạt động liên quan đến nhau, tham gia vào việc thiết kế, phát triển và sử dụng một DW. [13]

Kho dữ liệu được xây dựng để tiện lợi cho việc truy cập theo nhiều nguồn, nhiều kiểu dữ liệu khác nhau sao cho có thể kết hợp được cả những ứng dụng của các công nghệ hiện đại và kế thừa được từ những hệ thống đã có sẵn từ trước.

Các đặc tính của kho dữ liệu:

- Hướng chủ đề: Kho dữ liệu được thiết kế để phục vụ cho một mục đích phân tích dữ liệu hướng tới một chủ đề nào đó. Có thể là: Khách hàng, sản phẩm, bán

Dữ liệu các hệ thống

Dữ liệu ngoài

Metadata

Kho dữ liệu

Xuất nhập khẩu

Kinh doanh

Đánh giá hiệu suất

Công cụ ETL OLAP

Cube đa chiềuPhân tích thăm dò dữ liệuPhân tích chuỗi thời gianKhai giá dữ liệuTối ưu hóa

10

hàng… Giúp người dùng xác định được các thông tin cần thiết trong hoạt động của mình và loại bỏ những thông tin không cần thiết.

- Tích hợp: Dữ liệu được tập hợp từ nhiều nguồn khác nhau: cơ sở dữ liệu Oracle, SQLserver, files… cần phải thực hiện việc làm sạch, sắp xếp, rút gọn dữ liệu.

- Biến đổi theo thời gian: Mỗi dữ liệu trong kho dữ liệu đều được gắn với thời gian và có tính lịch sử.

- Ổn định: Được lấy từ nhiều nguồn dữ liệu của hệ thống tác nghiệp có sẵn. Nó tách rời vật lý với môi trường tác nghiệp,nên dữ liệu trong kho dữ liệu là dữ liệu chỉ đọc, không được sửa bởi người dùng cuối.

1.2.2.Kiến trúc của Data WarehouseCác kiến trúc tham chiếu của một kho dữ liệu được thể hiện như sau [13]:

Hình 1- 4: Kiến trúc và các tính năng của một kho dữ liệu [13]

- Kho dữ liệu kết hợp với các metadata chứa dữ liệu và các chức năng cho phép dữ liệu được truy cập, hình tượng hóa và cập nhật.

- Các ứng dụng thu thập dữ liệu từ hệ thống nghiệp vụ, chuẩn hóa dữ liệu về dạng dữ liệu đa chiều, nạp vào kho dữ liệu (ETL) hoặc các công cụ back-end cho phép dữ liệu được chiết xuất, chuyển đổi và tải vào kho dữ liệu.

- Các ứng dụng BI và hệ thống ra quyết định như là các front-end, cho phép các nhà tri thức thực hiện các phân tích và trực quan hóa các kết quả.

Một kho dữ liệu có thể được phát triển theo các kiểu thiết kế: top-down (từ trên xuống), bottom-up (từ dưới lên) và mixed (hỗn hợp hai phương pháp)

- Top - down: Phương pháp top-down dựa trên thiết kế tổng thể của kho dữ liệu. Thời gian phát triển dài hơn và rủi ro không hoàn thành theo lập lịch cao hơn, khi toàn bộ kho dữ liệu được phát triển trên thực tế.

11

- Bottom-up: Phương pháp này dựa trên việc sử dụng các nguyên mẫu và do đó phần mở rộng hệ thống được thực hiện theo từng bước của kế hoạch. Cách tiếp cận này thường nhanh hơn, cung cấp nhiều kết quả hữu hình hơn, nhưng lại thiếu một tầm nhìn tổng thể của toàn bộ hệ thống đang được phát triển.

- Mixed: Phương pháp này dựa trên thiết kế tổng thể của kho dữ liệu, nhưng sau đó tiến hành theo cách tiếp cận các nguyên mẫu, bằng cách thực hiện tuần tự các phần khác nhau của toàn bộ hệ thống. Cách tiếp cận này thực tiễn hơn và thích hợp hơn, vì nó cho phép các bước nhỏ đã được kiểm soát để được thực hiện trong khi luôn ghi nhớ tới toàn bộ hình ảnh.

Hai thành phần quan trọng tạo nên kho dữ liệu là:

- Các công cụ ETL: Là các công cụ phần mềm sử dụng để thực hiện tự động hóa ba tính năng chính sau: Khai thác, chuyển đổi và nạp dữ liệu vào trong kho dữ liệu.

o Khai thác: Dữ liệu được trích xuất từ các nguồn dữ liệu bên trong và mở rộng có sẵn. Việc lựa chọn dữ liệu để cập nhật vào dựa trên thiết kế kho dữ liệu, phụ thuộc vào thông tin được đưa ra bởi các hệ thống phân tích nghiệp vụ kinh doanh và hỗ trợ ra quyết định hoạt động trong một miền ứng dụng cụ thể.

o Chuyển đổi: Cải tiến chất lượng dữ liệu được chiết xuất từ các nguồn dữ liệu khác nhau, thông qua việc hiệu chỉnh tính không nhất quán, không chính xác và thiếu giá trị.

o Nạp dữ liệu: Dữ liệu được nạp vào trong các bảng của kho dữ liệu, tạo ra các dữ liệu có giá trị cho các ứng dụng phân tích và hỗ trợ quyết định.

- Metadata (Siêu dữ liệu): Ghi lại ý nghĩa của dữ liệu trong kho dữ liệu. Được chia làm hai nhóm là siêu dữ liệu nghiệp vụ và siêu dữ liệu kỹ thuật.

o Siêu dữ liệu nghiệp vụ mô tả ý nghĩa dữ liệu, các luật và ràng buộc tác động.

o Siêu dữ liệu kỹ thuật mô tả cách thức tổ chức, lưu trữ và điều khiển dữ liệu trong hệ thống máy tính.

1.2.3.Xây dựng Data warehouse

Việc thiết kế kho dữ liệu và dữ liệu mô tả dựa trên mô hình dữ liệu đa chiều. Về mặt chức năng mô hình có thể đảm bảo thời gian phản hồi nhanh, thậm chí đối với câu lệnh truy vấn phức tạp. Về mặt logic người dùng có thể nhìn dữ liệu theo nhiều khía cạnh khác nhau.

Biểu diễn data cube dựa trên lược đồ sao được xác định bởi hai loại bảng dữ liệu: bảng cắt lớp (dimenson tables) và bảng sự kiện (fact tables).[13]

- Bảng cắt lớp: Cung cấp các thông tin, quan điểm được dùng để phân tích dữ liệu. Bảng cắt lớp tương ứng với các thực thể chính chứa trong kho dữ liệu, chúng

12

thường thu được từ các bảng chính được lưu trữ trên các hệ thống xử lý giao dịch thời gian thực (OLTP) như: bảng khách hàng, sản phẩm, kinh doanh, vị trí và thời gian. Mỗi bảng cắt lớp thường được xây dựng theo mối quan hệ có tính phân cấp. Bảng cắt lớp bao gồm 3 thành phần chính:

o Khóa thay thế: Là khóa chính chứa giá trị duy nhất, tự sinh và không có nghĩa.

o Khóa tự nhiên: Là khóa chính của dữ liệu trong hệ thống nghiệp vụ. Có ý nghĩa trong giá trị.

o Tập các thuộc tính mô tả: Có thể ở nhiều kiểu dữ liệu khác nhau.

- Bảng sự kiện: Lưu các tiêu chí, chi tiêu về hoạt động kinh doanh của doanh nghiệp. Mỗi môt tiêu chí được định nghĩa là một lượng quan sát được theo một đơn vị đo lường thống nhất. Bảng sự kiện gồm có hai thành phần:

o Một tập khóa ngoại: Để kết nối tới các bảng cắt lớp. Cung cấp ngữ cảnh cho các thông tin trong bảng sự kiện.

o Các tiêu chí đo lường: thuộc tính là các giá trị số, mô tả các giao dịch tương ứng và thể hiện mục tiêu của các phân tích OLAP tiếp theo.

Một bảng sự kiện được kết nối với n bảng cắt lớp có thể được biểu diễn bằng một data cube n cắt lớp, trong đó mỗi trục tương ứng với một cắt lớp. Nhìn chung, từ một bảng sự kiện liên kết với n bảng cắt lớp, có thể tạo ra một lưới các cuboid. Một cuboid tương ứng với các mức độ hợp nhất với một hoặc nhiều cắt lớp. Kiểu kết hợp này tương đương với ngôn ngữ truy vấn cấu trúc (SQL) tới câu lệnh truy vấn sum bắt nguồn từ điều kiện group by.

Trong nhiều trường hợp, phân tích OLAP dựa trên sự phân cấp các khái niệm để hợp nhất dữ liệu và tạo ra các quan điểm logic dọc theo các cắt lớp của một kho dữ liệu. Tính chất cây phân cấp định nghĩa ra một cấu trúc hình cây với các mức độ chi tiết khác nhau của một cắt lớp. Với hai mức độ liền nhau trong một cây, mức thấp hơn gọi là mức con, mức cao hơn gọi là mức cha. Các phân cấp khái niệm được sử dụng để thực hiện trực quan hóa khối dữ liệu trong một kho dữ liệu. Một số tính năng cho phép thực hiện điều đó là [5]:

- Nhìn xa (Roll-up): Hay còn gọi là drill-up. Biến tiêu chí từ mức chi tiết sang mức tổng hợp để hiển thị cho người dùng. Tập hợp dữ liệu trong cube được tạo ra từ việc thay thế theo hai cách: Đi từ mức thấp lên mức cao trong cây phân cấp hoặc làm giảm số cắt lớp.

- Đào sâu (Roll-down): Hay còn gọi là drill-down. Là một hoạt động ngược lại với roll-up. Nó cho phép đi từ mức tổng hợp cao đến mức chi tiết hơn. Mục đích là để đảo ngược kết quả từ hoạt động roll-up. Vì vậy, hoạt động drill-down có thể được thực hiện theo hai cách: Di chuyển xuống bậc thấp hơn dọc theo một cắt lớp của cây phân cấp hoặc thêm một cắt lớp.

13

- Cắt lát mỏng và cắt khối (Slice and dice): Hoạt động cắt lấy dữ liệu một lớp cắt cụ thể trong một cắt lớp hoặc lựa chọn giá trị cho ít nhất hai cắt lớp. Hoạt động "cắt" có được một khối lập phương trong một không gian con bằng việc lựa chọn một vài cắt lớp cùng một lúc.

- Đảo chiều (Pivot): Họat động pivot được xem như là việc luân chuyển, tạo ra một vòng xoay giữa các trục: biến cột thành hàng, hàng thành cột. Đảo chiều để có được một cách nhìn khác về khối dữ liệu.

1.3. Giới thiệu về Khai phá dữ liệu (Data mining)

1.3.1. Khái niệmCác hoạt động khai phá dữ liệu là một quá trình lặp đi lặp lại nhằm phân tích các

cơ sở dữ liệu lớn, với mục đích khai thác thông tin và tri thức một cách chính xác và hữu ích cho việc hỗ trợ ra quyết định và xử lý vấn đề. [13]

Thuật ngữ khai phá dữ liệu đề cập đến một quá trình tổng thể bao gồm: thu thập và phân tích dữ liệu, phát triển các mô hình học thức quy nạp thông qua các quyết định thực tiễn và các hành động diễn ra sau đó dựa trên kiến thức thu được.

Các hoạt động khai phá dữ liệu có thể được chia ra thành hai luồng phân tích chính, theo mục đích phân tích là: thông dịch (Interpretation) và dự đoán (Prediction).

- Thông dịch (Interpretation): Xác định các mẫu có quy tắc trong dữ liệu và mô tả chúng thông qua các luật và các tiêu chí mà các chuyên gia trong lĩnh vực ứng dụng có thể dễ dàng hiểu được. Các quy tắc tạo ra phải là nguyên thủy và không tầm thường để làm tăng thực sự mức độ tri thức và hiểu biết về hệ thống cần quan tâm.

- Dự đoán (Prediction): Mục đích của hoạt động này là dự đoán giá trị mà một biến ngẫu nhiên sẽ có trong tương lai hoặc để đánh giá khả năng xảy ra của các sự kiện trong tương lai. Thực tế thì hầu hết các kỹ thuật khai phá dữ liệu thu được được tiên đoán từ giá trị của một bộ biến liên quan đến các thực thể trong cơ sở dữ liệu.

1.3.2.Quy trình khai phá dữ liệu

Khai phá dữ liệu được thực hiện theo quy trình sau [13]:

14

Hình 1- 5: Quy trình khai phá dữ liệu[13]

- Định nghĩa các mục tiêu (Objectives definition): Các phân tích khai phá dữ liệu được thực hiện trong những lĩnh vực ứng dụng nhất định và được mong đợi để cung cấp những tri thức cần thiết cho người ra quyết định.

- Thu thập và tích hợp dữ liệu (Data gathering and integration): Dữ liệu có thể đến từ nhiều nguồn khác nhau, có thể là trong một cơ sở dữ liệu, một kho dữ liệu, thậm chí các dữ liệu từ các nguồn ứng dụng web.

- Phân tích thăm dò (Exploratory analysis): Trong giai đoạn thứ ba của quá trình khai thác dữ liệu, một phân tích thăm dò sẽ được thực hiện với mục đích làm quen với các thông tin hiện có và thực hiện công việc làm sạch dữ liệu. Thông thường, dữ liệu được lưu trữ trong một kho dữ liệu đã được xử lý ở giai đoạn tải dữ liệu theo cách loại bỏ bất kỳ dữ liệu không nhất quán về cú pháp. Trong quá trình khai thác dữ liệu, làm sạch dữ liệu xảy ra ở mức độ ngữ nghĩa. Trước hết các giá trị phân bố của mỗi thuộc tính sẽ được nghiên cứu, sử dụng biểu đồ danh mục thuộc tính và các thống kê tổng hợp cơ bản cho các biến số. Bằng cách này, bất kỳ một giá trị bất thường nào hoặc thiếu giá trị cũng sẽ bị đánh dấu.

- Lựa chọn các thuộc tính (Attribute Selection): Trong giai đoạn này, sự liên quan của các thuộc tính khác nhau được đánh giá trên mối quan hệ giữa các mục

15

tiêu của phép phân tích. Các thuộc tính được chứng minh là ít được sử dụng sẽ bị loại bỏ, để làm sạch thông tin không liên quan từ bộ dữ liệu. Hơn nữa, các thuộc tính mới thu được từ các biến ban đầu thông qua các phép biến đổi thích hợp được đưa vào bộ dữ liệu. Phân tích thăm dò và lựa chọn thuộc tính là những giai đoạn quan trọng và có thể ảnh hưởng đến mức độ thành công của các giai đoạn tiếp theo.

- Phát triển mô hình và xác nhận (Model development and validation): Một khi bộ dữ liệu có chất lượng tốt được nhúng và có khả năng được làm giàu với các thuộc định mới đã được xác định, chúng ta có thể phát triển các mô hình nhận diện và dự báo. Thông thường việc đào tạo của các mô hình được thực hiện bằng cách sử dụng một mẫu của các bản nghi đã được chiết xuất từ tập dữ liệu ban đầu. Sau đó, độ chính xác dự đoán của mỗi mô hình đã được tạo ra có thể được đánh giá bằng phần còn lại của dữ liệu.

- Dự đoán và thông dịch dữ liệu (Prediction and interpretation): Sau khi kết thúc quá trình khai thác dữ liệu, mô hình đã được chọn trong số các mô hình được tạo ra trong suốt giai đoạn phát triển sẽ được cài đặt và sử dụng để đạt được các mục tiêu xác định ban đầu. Hơn nữa, nó cần được kết hợp chặt chẽ vào các thủ tục của quá trình hỗ trợ ra quyết định để để dự đoán và thu thập kến thức sâu hơn về các hiện tượng đang được quan tâm.

1.3.3. Các phương pháp khai phá dữ liệu

Có một số phương pháp khai phá dữ liệu điển hình là [13]:

- Phân lớp dữ liệu: Từ một cơ sở dữ liệu với nhiều thông tin ẩn, con người có thể trích rút ra các quyết định nghiệp vụ thông minh. Phân lớp và dự đoán là hai dạng của phân tích dữ liệu nhằm trích rút ra một mô hình mô tả các lớp dữ liệu quan trọng hay dự đoán các xu hướng dữ liệu tương lai. Phân lớp dự đoán giá trị của những nhãn xác định hay những giá trị rời rạc đã biết trước. Trong khi đó, dự đoán lại xây dựng mô hình với các hàm nhận giá trị liên tục. Một số thuật toán tiêu biểu như:Phân lớp cây quyết định (Decision tree classification), bộ phân lớp Bayesian (Bayesian classifier), mô hình phân lớp K hàng xóm gần nhất (K-nearest neighbor classifier), mạng nơ ron …

- Phân cụm dữ liệu: Phân cụm dữ liệu là một kỹ thuật nhằm tìm kiếm, phát hiện các cụm, các mẫu dữ liệu tự nhiên tiềm ẩn và quan trọng trong tập dữ liệu lớn, để từ đó cung cấp thông tin, tri thức cho việc ra quyết định. Có thể coi phân cụm dữ liệu là một cách học bằng quan sát, còn phân lớp dữ liệu là học bằng ví dụ. Các thuật toán thường được sử dụng như: K_means, K_medoids, CLARA (Clustering Large Application), CLARANS, AGNES, DIANA (Divisive Analysis), BIRCH …

- Khai phá luật kết hợp: Mục đích của luật kết hợp là rút ra những mối liên quan, những tập mẫu phổ biến, những cấu trúc kết hợp hay cấu trúc ngẫu nhiên giữa những tập hợp các item trong các CSDL giao tác hoặc trong các kho dữ liệu.

16

Hai thuật toán sẽ được sử dụng trong luận văn là: K láng giềng gần nhất (K-nearest neighbor) và hồi quy tuyến tính đa biến (multiple linear regression).

1.3.3.1.Thuật toán K láng giềng gần nhất(KNN)

K-Nearest Neighbors algorithm (K-NN) là phương pháp để phân lớp các đối tượng dựa vào khoảng cách gần nhất giữa đối tượng cần xếp lớp với tất cả các đối tượng trong Training Data.[9]

Thuật toán KNN được mô tả như sau:

- Bước 1: Xác định số láng giềng gần nhất K.- Bước 2: Tính khoảng cách giữa đối tượng cần phân lớp với tất cả các đối tượng

trong training data. - Bước 3: Sắp xếp khoảng cách theo thứ tự tăng dần và xác định K láng giềng gần

nhất với đối tượng cần phân lớp.- Bước 4: Lấy tất cả các lớp của K láng giềng gần nhất đã xác định- Bước 5: Dựa vào phần lớn lớp của láng giềng gần nhất để xác định lớp cho đối

tượng cần phân lớp.

Một số phương pháp phổ biến để tính khoảng cách giữa đối tượng cần phân lớp với tất cả các đối tượng trong training data:

- Khoảng cách Euclidean: Khoảng cách giữa 2 điểm là chiều dài của đường thẳng nối chúng.

- Khoảng cách Manhattan: Khoảng cách giữa 2 điểm là chiều dài của tất cả các đoạn nối hai điểm dọc theo mặt cắt trục đứng và trục ngang, theo một chiều tới.

- Khoảng cách Minkowski: Là sự tổng quát của cả khoảng cách Euclidean và Manhattan.

- Khoảng cách Hamming: Tính khoảng cách giữa các vector nhị phân. Đo sự khác biệt giữa hai trạng thái/hai đối tượng.

Khoảng cách Euclidean sẽ được sử dụng trong thuật toán KNN của luận văn. Trong mặt phẳng, khoảng cách giữ 2 điểm (x1,y1) và (x2,y2) được tính bởi công thức Pytharorean:

Trong không gian ba chiều khoảng cách giữa hai điểm (x1,y1,z1) và (x2,y2,z2):

Một cách tổng quát, khoảng cách giữa 2 điểm x, y trong không gian Euclidean R với n chiều được tính như sau:

17

Trước khi tiến hành thuật toán cần xử lý dữ liệu. Nên chuẩn hóa dữ liệu về dạng số, lý tưởng là phạm vi [0,1] và giảm số chiều dữ liệu của không gian đầu vào để thuật toán KNN thực hiện tốt hơn. Lựa chọn các thuộc tính có ảnh hưởng lớn đến bài toán.

1.3.3.2.Phương pháp hồi quy tuyến tính đa biến

Phân tích hồi quy tuyến tính đa biến là một kỹ thuật mô hình hóa mối quan hệ giữa hai hay nhiều biến. Nó là một trong những phương pháp thống kê được sử dụng rộng rãi nhất. Trong tài chính ngân hàng, phân tích hồi quy được sử dụng để tìm ra các yếu tố quyết định hiệu quả của ngân hàng.[10,13]

Mô hình hồi quy tuyến tính đa biến có dạng:

Trong đó:

- Y: Biến phụ thuộc.

- X1, X2,…,Xk: Là các biến độc lập.

- X2i, X3i,…,Xki.: Là giá trị của các biến độc lập ứng với quan sát i.

- ,…, : Là các tham số của hồi quy. đo lường tác động riêng phần của biến Xk lên Y với điều kiện các biến số khác trong mô hình không đổi. Kỳ vọng của Y

sẽ tăng đơn vị nếu Xk tăng 1 đơn vị.

- : Sai số ngẫu nhiên của hồi quy có kỳ vọng 0 và phương sai .

Các giá trị ,…, được ước tính dựa vào phương pháp bình phương tối thiểu.

Gọi là ước tính của Yi

Phương pháp bình phương nhỏ nhất tìm giá trị ,…, sao cho nhỏ nhất. Giải hệ phương trình:

18

Khi đó:

Muốn biết được mức độ ảnh hưởng của các yếu tố lên biến kết cục Y cần lưu ý đến các trị số sau:

- Hệ số hồi quy : Yếu tố nào có cao thì ảnh hưởng nhiều hơn, tuy nhiên các yếu tố thường có đơn vị khác nhau nên không thể so sánh mức ảnh hưởng giữa các yếu tố. Nếu muốn so sánh phải đổi các yếu tố có cùng đơn vị là độ lệch chuẩn, lúc

đó ta có hệ số hồi quy chuẩn hóa: . Với Sx là độ lệch chuẩn tương ứng của x và Sy là độ lệch chuẩn của y.

- Bình phương hệ số tương quan: .

Trong đó:

19

TSS: Tổng bình phương chung đo biến đổi của giá trị quanh giá trị trung

bình Y.

ESS:Tổng bình phương cho sai số giải thích sự biến đổi của các nhân tố

khác ngoài mối liên hệ giữa X và Y.

RSS: Tổng bình phương được giải thích bằng hồi quy, giải thích sự biến đổi

do mối liên hệ giữa X và Y. .

Như vậy yếu tố nào có R2 càng lớn thì mối quan hệ giữa yếu tố đó với biến Y càng chặt chẽ.

Trước khi áp dụng phương pháp vào bài toán, chúng ta cần phải thực hiện việc tiền xử lý dữ liệu trong tập training. Loại bỏ các dữ liệu nhiễu và trích chọn các thuộc tính yếu tố có mức ảnh hưởng lớn đến kết quả của dự đoán. Các thuộc tính không cần thiết đó làm giảm độ chính xác của mô hình và gây khó khăn trong việc phát hiện tri thức. Có rất nhiều phương pháp để lựa chọn thuộc tính tùy thuộc vào cấu trúc của dữ liệu dùng cho mô hình và thuật toán được dùng để xây dựng mô hình:

Interestingness score: Được sử dụng đối với thuộc tính có kiểu dữ liệu liên tục. Dùng entropy để đo lường mức độ interestingness. Một thuộc tính với phân bố ngẫu nhiên có entropy cao hơn và có information gain (độ lợi thông tin) thấp hơn thì các thuộc tính đó gọi là less interesting. Entropy của một thuộc tính nào đó sẽ được so sánh với entropy của tất cả các thuộc tính còn lại theo công thức sau:

Interestingness(Attribute) = - (m - Entropy(Attribute)) * (m - Entropy(Attribute))

Trong đó m gọi là entropy trung tâm (Central entropy- có nghĩa là entropy của toàn bộ tập thuộc tính).

Trong phạm vi của luận văn, sẽ sử dụng mã nguồn mở weka và lựa chọn thuật toán Interestingness score để lựa chọn ra các thuộc tính quan trọng của mỗi loại tài sản ảnh hưởng đến giá trị của tài sản.

20

CHƯƠNG 2: BÀI TOÁN ỨNG DỤNG BI TRONG HỖ TRỢ THẨM ĐỊNH TÀI

SẢN BẢO ĐẢM CỦA NGÂN HÀNG

Chương này sẽ trình bày một số ứng dụng của BI trong lĩnh vực ngân hàng. Các khái niệm về thẩm định tài sản bảo đảm, quy trình thẩm định và các phương pháp thẩm định tài sản bảo đảm mà các ngân hàng thường hay sử dụng.

2.1. Ứng dụng của BI trong lĩnh vực ngân hàng

2.1.1. Công nghệ BI trong các hoạt động ngân hàng

Lĩnh vực tài chính luôn phải thích ứng với những áp lực từ toàn cầu hóa, hội nhập, cạnh tranh mạnh mẽ, đổi mới thị trường và sản phẩm, hoàn thiện các quy trình nghiệp vụ và các xu hướng phát triển. Để đạt được thành công, các tổ chức tài chính cần phải:

- Xem xét mọi khía cạnh liên quan đến khách hàng.

- Xác định và duy trì khách hàng tiềm năng.

- Thu hút khách hàng mới từ đối thủ cạnh tranh.

- Đánh giá các sản phẩm và các tổ chức sản xuất một cách đúng đắn.

- Xác định những nhu cầu và thị trường cho các sản phẩm mới.

Để đạt được những mục tiêu trên, ngân hàng cần khai thác dữ liệu giao dịch hàng ngày với những phân tích phức tạp bao gồm: thông tin khách hàng và quản lý rủi ro dữ liệu quan hệ khách hàng, thông tin khách hàng tiềm năng, khách hàng trung thành, sản phẩm và kênh phân phối đem lại lợi nhuận cao cho ngân hàng, phân loại các nhóm khách hàng, đánh giá các chiến dịch quảng cáo và hiệu quả điều hành, xác định xu hướng thị trường, nâng cao dịch vụ khách hàng và doanh số bán hàng. Vì vậy, ngân hàng đang ngày càng tích lũy một khối dữ liệu rất lớn từ các nguồn nội bộ và bên ngoài các hệ thống khác nhau như core - banking (ngân hàng lõi), hệ thống thẻ, hệ thống thông tin tín dụng… từ các website, sách báo, kết quả nghiên cứu… Khó khăn gặp phải trong quá trình thu thập dữ liệu cấu trúc và phi cấu trúc từ những nguồn khác nhau là việc chuẩn hóa dữ liệu, trích lọc, phân cụm, làm sạch và nâng cao chất lượng dữ liệu. Tiếp đến là làm thế nào để trích lọc ra được những tri thức nhất quán, đúng đắn, và kịp thời từ những dữ liệu đó. Câu trả lời là sử dụng giải pháp BI để khai phá tri thức là hướng tiếp cận phổ biến hiện nay.

Các ngân hàng cần phải kiểm soát các rủi ro có thể gặp phải. Trước đây, ngân hàng có những nhân viên được đào tạo kỹ càng nghiệp vụ quản lý rủi ro, những cán bộ mới có thể học hỏi từ những người đi trước có nhiều kinh nghiệm. Trong khi đó, những ngân hàng mới thì lại chủ yếu là nhân viên trẻ chưa có nhiều kinh nghiệm, việc tuyển dụng nhân viên có nhiều kinh nghiệm và có đầy đủ các kỹ năng cần thiết thì không có nhiều hoặc chi phí phải trả cao. Thông tin và tri thức cùng với nền tảng công nghệ thông tin sẽ trở thành nguồn lực then chốt. Một nhân viên ngân hàng hiện đại cần biết khai thác thông tin phù hợp một cách thông minh và kịp thời để giải quyết việc quản lý rủi ro trong nghiệp vụ đảm nhiệm.

21

Giải pháp BI trong lĩnh vực tài chính trở thành một công nghệ cốt yếu trong việc hỗ trợ mục tiêu chiến lược là đạt được một lợi thế cạnh tranh và đảm bảo một tầm nhìn triển vọng trong tương lai.

2.1.2. Một số ứng dụng BI trong lĩnh vực ngân hàng

Quản trị rủi ro: Đối với ngân hàng, quản lý rủi ro rất quan trọng để tránh phát sinh nợ xấu, nợ khó đòi và tính toán ra lợi nhuận trước khi cấp tín dụng cho khách hàng. Tín dụng và tính điểm tín dụng trở thành những công cụ hữu ích để mô hình hóa các bài toán tài chính. Những mô hình dự đoán hoạt động của chủ thẻ có thể đưa ra các cảnh báo sớm về gian lận, từ đó giúp giảm thiểu rủi ro cho ngân hàng. Phân tích thẻ tín dụng bị đánh cắp cho thấy số giao dịch phát sinh nhiều và nhanh chóng sau khi bị đánh cắp. Bằng việc so sánh với số giao dịch trung bình hoặc số giao dịch trong ngày thì hệ thống xác thực có thể đưa ra cảnh báo sớm.

Bán sản phẩm, dịch vụ tới khách hàng đang có: Yếu tố then chốt trong việc quảng cáo sản phẩm và dịch vụ là cung cấp sản phẩm phù hợp với từng đối tượng khách hàng và đúng thời điểm.Giải pháp BI hỗ trợ cho việc xác định xem sản phẩm nào phù hợp với khách hàng, dịch vụ nào là tốt nhất cho khách hàng và tính toán sao cho ngân hàng thu được nhiều lợi nhuận nhất. Làm được điều này sẽ giúp cho ngân hàng giảm được chi phí cho các chiến dịch quảng cáo, củng cố chất lượng mối quan hệ với khách hàng và tăng lượng khách hàng trung thành, lợi nhuận cho ngân hàng.

Duy trì lượng khách hàng hiện tại: Mất khách hàng vào tay đối thủ cạnh tranh là vấn đề rất lớn đối với tất cả các lĩnh vực kinh doanh. Khách hàng có thể chuyển tới sử dụng dịch vụ của đối thủ cạnh tranh bởi những lợi ích được chào mời. Giải pháp BI có thể đánh giá khả năng khách hàng sẽ tiếp tục giao dịch hay không sau khi kết thúc thời gian ưu đãi lãi suất. Khai phá dữ liệu là một thành phần cơ bản của việc quản lý quan hệ khách hàng và có thể được xem như là một công cụ để dự báo. Việc quan trọng là phải xác định được tại sao khách hàng ngưng sử dụng sản phẩm, dịch vụ để tử đó có hướng xử lý hợp lý.

Phân khúc khách hàng: Ngân hàng sử dụng các phân khúc khách hàng trong hoạt động kinh doanh bán lẻ và thương mại. Các sản phẩm dịch vụ ngân hàng được tạo ra để phục vụ nhiều phân khúc khách hàng khác nhau. Bằng việc sử dụng các thông tin hữu ích từ lịch sử sử dụng sản phẩm dịch vụ của khác hàng để phân tích, nhận định hành vi hoặc thói quen, nhu cầu của khách hàng trong tương lai. Giải pháp BI có thể nhận diện khách hàng mới, khách hàng tiềm năng, phân khúc khách hàng để ngân hàng có thể cung cấp các sản phẩm dịch vụ phù hợp và từ đó nâng cao kết quả kinh doanh của ngân hàng.

Đánh giá việc kích hoạt sử dụng sản phẩm dịch vụ: Ước lượng khả năng một khách hàng mới thực sự sử dụng một sản phẩm, dịch vụ mới như đã ký kết, thỏa thuận trở thành một khách hàng tốt của ngân hàng. Việc đánh giá kích hoạt sử dụng sản phẩm sẽ giúp ngân hàng nắm bắt được tình trạng và có phương hướng thúc đẩy khách hàng chính thức sử dụng sản phẩm dịch vụ đã ký kết.

22

2.2. Bài toán thẩm định tài sản bảo đảm trong hệ thống ngân hàng

2.2.1. Giới thiệu về thẩm định tài sản bảo đảm

Theo khoản 7, điều 3, NĐ 163/2006/CP, tài sản bảo đảm (TSBĐ) là tài sản thuộc quyền sở hữu của bên bảo đảm dùng để bảo đảm thực hiện nghĩa vụ dân sự đối với bên nhận bảo đảm. Theo khoản 2, điều 4, NĐ 163/2006/CP: Tài sản bảo đảm do các bên thỏa thuận và thuộc sở hữu của bên có nghĩa vụ hoặc thuộc sở hữu của người thứ ba mà người này cam kết dùng tài sản đó để bảo đảm thực hiện nghĩa vụ của bên có nghĩa vụ đối với bên có quyền. Tài sản bảo đảm có thể là tài sản hiện có (tiền, bất động sản, động sản, hoa lợi, lợi tức), tài sản hình thành trong tương lai và được phép giao dịch. [2]

Thẩm định tài sản bảo đảm là việc mà ngân hàng sử dụng các công cụ và phương tiện kĩ thuật nhằm đánh giá được giá trị của tài sản bảo đảm mà khách hàng dùng để bảo đảm cho khoản vay của mình. [2]

Công tác thẩm định tài sản bảo đảm có một số vai trò như sau:

- Kiểm soát rủi ro tín dụng:

o Tính pháp lý: Quyền sở hữu, lợi ích hợp pháp của ngân hàng đối với TSBĐ.

o Tính thanh khoản:

Khả năng thanh khoản: Khả năng có thể chuyển hóa thành tiền để bảo đảm cho nghĩa vụ trả nợ của khách hàng vay.

Giá trị thanh khoản: Đảm bảo tính thanh khoản về mặt số lượng đối với nghĩa vụ trả nợ gốc và lãi cho ngân hàng.

- Nâng cao chất lượng tín dụng, thúc đẩy hoạt động kinh doanh của ngân hàng:

o Kết quả thẩm định giá chính xác, khách quan và tin cậy, phù hợp với giá trị TSBĐ.

o Rút ngắn được thời gian phê duyệt khoản vay.

o Giảm chi phí xử lý nợ.

Khi thẩm định TSBĐ nhân viên thẩm định thường thẩm định một số đặc điểm của tài sản như sau:

- Thẩm định điều kiện của tài sản.

- Thẩm định đặc điểm kĩ thuật.

- Thẩm định giá trị tài sản, giá trị còn lại.

- Khả năng thanh toán.

Tùy theo từng loại TSBĐ mà chuyên viên sẽ sử dụng các phương pháp định giá giá trị tài sản:

- Đối với TSBĐ là BĐS: Áp dụng phương pháp so sánh hoặc phương pháp chi phí.

23

- Đối với TSBĐ là động sản: Áp dụng phương pháp so sánh hoặc phương pháp tính giá trị còn lại.

2.2.2. Quy trình thẩm định giá tài sản bảo đảm

Quy trình thẩm định giá tài sản bảo đảm được mô tả theo sơ đồ sau [6]:

Hình 2- 1: Quy trình thẩm định tài sản bào đảm trong ngân hàng [6]

Diễn giải quy trình thẩm định giá tài sản bảo đảm như sau:

- Bước 1: Nộp hồ sơ Tài sản bảo đảm: Khách hàng nộp hồ sơ Tài sản bảo đảm tại Đơn vị kinh doanh.

- Bước 2:Kiểm tra hồ sơ khách hàng: CVQHKH thuộc các đơn vị kinh doanh tiếp nhận HS TSBĐ từ khách hàng và có trách nhiệm kiểm tra hồ sơ của TSBĐ, đảm bảo:

24

o HS TSBĐ đầy đủ các tài liệu chứng minh quyền sở hữu, quyền sử dụng hợp pháp của chủ tài sản đối với tài sản.

o Nếu hồ sơ đảm bảo các tiêu chí, chuyển tiếp Bước 3.

o Trường hợp HS TSBĐ không đầy đủ yêu cầu khách hàng cung cấp bổ sung theo Bước 8.

o Trường hợp HS TSBĐ không hợp lệ cán bộ tiếp nhận hồ sơ từ chối nhận TSBĐ của khách hàng.

- Bước 3: Phân loại luồng thẩm định tài sản bảo đảm:Căn cứ trên HS TSBĐ, CVQHKH phân loại TSBĐ và xác định thẩm quyền thẩm định:

o Nếu thuộc thẩm quyền của ĐVKD, CVQHKH tiếp nhận hồ sơ nhập các thông tin vào sổ theo dõi, sau đó báo cáo lãnh đạo Phòng KD để phân công chuyên viên thực hiện thẩm định tài sản (chuyển tiếp Bước 6).

o Nếu thuộc thẩm quyền thẩm định của Phòng TĐTS, chuyển tiếp Bước 4.

- Bước 4: Lập và kiểm soát Giấy đề nghị thẩm định TSBĐ: Nếu thông tin chính xác, lãnh đạo phòng KD ký duyệt và chuyển tiếp bước 5. Nếu thông tin chưa chính xác, yêu cầu CVQHKH hoàn thiện lại.

- Bước 5:Tiếp nhận và kiểm soát Giấy đề nghị thẩm định TSBĐ: Bộ phận văn thư Phòng TĐTS/ Bộ phận TĐTS khi tiếp nhận Giấy đề nghị thẩm định TSBĐ và bản sao HS TSBĐ có trách nhiệm kiểm tra, đối chiếu với Danh mục HS TSBĐ tối thiểu và nhập thông tin vào sổ ghi chép, theo dõi hồ sơ thẩm định và chuyển cho LĐ để phân công cho CVTĐ thực hiện thẩm định.

- Bước 6: Phân công cán bộ thẩm định TSBĐ: Lãnh đạo phòng TĐTS/ Lãnh đạo bộ phận TĐTSBĐ/ Lãnh đạo phòng KD phân công công việc thẩm định cho chuyên viên thẩm định thuộc phòng mình phụ trách. Mọi hồ sơ yêu cầu thẩm định đều phải được chuyển cho Lãnh đạo phòng TĐTS/ Lãnh đạo bộ phận TĐTSBĐ/ Lãnh đạo phòng KD xem xét trước khi chuyển giao cho CVTĐ. CVTĐ không được tự ý tiến hành thẩm định bất kỳ TSBĐ nào mà chưa được sự phân công của Lãnh đạo phòng TĐTS/ Lãnh đạo bộ phận TĐTSBĐ/ Lãnh đạo phòng KD.

- Bước 7: Xem xét HS TSBĐ: Trong quá trình thẩm định, CVTĐ kiểm tra HS TSBĐ đảm bảo tuân thủ đúng quy định, hợp lệ, hợp pháp:

o Nếu HS TSBĐ chưa đầy đủ, không hợp pháp, hợp lệ, yêu cầu khách hàng bổ sung tại bước 8.

o Nếu HS TSBĐ đầy đủ, hợp lệ, hợp pháp thực hiện bước 9.

- Bước 8: Bổ sung thông tin HS TSBĐ: Khi có yêu cầu bổ sung thông tin vào HS TSBĐ thì CVQHKH tại ĐVKD sẽ đề nghị khách hàng thực hiện việc bổ sung thông tin theo yêu cầu của bước 7.

25

- Bước 9: Thẩm định TSBĐ, lập Báo cáo thẩm định.CVTĐ được phân công thẩm định tùy theo từng loại tài sản để thực hiện việc thẩm định, thẩm định chi tiết theo các văn bản Hướng dẫn thẩm định TSBĐ do TGĐ ban hành trong từng thời kỳ. Sau khi hoàn thiện Báo cáo thẩm định, CVTĐ chuyển cho Lãnh đạo Phòng TĐTS/Bộ phận TĐTS/ Phòng KD kiểm tra và phê duyệt.

- Bước 10: Ký duyệt Báo cáo thẩm định/ Phiếu phê duyệt giá trị TSBĐ.

- Bước 11: Chuyển Báo cáo thẩm định/ Phiếu phê duyệt giá trị TSBĐ về ĐVKD.

- Bước 12: Nhận kết quả và lưu hồ sơ.

2.2.3. Phương pháp so sánh trực tiếp trong bước định giá giá trị của tài sản

Phương pháp so sánh trực tiếp là phương pháp thẩm định giá dựa trên cơ sở phân tích mức giá của các tài sản tương tự với tài sản cần định giá đã giao dịch thành công hoặc đang mua, bán trên thị trường vào thời điểm thẩm định giá (hoặc trong vòng 12 tháng trước thời điểm thẩm định giá) để ước tính giá trị thị trường của tài sản cần thẩm định giá.

Các bước thực hiện khi áp dụng phương pháp so sánh như sau [7]:

- Bước 1: Nghiên cứu thị trường để có thông tin về giá giao dịch, giá niêm yết hoặc giá chào bán và các yếu tố so sánh của những tài sản tương tự với tài sản cần định giá, đã giao dịch thành công hoặc đang mua, bán trên thị trường.

- Bước 2: Thu thập, kiểm tra thông tin, số liệu về các yếu tố so sánh từ các tài sản cùng loại hoặc tương tự có thể so sánh được với tài sản cần định giá đã giao dịch thành công hoặc đang mua, bán trên thị trường vào thời điểm cần định giá hoặc trong vòng 6 tháng trước thời điểm cần định giá.

- Bước 3: Lựa chọn đơn vị so sánh chuẩn và xây dựng bảng phân tích, so sánh đối với mỗi đơn vị so sánh chuẩn.

- Bước 4: Phân tích, xác định các yếu tố khác biệt giữa TSSS và tài sản cần định giá từ đó thực hiện điều chỉnh giá của các TSSS theo sự khác biệt về các yếu tố so sánh so với tài sản cần định giá, tìm ra mức giá chỉ dẫn cho mỗi TSSS.

- Bước 5: Phân tích tổng hợp các mức giá chỉ dẫn của các TSSS, rút ra mức giá chỉ dẫn đại diện để ước tính và xác định mức giá của tài sản cần thẩm định.

Trong bước thu thập thông tin cần nghiên cứu thị trường để có ít nhất 3 thông tin về giá giao dịch. Ưu tiên sử dụng giá đã giao dịch thành công trên thị trường. Trường hợp không thu thập được giá đã giao dịch có thể sử dụng giá niêm yết, giá chào bán, chào mua và các yếu tố so sánh của những tài sản tương tự với TSTĐ.

CVTĐ phải tuân thủ quy định về TSSS phải tương tự với TSTĐ và lập bảng điều chỉnh mức giá cho từng ưu điểm và bất lợi của TSSS. Nguyên tác điều chỉnh giá [2,4]:

- Mỗi sự điều chỉnh về các yếu tố so sánh phải được chứng minh từ các chứng cứ điều tra thu thập được.

26

- Khi điều chỉnh giá theo chênh lệch của một yếu tố so sánh thì cố định những yếu tố so sánh còn lại.

- Lấy tài sản cần thẩm định làm chuẩn.

- Những yếu tố ở TSSS kém hơn so với TSTĐ thì điều chỉnh tăng đơn giá.Những yêu tố ở TSSS vượt trội hơn so với TSTĐ thì điều chỉnh giảm đơn giá TSSS.

- Những yếu tố ở TSSS giống với TSTĐ thì giữ nguyên mức giá của TSSS.

- Nếu TSTĐ không có thông tin giao dịch thị trường thì CVTĐ có thể khảo sát thông tin thị trường tại các tuyến đương tương tự gần với TSTĐ và có tính chất tương đồng với TSTĐ.

- Phương thức điều chỉnh giá:

o Điều chỉnh theo số tiền tuyệt đối: áp dụng đối với chênh lệch các yếu tố so sánh có thể lượng hóa thành tiền như: điều kiện thanh toán, chi phí pháp lý, trạng bị nội thất, sân vườn, bể bơi, gara ô tô... (đối với bất động sản); điều kiện thanh toán, thiết bị kèm theo, chi phí lắp đặt, huấn luyện sử dụng... (đối với máy, thiết bị). Những yếu tố nào liên quan đến giao dịch có quan hệ nguyên nhân – kết quả thì nhân với nhau, những yếu tố nào tương tác cùng ảnh hưởng đến giá tị tài sản thì cộng với nhau.

o Điều chỉnh theo tỷ lệ phần trăm: áp dụng đối với chênh lệch các yêu tố so sánh không thể lượng hóa thành tiền như: môi trường, cảnh quan, điều kiện hạ tầng, vị trí (đối với BĐS); năm sản xuất, đặc trưng kỹ thuật chủ yếu (đối với máy, thiết bị). Những yếu tố nào liên quan đến giao dịch có quan hệ nguyên nhân – kết quả thì nhân với nhau, những yếu tố liên quan đến tài sản có quan hệ tương tác thì cộng với nhau.

- Cuối cùng, đơn giá có thể giao dịch của TSTĐ bằng trung bình cộng đơn giá sau điều chỉnh của các TSSS.

27

CHƯƠNG 3: PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG BI HỖ TRỢ THẨM ĐỊNH

TÀI SẢN BẢO ĐẢM TRONG NGÂN HÀNG

3.1.Phát biểu bài toán

Trong phương pháp so sánh của quy trình thẩm định. Cần xác định các yếu tố ảnh hưởng đến giá trị của tài sản thẩm định. Các yếu tố cần so sánh của một số tài sản thông dụng:

- Nhà ở, đất ở:

o Tình trạng pháp lý: Tình trạng pháp lý giữa TSTĐ và TSSS tương tự nhau, nếu không tương tự phải thực hiện việc điều chỉnh.

o Các điều khoản về tài chính: thanh toán trả tiền một lần hay nhiều lần, trả chậm có tính lãi... Các điều khoản giữa TSTĐ và TSSS tương tự nhau, nếu không tương tự phải thực hiện việc điều chỉnh.

o Điều chỉnh giá theo thời hạn giao đất.

o Chi phí phải bỏ ra ngay sau khi mua: Nếu có chi phí phát sinh thì phải cộng vào mức giá giao dịch thành công.

o Giá trị tài sản không phải BĐS: Trong trường hợp phát sinh bán kèm các tài sản không phải BĐS thì cần xem xét trừ hoặc cộng giá trị các tài sản này vào giá bán tùy thuộc vào trường hợp tài sản này thuộc TSSS hay TSTĐ.

o Địa điểm, địa thế: Khoảng cách đến chợ, siêu thị, trường học, bệnh viện, công viên... Việc điều chỉnh sự chênh lệch về yếu tố địa điểm cần quy đổi thành chênh lệch về thời gian hoặc chi phí phát sinh liên quan đến việc đi lại, căn cứ vào chứng cứ thu nhập từ thị trường.

o Các đặc điểm tự nhiên: hình dáng, chiều rộng mặt tiền, chiều sâu lô đất, hướng... Việc điều chỉnh chênh lệch về đặc điểm tự nhiên cần quy đổi thành chênh lệch về giá giao dịch trên thị trường hoặc chi phí phát sinh để khắc phục điểm bất lợi, căn cứ vào chứng cứ thu thập từ thị trường.

o Quy hoạch: Cần thẩm định giá với các BĐS đối chiếu so sánh có đồng dạng với nhau về mặt quy hoạch hoặc vi phạm quy hoạch của khu vực hay không.

o Đặc điểm tài sản trên đất (Ngôi nhà chính và các hạng mục xây dựng khác như gara, nhà phụ, đường đi, tường xây, hàng rào, cây cối, vườn...). Cần điều chỉnh theo số tiền tuyệt đối.

- Cửa hàng, chợ, siêu thị, khu thương mại:

o Giá bán, thuê.

o Vị trí, khả năng sinh lời.

28

o Thời gian kinh doanh.

o Chiều rộng mặt tiền.

o Điều kiện bán, thuê mướn mặt bằng.

o Điều kiện giao nhận và phân phối hàng hóa.

o Sự phù hợp của thiết kế với công năng làm nơi bán hàng của công trình.

o Hệ thống phòng chống cháy nổ, lối thoát hiểm.

o Dịch vụ vệ sinh, thu gom rác.

o Sự thuận tiện cho người mua hàng.

o Các yếu tố khác.

- Hàng hóa:

o Hiện trạng tài sản và nơi cất giữ tài sản: Hiện trạng tài sản thẩm định, Địa chỉ kho hàng, Chất lượng, Tình trạng bảo quản.

o Đặc điểm kinh tế- kỹ thuật của tài sản: Lô hàng và nguồn gốc xuất xứ, Chiều dài, Chiều rộng, Độ dày,Hình thức đóng gói, Đặc điểm khác.

o Đánh giá ưu nhược điểm của tài sản: Thuận lợi/ ưu điểm, Hạn chế/nhược điểm, Xu hướng biến động giá.

- Xe:o Giấy tờ pháp lý.o Tên xe đánh giá.o Dung tích động cơ, Nhiên liệu.o Số chỗ ngồi/Tải trọng.o Nước sản xuất.o Số km đã chạy.o Tỷ lệ chất lượng còn lại.

Trên thực tế các yếu tố được nhân viên thẩm định sử dụng để đánh giá và làm cơ sở so sánh để điều chỉnh giá có thể là các giá trị định lượng hoặc định tính. Để tính được khoảng cách giữa TSTĐ với các TSSS cùng khu vực, các yếu tố so sánh sẽ được chuyển đổi thành các giá trị định lượng. Đối với các yếu tố không thể quy chuyển thành giá trị số sẽ được đưa vào trong điều kiện tìm kiếm tuyệt đối của tài sản. Đối với tài sản BĐS là đất, các yếu tố có thể đổi về các giá trị định lượng:

- Vị trí: Thông tin này sẽ được quy ra thông tin tọa độ (tung độ, vĩ độ) của đất.

- Tình trạng pháp lý: Được quy ra 2 giá trị 0 (Chưa hợp thức hóa quyền sử dụng đất) hoặc 1 (Đã cấp sổ đỏ)

29

- Lợi thế kinh doanh: Xét về độ rộng mặt ngõ của nhà.

- Hướng đất: Với các giá trị hướng tương ứng với các giá trị điểm như sau: Nam:10, Tây Nam:9, Đông Nam:9, Đông:8, Tây:8, Bắc:8, Tây Bắc: 7, Đông Bắc:7.

- Cơ sở hạ tầng: Được quy ra 2 giá trị 0 (Cơ sở hạ tầng xấu), 1 (Cơ sở hạ tầng tốt).

Ta cần thực hiện tiền xử lý dữ liệu, trích chọn thuộc tính ảnh hưởng đến giá trị của tài sản. Luận văn sử dụng phần mềm weka và chuẩn bị một tập dữ liệu để trích chọn các thuộc tính của lại tài sản là bất động sản.

Tập dữ liệu gồm 110 tài sản bất động sản đã được thẩm định trong 6 tháng gần đây nhất của ngân hàng. (Chi tiết trong phụ lục 1). Bao gồm các yếu tố thẩm định: Diện tích, chiều ngang, chiều sâu, mặt đường, loại đất, hướng đất, lợi thế kinh doanh, tình trạng pháp lý, cơ sở hạ tầng, vị trí (đường- phường-quận/huyện-tỉnh/thành phố), kinh độ, vĩ độ.

Hình 3- 1: Dữ liệu thẩm định thông tin BĐS

Trước khi sử dụng phần mềm weka, ta tiến hành tiền xử lý dữ liệu:

- Loại bỏ các yếu tố: diện tích, vị trí.

- Chuyển đổi các giá trị định tính thành định lượng: Lợi thế kinh doanh, hướng đất, cơ sở hạ tầng, loại đất, tình trạng pháp lý.

Kết quả thu được tập dữ liệu mới dưới dạng:

30

Hình 3- 2: Dữ liệu thẩm định BĐS qua tiền xử lý

Sử dụng phần mềm weka để thực hiện trích chọn thuộc tính:

- Lựa chọn tính năng Select attributes của Explorer trong Weka để lựa chọn các thuộc tính độc lập xây dựng mô hình.

- Thuộc tính "Gia" được xác định là thuộc tính dự báo

- Lựa chọn phương thức tìm kiếm GreedyStepwise: thực hiện một tìm kiếm chuyển tiếp hoặc quay lui trong các tập con thuộc tính. Tạo một danh sách xếp hạng các thuộc tính.

- Chế độ lựa chọn thuộc tính Cross-validation: Tập dữ liệu sẽ được chia đều thành k tập có kích thước xấp xỉ nhau. Bộ phân loại học sẽ được đánh giá chéo.

- Bộ đánh giá thuộc tính WrapperSubsetEva: Đánh giá tập thuộc tính dựa trên một bộ phân loại học (learning scheme). Lựa chọn bộ phân loại sử dụng phương pháp lan truyền ngược MultilayerPerceptron để phân loại các thể hiện.

Ta thu được kết quả như sau:

31

Hình 3- 3: Kết quả trích chọn thuộc tính sử dụng weka

Kết quả cho thấy rằng, cả 9 thuộc tính đều được giữ lại và mức độ quan trọng ảnh hưởng đến giá trị của bất động sản theo chiều mũi tên đỏ: Lợi thế kinh doanh=> Loại đất => tình trạng pháp lý=>…=> mặt đường.

Đối với các loại tài sản khác, ta cũng sử dụng phần mềm weka để trích chọn các thuộc tính quan trọng, ảnh hưởng đến giá trị của tài sản.

Sau khi hoàn thành bước tiền xử lý dữ liệu, trích chọn các thuộc tính quan trọng. Chúng ta có thể áp dụng các thuật toán trong data mining trên tập dữ liệu này để xác định giá trị của tài sản.

3.2. Áp dụng thuật toán K-Nearest Neighbors (KNN) và thuật toán hồi quy tuyến tính đa biến trong quyết định giá

Luận văn sẽ lấy một ví dụ mô tả việc áp dụng các thuật toán data mining vào việc phân tích và dự đoán giá của tài sản bất động sản là Đất.

Đầu vào của bài toán như sau:

Giả sử ta có một tập dữ liệu training gồm 10 tài sản đã được định giá ở khu vực Hà Đông, Hà Nội. 10 tài sản này ta đặt tên tương ứng X1, …, X10.

32

Mỗi tài sản được định giá dựa trên các yếu tố {Tình trạng pháp lý, Chiều rộng, Chiều sâu, Mặt ngõ, Hướng đất, Cơ sở hạ tầng}. Các yếu tố này được đặt tên tương ứng là x1,x2,x3,x4,x5,x6.

Mỗi tài sản đất sẽ có giá bán trên 1m2 tương ứng là Y1, Y2, ..., Y10.

Bảng 3- 1: Ví dụ số liệu mua bán tài sản đất

Giá bán (triệu)

Tình trạng pháp lý

Chiều rộng (m)

Chiều sâu (m)

Mặt ngõ (m)

Hướng đất Cơ sở hạ tầng

745 Đã cấp sổ đỏ 3,7 9,1 8 Đông Nam (9)

Tốt

1990 Đã cấp sổ đỏ 5 6,1 5 Tây Bắc

(7)

Tốt

700 Đã cấp sổ đỏ 3.6 9 2 Đông Nam (9)

Tốt

4000 Đã cấp sổ đỏ 6 15 12 Đông Nam (9)

Tốt

2600 Đã cấp sổ đỏ 4 12,5 12 Đông Nam (9)

Tốt

2350 Đã cấp sổ đỏ 5 10 12 Đông Bắc (7) Tốt

485 Đã cấp sổ đỏ 4.5 9 3 Tây Bắc (7) Tốt

750 Đã cấp sổ đỏ 3,7 12 10 Đông Nam (9)

Tốt

485 Đã cấp sổ đỏ 4 10 5 Tây Nam (9) Tốt

750 Đã cấp sổ đỏ 3 13 8 Đông (8) Tốt

Mảnh đất A ở khu vực Hà Đông, trong quá trình thẩm định thu được các thông tin như sau:

- Tình trạng pháp lý: Đã cấp sổ đỏ (1)

- Chiều rộng: 4m

- Chiều sâu: 10m

33

- Mặt ngõ: 8m

- Hướng: Đông Nam (9)

- Cơ sở hạ tầng: Tốt (1)

Cần xác định giá trị của bất động sản A?

3.2.1. Sử dụng thuật toán K-Nearest Neighbors (KNN) để dự đoán giá trị tài sản thẩm định

Các bước sử dụng KNN trong việc dự đoán với các biến phụ thuộc định lượng như sau:

- B1: Xác định số láng giềng gần nhất k.

- B2: Tính khoảng cách giữa TSTĐ với tất cả các TSSS cùng khu vực với TSTĐ đã được thẩm định trước đó.

- B3: Sắp xếp theo khoảng cách và xác định k láng giềng gần nhất.

- B4: Lấy ra giá trị tài sản (Y) của k TSSS láng giềng gần nhất.

- B5: Sử dụng giá trị trung bình (average) của biến phụ thuộc Y của kTSSS láng giềng gần nhất là giá trị dự đoán của TSTĐ.

Trong công tác thẩm định giá, nhân viên thẩm định thường tìm ra 3 TSSS dùng để thực hiện việc thuyết minh giá của mình. Vì vậy, trong phần trình bày, luận văn sẽ lấy k = 3 là số láng giềng gần nhất cần tìm kiếm.

Áp dụng thuật toán Euclidean distance để tính khoảng cách giữa TSTĐ với các TSSS. Hàm khoảng cách (Euclidean distance):

Trong đó: + Vectơ mi là điểm thể hiện cho các TSSS.

+ d(x,mi) là khoảng cách giữa TSTĐ và các TSSS.

Ví dụ về áp dụng thuật toán K láng giềng vào trong bài toán định giá tài sản:

Dữ liệu training và mảnh đất A có giá trị các thuộc tính Cơ sở hạ tầng và Tình trạng pháp lý là như nhau. Nên luận văn sẽ không xét đến hai thuộc tính này. Tính khoảng cách d (euclidean distance) từ A đến các đối tượng X1,…,X10

Lần lượt ta có:

34

Sắp xếp theo khoảng cách tăng dần và lấy ra 3 giá trị gần nhất ta có:

Bảng 3- 2: Tính toán và sắp xếp giá trị của tài sản theo khoảng cách tăng dần

X d(A,X) Y

X1 0.95 745

X8 2.84 750

X9 3 485

X10 3.32 750

X6 4.58 2350

X5 4.72 2600

X2 5.4 1990

X7 5.5 485

X3 6.09 700

X4 6.70 4000

Ta có thể dự đoán giá trị của tài sản A bằng trung bình của các giá trị Y của K (=3) láng giềng gần nhất. YA= 660 triệu.

Nhận xét: Với thuật toán K láng giềng, các yếu tố được xét đến trong tài sản có vị trí quan trọng là như nhau. Nhưng trên thực tế khi xét đến giá trị của một tài sản, chuyên viên thẩm định sẽ có trật tự ưu tiên trong việc xét các yếu tố. Với tài sản A như trên, thực

35

tế chuyên viên thẩm định, định giá giá trị tài sản là 800 triệu. Vì vậy giá trị tài sản dự đoán được trong thuật toán chưa tối ưu.

Tuy nhiên, với thuật toán KNN ta có thể tìm ra được những tài sản có nhiều yếu tố gần giống nhất với tài sản thẩm định. Điều này có ý nghĩa trong việc tìm ra k tài sản so sánh trong thẩm định giá bằng phương pháp so sánh.

3.2.2. Dự đoán giá trị tài sản qua phương pháp hồi quy tuyến tính đa biến

Áp dụng phương pháp hồi quy tuyến tính vào bài toán định giá tài sản bất động sản là đất của luận văn. Ta đi xây dựng mô hình hồi quy với:

- Biến phụ thuộc Y: Giá trị tài sản của bất động sản.

- Biến độc lập định lượng: X1: Chiều rộng, X2: Chiều sâu, X3: Mặt ngõ.

- Biến độc lập định tính:

o D1: Tình trạng pháp lý (BĐS chưa được cấp sổ đỏ: D1=0, BĐS đã có sổ đỏ: D1=1).

o D2: Hướng đất (Nam:D2=10, Tây Nam:D2=9, Đông Nam:D2=9, Đông:D2=8, Tây:D2=8, Bắc:D2=8, Tây Bắc: D2=7, Đông Bắc:D2=7).

o D3: Cơ sở hạ tầng (Cơ sở hạ tầng xấu:D3= 0, Cơ sở hạ tầng tốt:D3= 1).

Với tập dữ liệu trên thì yếu tố Pháp lý và CSHT đều có giá trị như nhau nên ta loại bỏ hai yếu tố 2 biến D1 và D3 trong ví dụ này. Khi đó:

Ta có phương trình hồi quy tuyến tính với 6 yếu tố trên như sau:

,

36

=>

Như vậy giá trị tài sản dự đoán:

GiaTriTS = -4775.96 + 927.49*ChieuRong + 44.53*ChieuSau + 123.54*MatNgo + 108.15*HuongDat

Kết quả của ví dụ trên chạy bằng Data Analys trong Excel:

Hình 3- 4:Kết quả phân tích hồi quy tuyến tính ví dụ thẩm định đất

Nhận xét: Từ kết quả tính toán được thủ công và phần mềm ta có các kết luận sau:

- Các giá trị đều mang giá trị dương. Nếu X1, X2,X3,X4 đều được cố định ở 0, giá trị ước lượng của tài sản gần bằng -4775.96. Điều này là không có ý nghĩa

trong thực tế nên trong trường hợp này ta tạm bỏ qua . Nếu cố định X2,X3,X4 và chiều rộng tăng lên 1 đơn vị thì giá trị của tài sản sẽ tăng lên 927.49 đơn vị. Tương tự nếu chiều sâu tăng lên 1 đơn vị thì giá trị của tài sản tăng lên 44.53đơn vị, mặt ngõ tăng 1 đơn vị thì giá trị tài sản tăng 123.54 đơn vị. Đơn vị của chiều rộng, chiều sâu và mặt ngõ là như nhau, nên ta có thể so sánh thấy chiều rộng có hệ số lớn nhất nên nó có ảnh hưởng cao nhất đến giá trị của tài sản, giá trị chiều sâu có ảnh hưởng thấp nhất đến giá trị của tài sản.

37

- Với mức độ tin cậy là 95% chỉ có yếu tố chiều rộng có khoảng tin cậy cho độ dốc là (230,1624) không bao gồm 0. Nên có mối liên hệ ý nghĩa giữa chiều rộng với giá tài sản.

- Giá trị R2 = 0.844 nói lên rằng 4 yếu tố (Chiều rộng, chiều sâu, mặt ngõ, hướng đất) có thể giải thích được khoảng 84,4% độ biến thiên trong giá trị của tài sản thẩm định. Như vậy giá trị tài sản còn phụ thuộc vào một số các yếu tố khác chưa được xét trong bài toán như: Giá trị còn lại của tài sản, vị trí, an ninh khu vực…

- Giá trị p value của yếu tố chiều rộng là bé nhất (p=0.019) càng chứng tỏ mức độ ảnh hưởng của yếu tố này lên giá trị tài sản là lớn nhất trong số 4 yếu tố.

Sử dụng phương trình hồi quy tuyến tính này để ước lượng giá trị cho 3 tài sản có nhiều yếu tố tương đồng nhất với tài sản thẩm định đã tìm được trong thuật toán KNN trên.

Bảng 3- 3: Giá trị các tài sản so sánh.

Tài sản Chiều rộng

Chiều Sâu

Mặt Ngõ Hướng đất

Giá trị thực tế

Giá trị ước lượng

TSSS1 3,7 9,1 8 Đông Nam (9)

745 1022

TSSS2 3,7 12 10 Đông Nam (9)

750 1398

TSSS3 4 10 5 Tây Nam (9)

485 970

Giá trị tài sản ước lượng chênh lệch lớn với giá trị thực tế của các tài sản so sánh. Với độ chênh lệch khoảng 500 triệu. Giá trị này cũng gần tương đương với sai số chuẩn của ước lượng Sxy = 632.95. Như vậy, chúng ta cần tính toán và hiển thị sai số chuẩn của ước lượng ra ngoài trang web. Để người dùng có cơ sở để tăng giảm giá trị của tài sản thẩm định sau khi ước lượng dựa trên phương trình hồi quy tuyến tính.

3.2.3. Kết hợp thuật toán KNN và hồi quy tuyến tính đa biếnChúng ta có thể sử dụng trực tiếp các mô hình hồi quy KNN và hồi quy tuyến tính

để dự báo giá tài sản thẩm định. Mỗi mô hình đều có ưu điểm và nhược điểm khác nhau.

Bảng 3- 4: So sánh hai phương pháp KNN và hồi quy tuyến tính đa biến

Yếu tố KNN Hồi quy tuyến tính

Ưu điểm - Thuật toán đơn giản, dễ dàng triển khai

- Đơn giản, dễ dàng triển khai

38

- Xử lý tốt với tập dữ liệu nhiễu - Thời gian xây dựng và dự báo nhanh

Nhược điểm - Cần nhiều thời gian để thực hiện do phải tính toán khoảng cách với tất cả các đối tượng trong tập.

- Cần chuyển đổi kiểu dữ liệu với các yếu tố định tính

- Độ chính xác không cao với tập mẫu ít và có dữ liệu nhiễu.

- Cần chuyển đổi kiểu dữ liệu với các yếu tố định tính

Mức độ áp dụng trong bài toán

Áp dụng hiệu quả trong việc tìm kiếm k tài sản so sánh có nhiều yếu tố tương đồng nhất với tài sản thẩm định

Áp dụng hiệu quả trong việc xác định các trọng số ảnh hưởng đến giá trị tài sản của các yếu tố.

Với ưu điểm của hai phương pháp hồi quy này, luận văn sẽ sử dụng cả hai phương pháp vào trong bài toán ước lượng giá tài sản. Mỗi phương pháp sẽ được sử dụng tại một giai đoạn của quá trình dự đoán. Nhắc lại một số bước chính trong so sánh trong thẩm định mà luận văn có thể áp dụng các phương pháp hồi quy:

- Bước 1: Nhân viên thẩm định tạo báo cáo định giá cần phải tìm ra 3 tài sản so sánh tương đồng nhất đối với tài sản thẩm định.

- Bước 2: So sánh lần lượt các yếu tố của tài sản so sánh và tài sản thẩm định để đưa giá tỷ lệ điều chỉnh giá tại tài sản so sánh.

- Bước 3: Tính trung bình giá trị sau tất cả hiệu chỉnh của 3 tài sản so sánh để đưa ra giá trị của tài sản cần thẩm định.

Áp dụng các phương pháp hồi quy vào bài toán:

- Sau khi có thông tin các yếu tố cần quan tâm của tài sản. Sử dụng phương pháp K láng giềng để xác định k tài sản có nhiều yếu tố gần giống nhất với tài sản cần thẩm định. Sau đó chọn 3 tài sản gần giống nhất trong k tài sản vừa tìm được. Như vậy ta đã giải quyết được bước 1 của bài toán.

- Với tập k tài sản vừa tìm được ở bước 1, ta đã có được một tập dữ liệu không có nhiễu. Sử dụng phương pháp hồi quy tuyến tính đa biến để lập ra phương trình hồi quy. Mỗi biến là một yếu tố cần so sánh. Các hệ số hồi quy tìm được tương đương với tỷ lệ điều chỉnh giá của tài sản. Nó có thể là tăng hoặc giảm. Như vậy ta đã giải quyết được bước 2 của thuật toán.

- Bước 3 của thuật toán tương đương với việc áp dụng mô hình hồi quy vừa tìm được để tính giá trị ước lượng của 3 tài sản so sánh. Giá trị trung bình của 3 tài sản so sánh này là giá trị của tài sản thẩm định.

Như vậy, với sự kết hợp của hai phương pháp này trong bài toán định giá tài sản thẩm định gần như giải quyết được các bước trong phương pháp so sánh thực tế mà nhân

39

viên thẩm định cần phải thực hiện. Giải quyết được các vấn đề dữ liệu nhiễu và kết quả thu được đáng tin cậy hơn.

3.3. Thiết kế ứng dụng

Theo mô tả của bài toán thẩm định tài sản như đã trình bày ở mục 2. Hệ thống hỗ trợ thẩm định tài sản bảo đảm trong ngân hàng sẽ được thiết kế thành hai module. Đó là: Module ETL và module thẩm định tài sản bảo đảm.

Hình 3- 5: Mô hình thiết kế ứng dụng thẩm định tài sản bảo đảm

3.3.1. Module ETL

Nhóm chức năng ETL (Extract, Transform and Load) thực hiện việc trích rút, chuyển đổi và nạp dữ liệu vào kho dữ liệu của ứng dụng.

- Xây dựng một core service để đọc các file báo cáo thẩm định. Các file báo cáo thẩm định được gửi về từ các ngân hàng dữ liệu của các chi nhánh của ngân hàng. Từ các file dữ liệu báo cáo ngân hàng mua từ các đối tác, ngân hàng khác.

- Ngoài ra chương trình cho phép người dùng phân tích các file báo cáo thẩm định người dùng đã thu thập được vào trong Database, thông qua các chức năng import hoặc thêm mới trực tiếp từ các form nhập liệu.

- Tiền xử lý dữ liệu: Dữ liệu được đọc từ các file sẽ được trích xuất, tiền xử lý để thỏa mãn với cấu trúc cơ sở dữ liệu được xây dựng ở kho dữ liệu.

- Xây dựng một job định kỳ ETL các dữ liệu báo cáo thẩm định đã hoàn thành trong chương trình Thẩm định tài sản.Theo định kỳ hàng ngày, chương trình sẽ có một job tự động thực hiện việc trích xuất, chuyển đổi và nạp dữ liệu báo cáo thẩm định từ hệ thống thẩm định vào kho dữ liệu của ứng dụng.

Hệ thống thẩm định giá

Module ETL

Service phân tích file báo

cáo

Trích xuất từ CSDL

thẩm định

Module Thẩm định tài sản

Quản lý hồ sơ TĐ

Lập hồ sơ TĐ

Tạo báo cáo TĐ

40

3.3.2. Module Thẩm định tài sản

Chứa các tính năng liên quan đến quy trình thẩm định giá. Bao gồm các nhóm chức năng: Lập hồ sơ thẩm định giá,Tạo báo cáo thẩm định, Quản lý hồ sơ. Đối với mỗi một loại tài sản khác nhau sẽ có các thuộc tính đưa ra để định giá là khác nhau, phương pháp định giá sẽ sử dụng cũng khác nhau. Vì vậy các hồ sơ thẩm định giá và báo cáo thẩm định là khác nhau theo từng loại tài sản. Tài sản bảo đảm dùng để định giá bao gồm: Bất động sản là đất, căn hộ, sạp chợ, hàng hóa, xe, máy móc thiết bị… sẽ tương ứng với các chức năng:

- Hồ sơ thẩm định cho tài sản bất động sản là đất Báo cáo định giá tài sản bất động sản là đất.

- Hồ sơ thẩm định cho tài sản bất động sản là căn hộ Báo cáo định giá tài sản bất động sản là căn hộ.

- Hồ sơ thẩm định cho tài sản bất động sản là sạp chợ Báo cáo định giá tài sản bất động sản là sạp chợ.

- Hồ sơ thẩm định cho tài sản hàng hóa Báo cáo định giá tài sản hàng hóa.

- Hồ sơ thẩm định cho tài sản xe Báo cáo định giá tài sản xe.

- Hồ sơ thẩm định cho tài sản máy móc thiết bị Báo cáo định giá tài sản máy móc thiết bị.

Biểu đồ Use-Case tổng quát của module Thẩm định tài sản:

41

Hình 3- 6: Biểu đồ Use Case module Thẩm định tài sản

3.2.2.1. Use Case Quản lý hồ sơ

Mô tả tóm tắt

Đây là Ca sử dụng mô tả việc quản lý danh sách hồ sơ có liên quan đến người

dùng. Nhằm mục đích theo dõi tiến trình xử lý hồ sơ và lựa chọn các tính năng xử lý hồ

sơ.

Luồng các sự kiện

42

Luồng chính

Ca sử dụng bắt đầu khi người dùng muốn xem và xử lý hồ sơ được phân công tới

mình.

- Người dùng lựa chọn tính năng "Quản lý hồ sơ".

- Hệ thống mặc định hiển thị tất cả các hồ sơ trong tháng hiện tại. Với thông tin là

các thông tin chung của hồ sơ.

- Người dùng có thể lựa chọn tìm kiếm hồ sơ theo trạng thái xử lý của hồ sơ.

- Hệ thống hiển thị danh sách hồ sơ theo điều kiện tìm kiếm của người dùng. Đồng

thời hiển thị các tính năng cho phép người dùng thực hiện tương ứng với trạng thái

mà người dùng tìm kiếm.

Luồng phụ

- Người dùng có thể click vào mã hồ sơ để xem chi tiết thông tin của hồ sơ.

- Người dùng lựa chọn các tính năng tương ứng với các trạng thái của hồ sơ. Chi tiết

đã được mô tả trong Use Case "Cập nhật thông tin xử lý hồ sơ".

Yêu cầu đặc biệt

Không.

Điều kiện trước

Người dùng đã đăng nhập thành công và có quyền truy cập tính năng.

Điều kiện sau

Hệ thống chỉ hiển thị những hồ sơ có liên quan đến người dùng.

Điểm mở rộng

Không.

3.2.2.2. Use CaseCập nhật thông tin chung của hồ sơ

Mô tả tóm tắt

Đây là Ca sử dụng mô tả việc khai báo các thông tin cơ bản của hồ sơ thẩm định.

Bao gồm: Thông tin chung về tài sản bảo đảm, thông tin khách hàng, thông tin liên quan

đến hồ sơ thẩm định, thông tin về thành phần thẩm định.

43

Luồng các sự kiện

Luồng chính

Ca sử dụng được bắt đầu khi User muốn lập hồ sơ tạo đề nghị thẩm định giá cho

một tài sản:

- User truy cập chức năng "Tạo thẩm định giá", lựa chọn tính năng "Hồ sơ" để cập

nhật các thông tin chung của hồ sơ thẩm định.

- Hệ thống hiển thị form nhập liệu các thông tin chung của hồ sơ.

- User nhập liệu lần lượt các thông tin của hồ sơ:

o Thông tin chung về yêu cầu thẩm định: Tiêu đề (Tên tài sản/BĐS), Loại tài

sản, Kiểu thẩm định (Định giá mới/ Tái định giá).

o Thông tin khách hàng: Địa chỉ (Tỉnh/thành phố, quận/huyện, phường/xã,

đường, số nhà), Chủ sở hữu (Tên - SĐT), Khách hàng (Tên - SĐT), Mối

quan hệ giữa khách hàng vay với chủ sở hữu, Số tiền vay dự kiến, Người

hướng dẫn thẩm định (Tên - SĐT), Số tiền vay dự kiến.

o Thông tin liên quan đến phối hợp thẩm định: Tài sản thẩm định, Mục đích

thẩm định, Đơn vị yêu cầu thẩm định, Chuyên viên QHKH (Tên,

SĐT,Email), Email nhận kết quả thẩm định, Ngày yêu cầu thẩm định,

Phương tiện di duyển dự kiến (Xe ô tô khách hàng, xe ô tô ĐVKD, Đơn vị

tự túc, Khác), Thời gian phân công hồ sơ (Mặc định ngày hiện tại), Thời

gian đi thẩm định, Thời gian lập báo cáo khảo sát, Ngày lập biên bản, Trạng

thái hồ sơ đính kèm đã đầy đủ (Y/N), Ghi chú.

o Thông tin về thành phần thẩm định: Đơn vị thẩm định, Nhân viên trực tiếp

thẩm định (Tên - Chức vụ), Thành viên tham gia (Tên- Chức vụ). Thành

viên kiểm soát (Tên - Chức vụ).

o Upload danh sách giấy tờ, tài liệu liên quan đến tài sản: Tên tài liệu, Loại

tài liệu, Mô tả tài liệu, Đường dẫn file upload.

- Sau khi hoàn thành nhập liệu User lựa chọn "Lưu lại" để chấp nhận khởi tạo hồ sơ

thẩm định.

- Hệ thống ghi nhận thông tin User nhập liệu nếu User lựa chọn "Lưu lại" và lưu trữ

trong kho dữ liệu của hệ thống.

44

Luồng phụ

- Khi User không muốn tạo hồ sơ thẩm định: User lựa chọn "Bỏ qua". Hệ thống sẽ

quay trở lại trang chủ của chương trình.

- Khi User chưa nhập liệu các thông tin bắt buộc của hồ sơ thẩm định. Hệ thống sẽ

gửi thông báo yêu cầu nhập liệu các thông tin bắt buộc trước khi lựa chọn "Lưu

lại".

Yêu cầu đặc biệt

Không có.

Điều kiện trước

User phải login vào hệ thống trước khi Use case bắt đầu và User đã được cấp

quyền thực hiện chức năng.

Điều kiện sau

Nếu việc cập nhật thông tin thành công, hồ sơ đã được tạo sẽ hiển thị trong danh

sách hồ sơ theo dõi của User.

Điểm mở rộng

Không.

3.2.2.2. Use CaseDanh sách tài sản

Mô tả tóm tắt

Đây là Ca sử dụng mô tả việc theo dõi danh sách tài sản được thẩm định để đưa

vào làm tài sản bảo đảm trong mỗi hồ sơ thẩm định. Hiển thị danh sách tài sản của hồ sơ

bao gồm các thông tin: Mã hồ sơ, Tên hồ sơ, Mã tài sản, tên tài sản, loại tài sản. Cho

phép xem chi tiết, xóa và cập nhật tài sản.

Luồng các sự kiện

Luồng chính

Ca sử dụng được bắt đầu khi User muốn xem chi tiết thông tin danh sách tài sản

cần thẩm định để dùng làm tài sản bảo đảm.

- User truy cập chức năng "Danh sách tài sản".

45

- Hệ thống hiển thị danh sách tài sản bao gồm các thông tin: Mã hồ sơ, Tên hồ sơ,

Mã tài sản, tên tài sản, loại tài sản.

Luồng phụ

User khi xem xong danh sách tài sản, có thể lựa chọn:

- "Xóa" tài sản: Hệ thống sẽ xóa tài sản khỏi danh sách tài sản của hồ sơ thẩm định.

- "Xem chi tiết","Cập nhật" tài sản: Tùy thuộc vào loại tài sản hệ thống sẽ trả lại

màn hình phù hợp với loại tài sản đó. Chi tiết sẽ được mô tả trong các use case

"Use Case Cập nhật tài sản định giá- xx".

Yêu cầu đặc biệt

Không.

Điều kiện trước

Người dùng đã đăng nhập vào hệ thống và được phép nhìn thấy các hồ sơ thẩm

định có liên quan đến người dùng.

Điều kiện sau

Không.

Điểm mở rộng

Không.

3.2.2.4. Use CaseCập nhật tài sản định giá - BĐS là Đất

Mô tả tóm tắt

Đây là Ca sử dụng mô tả việc cập nhật các thông tin liên quan đến tài sản dùng để

định giá- cụ thể tài sản là đất. Ca sử dụng này được dùng khi chuyên viên thẩm định

muốn báo cáo về tài sản thẩm định.

Luồng các sự kiện

Luồng chính

Ca sử dụng được bắt đầu khi User muốn cập nhật thông tin tài sản cần thẩm định

để dùng làm tài sản bảo đảm.

46

- User truy cập chức năng "Quản lý hồ sơ" và chọn trạng thái của hồ sơ/hoặc xem

tất cả, lựa chọn hồ sơ cần cập nhật thông tin tài sản và chọn "Cập nhật tài sản".

- Hoặc người dùng truy cập chức năng "Danh sách tài sản" lựa chọn "Cập nhật".

- Hệ thống hiển thị màn hình cho phép người dùng cập nhật các thông tin liên quan

đến đất như sau:

- Cập nhật thông tin pháp lý liên quan đến đất:

o Giấy chứng nhận quyền sử dụng đất: số … do … cấp ngày … tháng … năm

… Cập nhật biến động mới nhất ngày ... tháng ... năm ... về nội dung: thay

đổi diện tích/ chủ sở hữu...).

o Bản đồ hiện trạng vị trí/ trích lục:số … do ... cấp ngày … tháng … năm …

o Tờ khai lệ phí trước bạ:số … do … cấp ngày ... tháng ... năm ...

o Giấy tờ khác (nếu có),Số thửa, Tờ bản đồ số.

o Diện tích khuôn viên (m2), ngang (m), dài (m), sử dụng chung (m2), sử

dụng riêng (m2).

o Mục đích sử dụng đất, Thời hạn sử dụng đất, Hình thức giao đất.

o Cập nhật thông tin pháp lý liên quan đến các tài sản gắn liền với đất:Giấy

phép xây dựng:số … do … cấp ngày … tháng … năm …, Giấy tờ khác

(nếu có).

o Cập nhật thông tin thực trạng của đất:

Vị trí (địa chỉ thực tế):số nhà, đường, phường, quận, tỉnh.

Cấp hẻm, vị trí hẻm, độ rộng hẻm (m).

Khoảng cách tới mặt tiền đường gần nhất (m).

Lô giới quy hoạch hiện hữu (m), mặt đường.

Diện tích khuôn viên (m2), ngang (m), dài(m), diện tích vi phạm lộ

giới (m2), diện tích phù hợp quy hoạch (m2), sử dụng chung (m2),

sư dụng riêng (m2).

Hướng thửa đất.

Tọa độ thửa đất.

Hạ tầng kỹ thuật

o Thực trạng tài sản gắn liền với đất:

47

Tổng diện tích sàn xây dựng (m2), ngang (m), dài(m), diện tích phù

hợp (m2), diện tích vi phạm (m2).

Kết cấu, số lầu/tầng, cấp nhà.

Kiến trúc xây dựng, năm xây dựng.

Chất lượng còn lại (%), đơn giá xây dựng mới (Đ/m2).

Hiện trạng sử dụng: Để ở/đang cho thuê/làm trụ sở/khác.

Tranh trấp về tài sản: Có/không/có nghi ngờ.

Tình trạng thế chấp tài sản: Đang thế chấp/Chưa thế chấp.

Môi trường xung quanh: Tài sản thuộc khu vực (Dân cư hiện

hữu/Dân cư đô thị mới/Dân cư vượt lũ/Thuần sản xuất nông

nghiệp/Khu công nghiệp/khác.

Tình trạng ô nhiễm: Không/Có.

Thông tin quy hoạch khu vực tài sản tọa lạc: Có/Không/Nghi ngờ.

o Ước tính giá trị tài sản bảo đảm:

Sau khi người dùng nhập đầy đủ các thông tin thì lựa chọn "Lưu lại".

Hệ thống sẽ ước tính giá trị tài sản bảo đảm của BĐS và hiển thị

thông tin lên cho người dùng xem xét và chỉnh sửa:Đơn giá quyền

sử dụng đất, Giá trị quyền sử dụng đất, Giá trị tài sản gắn liền trên

đất,Tổng giá trị tài sản.

o Xếp hạng tài sản:

Người dùng có thể tham khảo giá của các tài sản so sánh để điều

chỉnh giá của tài sản thẩm định. Bằng cách lựa chọn chức năng

"Thuyết minh giá". Chức năng này sẽ được mô tả trong use case "

Thuyết minh giá".

Sau khi người dùng hoàn tất nhập liệu và điều chỉnh, có thể lựa chọn

"Lưu lại".

Hệ thống sẽ trở về chức năng "Quản lý hồ sơ"/"Danh sách tài sản"

mà trước đó người dùng truy cập.

Luồng phụ

48

Trong quá trình cập nhật, người dùng không muốn tiếp tục thực thi và muốn hủy

bỏ có thể lựa chọn "Quay lại". Hệ thống sẽ trở về chức năng "Quản lý hồ sơ"/"Danh sách

tài sản" mà trước đó người dùng truy cập.

Yêu cầu đặc biệt

Không.

Điều kiện trước

Người dùng đã đăng nhập vào hệ thống và được phép nhìn thấy các hồ sơ thẩm

định có liên quan đến người dùng.

Điều kiện sau

Hệ thống cập nhật đầy đủ các thông tin về tài sản muốn đưa vào hồ sơ.

Điểm mở rộng

Không.

3.2.2.5. Use CaseUpload file hồ sơ

Mô tả tóm tắt

Đây là Ca sử dụng mô tả việc cập nhật các giấy tờ, văn bản, hình ảnh liên quan

đến tài sản bảo đảm.

Luồng các sự kiện

Luồng chính

Ca sử dụng được bắt đầu khi người dùng lựa chọn "Upload file hồ sơ".

- Người dùng nhập liệu các thông tin sau: Mô tả tài liệu, Loại tài liệu.

- Lựa chọn file muốn upload và chọn "Upload".

- Hệ thống sẽ tải file lên server và cập nhật thông tin tài liệu và đường dẫn file trên

server vào trong cơ sở dữ liệu.

- Sau khi cập nhật xong, tài liệu sẽ được hiển thị trên dánh sách file hồ sơ.

Luồng phụ

49

- Người dùng có thể lựa chọn "Xóa". Hệ thống sẽ xóa file tài liệu khỏi hồ sơ và cập

nhật lại trên cơ sở dữ liệu. Đồng thời loại bỏ file khỏi danh sách hồ sơ.

- Người dùng có thể lựa chọn "Tải về". Hệ thống sẽ trả về cho người dùng file đính

kèm mà người dùng muốn tải về.

Yêu cầu đặc biệt

Không.

Điều kiện trước

Người dùng đã đăng nhập vào hệ thống và được phép nhìn thấy các hồ sơ thẩm

định có liên quan đến người dùng.

Điều kiện sau

Hệ thống cập nhật đầy đủ các thông tin về file đính kèm mà người dùng muốn đưa

vào hồ sơ.

Điểm mở rộng

Không.

3.2.2.6. Use CaseTạo báo cáo thẩm định cho BĐS

Mô tả tóm tắt

Đây là Ca sử dụng mô tả việc tạo báo cáo thẩm định cho tài sản là BĐS. Người

dùng sẽ lựa chọn phương pháp định giá phù hợp với tài sản để đưa ra được chi phí dự

kiến cho tài sản. Đối với tài sản là BĐS thì phương pháp định giá phù hợp nhất là phương

pháp so sánh. Hệ thống sẽ hỗ trợ người dùng đưa ra được các tài sản so sánh gần tương

đồng nhất với tài sản thẩm định. Từ đó người dùng dựa trên các quy tắc tính toán ra giá

trị của tài sản thẩm định.

Luồng các sự kiện

Luồng chính

Ca sử dụng bắt đầu khi người dùng muốn tạo báo cáo thẩm định cho bất động sản.

50

- Người dùng lựa chọn hồ sơ cần báo cáo thẩm định trong danh sách hồ sơ của

mình. Lựa chọn "Báo cáo thẩm định".

- Hệ thống hiển thị các option lựa chọn phương pháp định giá: Phương pháp so

sánh, Phương pháp chi phí, Phương pháp khác.

- Đối với tài sản là đất, phương pháp so sánh thường đưa ra kết quả chính xác nhất.

Khi người dùng lựa chọn phương pháp so sánh.

- Hệ thống dùng thuật toán K hàng xóm gần nhất để đưa ra danh sách 3 tài sản so

sánh gần tương đồng nhất với tài sản thẩm định, và hiển thị các thông tin dùng để

tính toán định giá như: Pháp lý,diện tích đất,diện tích sử dụng, giá rao bán (đ), giá

thương lượng (đ), đơn giá xây dựng mới tương tự (đ/m2), chất lượng công trình

còn lại (%), giá trị tài sản trên đất còn lại (đ)), đơn giá đất ước tính trước khi

thương lượng, giá trị đất ước tính,đơn giá đất ước tính sau khi thương lượng,

nguồn thông tin tham khảo.

- Các yếu đố điều chỉnh: Giá bán, tổng diện tích, Giá bán/m2.

- Người dùng nhập các thông tin điều chỉnh dựa theo các yếu tố so sánh với các tài

sản so sánh như sau:

o Điều kiện thanh toán: Tỷ lệ điều chỉnh, mức điều chỉnh, giá sau điều chỉnh.

o Tình trạng pháp lý: Mức điều chỉnh, giá sau điều chỉnh.

o Vị trí (lợi thế kinh doanh): Tỷ lệ, tỷ lệ điều chỉnh, mức điều chỉnh.

o Cơ sở hạ tầng: Tỷ lệ, tỷ lệ điều chỉnh, mức điều chỉnh.

o Hướng: Tỷ lệ, tỷ lệ điều chỉnh, mức điều chỉnh.

o Cảnh quan: Tỷ lệ, tỷ lệ điều chỉnh, mức điều chỉnh.

o Mức giá chỉ dẫn.

- Người dùng thống nhất mức giá chỉ dẫn trên các TSSS: Số lần điều chỉnh, số điều

chỉnh thuần, số điều chỉnh tuyệt đối.

- Hệ thống tự động tính toán tổng giá trị tài sản định giá sau khi người dùng điều

chỉnh:

o Giá trị đất: Diện tích, đơn giá, chất lượng còn lại, giá trị.

o Giá trị công trình trên đất: Diện tích, đơn giá, chất lượng còn lại, giá trị.

o Tông giá trị tài sản bảo đảm (đ).

51

- Người dùng có thể điều chỉnh lại các giá trị.

- Người dùng nhập các thông tin hạn chế của tài sản thẩm định, nhận xét và kết luận

về tài sản.

- Sau khi hoàn thành thẩm định. Người dùng lựa chọn "Gửi phê duyệt".

- Hệ thống sẽ gửi hồ sơ tới quản lý để phê duyệt hồ sơ. Tính năng sẽ được mô tả

trong Use Case "Xử lý báo cáo định giá".

Luồng phụ

- Trong quá trình thực hiện báo cáo người dùng chưa báo cáo xong nhưng muốn lưu

giữ lại thông tin đã báo cáo. Lựa chọn "Lưu lại". Hệ thống lưu trữ lại các thông tin

mà người dùng vừa nhập liệu.

- Trong quá trình thực hiện người dùng không muốn lập báo cáo nữa, có thể lựa

chọn "Quay lại". Hệ thống sẽ xóa bỏ các thông tin mà người dùng vừa nhập liệu,

đồng thời quay trở về danh sách hồ sơ.

Yêu cầu đặc biệt

Không.

Điều kiện trước

Người dùng đã đăng nhập thành công và có quyền truy cập tính năng.

Điều kiện sau

Hệ thống ghi nhận các thông tin mà người dùng đã báo cáo.

Điểm mở rộng

Không.

3.2.2.7. Use Case Xử lý báo cáo định giá

Mô tả tóm tắt

Đây là Ca sử dụng mô tả việc xử lý báo cáo định giá của các thành viên liên quan

đến hồ sơ. Việc xử lý bao gồm: Nhận xét và phê duyệt báo cáo, Gửi yêu cầu thẩm định

lại, Điều chỉnh tăng giảm giá.

Luồng các sự kiện

52

Luồng chính

Ca sử dụng được bắt đầu khi người dùng nhận được yêu cầu phê duyệt hồ sơ thẩm

định.

- Người dùng lựa chọn hồ sơ cần được phê duyệt.

- Hệ thống hiển thị tất cả thông tin chi tiết của hồ sơ.

- Nếu báo cáo thẩm định duyệt được. Người dùng nhận xét đánh giá hồ sơ/ tăng

giảm giá tài sản như sau:

o Giấy tờ sở hữu của tài sản: Hợp lệ/ Không hợp lệ, Lý do không hợp lệ.

o Phương pháp áp dụng: Phù hợp/ Chưa phù hợp, Lý do.

o Nhận xét về giá trị thẩm định: Thấp/Phù hơp/Cao/Rất cao (>30%).

o Người dùng nhập thông tin giá trị tài sản được phê duyệt: "Căn cứ vào Báo

cáo thẩm định ngày ... do … cung cấp (Mã tài sản ….), và căn cứ nội dung

kiểm tra, Phòng Thẩm định tài sản phê duyệt giá trị tài sản là: …. đồng.".

o Người dùng có thể nhập thông tin kiến nghị khác.

o Người dùng lựa chọn "Duyệt".

o Hệ thống thay đổi trạng thái hồ sơ và quay trở về danh sách hồ sơ.

Luồng phụ

Nếu báo cáo thẩm định không duyệt được và cần được thẩm định lại. Người dùng

có thể lựa chọn "Thẩm định lại". Hệ thống sẽ cập nhật lại trạng thái hồ sơ và gửi lại hồ sơ

cho CVTĐ phụ trách thẩm định hồ sơ.

Yêu cầu đặc biệt

Không.

Điều kiện trước

Người dùng đã đăng nhập thành công và có quyền truy cập tính năng.

Điều kiện sau

Hệ thống cập nhật thông tin và trạng thái của hồ sơ.

Điểm mở rộng

53

Không.

3.2.2.8. Use Case Cập nhật thông tin xử lý hồ sơ

Mô tả tóm tắt

Đây là Ca sử dụng mô tả việc cập nhật trạng thái hồ sơ, lựa chọn thực thi hồ sơ:

gửi hồ sơ, trình duyệt hồ sơ, phân công hồ sơ tới các đơn vị, phê duyệt hồ sơ, trả hồ sơ,

gửi yêu cầu bổ sung hồ sơ còn thiếu, gửi email đến user liên quan, xóa hoặc hủy yêu cầu

thẩm định.

Luồng các sự kiện

Luồng chính

Ca sử dụng được bắt đầu khi User muốn cập nhật thông tin xử lý hồ sơ:

- User truy cập chức năng "Quản lý hồ sơ" và lựa chọn tab tính năng theo trạng thái

của hồ sơ mà người dùng muốn cập nhật thông tin xử lý hồ sơ.

- Hệ thống trả về giao diện hiển thị danh sách các hồ sơ theo trạng thái mà người

dùng đã lựa chọn. Đối với mỗi trạng thái của hồ sơ, người dùng có thể thực thi xử

lý hồ sơ như sau:

o Hồ sơ chưa gửi: Người dùng (CVQHKH) tích chọn "Gửi hồ sơ cho văn

thư". Hệ thống sẽ tự động thay đổi trạng thái của hồ sơ thành "Hồ sơ đã

gửi, chờ kiểm tra", và tự động hiển thị hồ sơ lên danh sách "Hồ sơ đã gửi,

chờ kiểm tra" của văn thư nằm trong chi nhánh. Người dùng cũng có thể

lựa chọn xóa hoặc hủy yêu cầu thẩm định.

o Hồ sơ đã gửi, chờ kiểm tra: Văn thư sẽ nhìn thấy những hồ sơ cần kiểm tra

tính đầy đủ hợp lệ. Lựa chọn xem chi tiết hồ sơ. Hệ thống hiển thị chi tiết

các thông tin của hồ sơ. Văn thư có thể lựa chọn "Gửi phân công" nếu hồ sơ

đã đáp ứng đầy đủ yêu cầu, hoặc lựa chọn "Trả lại".

o Hồ sơ chưa phân công: Phó phòng hoặc trưởng phòng tại chi nhánh sẽ nhìn

thấy các hồ sơ chưa được phân công và yêu cầu được phân công. Lựa chọn

hồ sơ để thực thi phân công. Hệ thống hiển thị chi tiết thông tin hồ sơ. Cho

phép PP hoặc TP lựa chọn chuyên viên thẩm định thực thi công tác thẩm

54

định. Hệ thống cập nhật lại trạng thái "Chưa xử lý", và thông tin Chuyên

viên được phân công thẩm tính, Thời gian phân công hồ sơ.

o Hồ sơ chưa xử lý: Chuyên viên thẩm định sẽ nhìn thấy danh sách hồ sơ

được phân công và chưa xử lý. Lựa chọn xem chi tiết hồ sơ. Cập nhật các

thông tin Tiến độ xử lý Hồ sơ thẩm định: Thời gian liên hệ hẹn đi thẩm

định, Thời gian đi thẩm định. Trạng thái hồ sơ chuyển thành "Đang thẩm

định".

o Hồ sơ đã hoàn thành, chờ phê duyệt: Trưởng phòng/Phó phòng chọn xem

chi tiết hồ sơ và lựa chọn "Phê duyệt"/"Không phê duyệt, trả lại". Hệ thống

sẽ tự động cập nhật trạng thái tương ứng cho hồ sơ.

- Hệ thống ghi nhận trạng thái xử lý và thực thi theo các trạng thái xử lý mà User

lựa chọn.

Luồng phụ

Không.

Yêu cầu đặc biệt

Không.

Điều kiện trước

Người dùng đã đăng nhập vào hệ thống, và được phép truy cập vào danh sách hồ

sơ theo các trạng thái tương ứng với chức vụ của người dùng.

Điều kiện sau

Nếu việc cập nhật thông tin thành công, hồ sơ đã được tạo sẽ hiển thị trong danh

sách hồ sơ theo dõi của người dùng theo đúng quyền quản lý tương ứng với các trạng thái

xử lý hồ sơ.

Điểm mở rộng

Không.

3.2.2.9. Use CaseThuyết minh giá

Mô tả tóm tắt

55

Đây là Ca sử dụng mô tả việc thuyết minh giá, đưa ra các gợi ý giá trị và các thông

tin TSSS gần nhất với tài sản có các yếu tố người dùng muốn tìm kiếm.

Luồng các sự kiện

Luồng chính

Ca sử dụng được bắt đầu khi User muốn cập nhật thông tin xử lý hồ sơ:

- User truy cập chức năng "Thuyết minh giá" và nhập các thôn tin của các yếu tố

muốn tìm kiếm.

- Dựa trên thông tin người dùng nhập về tài sản. Hệ thống sử dụng thuật toán K láng

giềng gần nhất để tìm ra danh sách các tài sản so sánh có các yếu tố tương đồng

nhất với tài sản thẩm định. Hiển thị các tài sản này bằng biểu đồ trực quan, hỗ trợ

người dùng xem chi tiết các thông tin cơ bản về tài sản. Đồng thời hiển thị chi tiết

các yếu tố của 3 tài sản so sánh tương đồng nhất.

- Đưa ra phương trình hồi quy tuyến tính được xây dựng dựa trên k tài sản tương

đồng trên và ước lượng tổng giá trị tài sản cần định giá để người dùng tham khảo.

- Đồng thời áp dụng phương trình hồi quy tuyến tính trên để đưa ra ước lượng giá

tương ứng cho 3 tài sản so sánh. Tính độ lệch của giá trị thực tế của tài sản so sánh

với giá trị ước lượng để đưa ra kết luận độ tin cậy của ước lượng giá trị tài sản

thẩm định.

Luồng phụ

Không.

Yêu cầu đặc biệt

Không.

Điều kiện trước

Người dùng đã đăng nhập vào hệ thống, và được phép truy cập vào chức năng.

Điều kiện sau

Không.

Điểm mở rộng

56

Không.

3.4. Xây dựng và triển khai

3.4.1. Xây dựng Database Thông tin chung của hồ sơ thẩm định:

Hình 3- 7:Lược đồ dữ liệu thông tin hồ sơ thẩm định

Trong đó:

- Bảng Fact_HoSoThamDinh: Liên kết các thông tin liên quan đến hồ sơ thẩm định, thông tin xử lý hồ sơ, trạng thái hồ sơ.

57

- Bảng Dim_ChuSoHuu: Lưu trữ các thông tin của chủ sở hữu tài sản cần thẩm định.

- Bảng Dim_KhachHangVay: Lưu trữ các thông tin của khách hàng vay tiền và đưa ra yêu cầu thẩm định.

- Bảng Dim_NhanVien: Lưu trữ các thông tin của nhân viên trong ngân hàng: Nhân viên thẩm định, văn thư…

- Bảng Dim_CMT: Lưu trữ các thông tin về chứng minh thư.

- Bảng Dim_DiaChi: Lưu trữ các thông tin địa chỉ: tỉnh/thành phố, quận/huyện, phường/xã, đường, số nhà…

- Bảng Dim_ChiNhanh: Lưu trữ các thông tin về chi nhánh của ngân hàng.

- Bảng Dim_ThanhPhanThamDinh: Lưu trữ thông tin thành phần tham gia thẩm định hồ sơ.

- Bảng Dim_PhongBan: Lưu trữ thông tin các phòng ban trong ngân hàng.

- Bảng Dim_DanhSachTaiSan: Lưu trữ thông tin của danh sách các tài sản tham gia thẩm định trong hồ sơ.

- Bảng Dim_TaiLieuHoSo: Lưu trữ các thông tin về tài liệu liên quan trong hồ sơ.

Thông tin tài sản bảo đảm là Bất Động Sản - Đất:

58

Hình 3- 8: Lược đồ dữ liệu thông tin tài sản BĐS- Đất

Trong đó:

- Bảng Fact_TaiSanDat: Liên kết tất cả các thông tin khai báo về tài sản BĐS là Đất và thông tin tổng giá trị của tài sản, xếp hạng tài sản.

- Bảng Dim_TTPhapLyDat: Lưu trữ thông tin pháp lý của đất.

59

- Bảng Dim_ThongTinPhapLy: Lưu trữ thông tin chi tiết về một nghị định văn bản pháp lý được ban hành.

- Bảng Dim_TTPhapLyTaiSan: Lưu trữ thông tin pháp lý của tài sảm gắn liền trên đất.

- Bảng Dim_GiaTriTaiSan: Lưu trữ giá trị hiện tại của tài sản.

- Bảng Dim_ThucTrangDat: Lưu trữ thông tin thực trạng của đất.

- Bảng Dim_ThucTrangTSDat: Lưu trữ thông tin thực trạng tài sản gắn liền trên đất.

- Bảng Dim_DonGiaQuyenSDDat: Lưu trữ đơn giá quyền sử dụng đất.

- Bảng Dim_DonGiaThiTruongDat: Lưu trữ đơn giá trên thị trường của đất.

Thông tin báo cáo thẩm định tài sản bảo đảm

Hình 3- 9: Lược đồ dữ liệu thông tin báo cáo thẩm định tài sản bảo đảm

60

Trong đó:

- Bảng Fact_BaoCaoTDBDS: Liên kết các thông tin báo cáo điều chỉnh giá của các TSSS và đưa ra giá trị của TSTĐ, thông tin kết luận và nhận xét về tài sản là Bất đống sản.

- Bảng Fact_BaoCaoTDDS: Liên kết các thông tin báo cáo điều chỉnh giá của các TSSS và đưa ra giá trị của TSTĐ, thông tin kết luận và nhận xét về tài sản là Động sản.

- Bảng Dim_DieuChinhTSSS: Lưu trữ thông tin giá điều chỉnh của các tài sản so sánh trong hồ sơ thẩm định.

- Bảng Dim_YeuToDieuChinh: Lưu trữ thông tin điều chỉnh giá dựa trên các yếu tố điều chỉnh của TSSS.

- Bảng Dim_GiaDatThiTruong: Lưu trữ thông tin giá thị trường của tài sản.

3.4.2. Xây dựng mô hình ứng dụng

Phần mềm được xây dựng theo kiến trúc 3 lớp như mô hình sau:

Hình 3- 10:Mô hình ứng dụng

- Lớp ứng dung: Là lớp trên cùng, làm nhiệm vụ xử lý các tương tác của người dùng, hiển thị thông tin dữ liệu.

61

- Lớp xử lý logic nghiệp vụ: Là lớp xử lý các logic nghiệp vụ: nhận thông tin về tài sản cần thẩm định, tìm ra tập dữ liệu training k tài sản tương đồng nhất,tìm 3 tài sản so sánh. Xây dựng phương trình hồi quy trên tập k tài sản training. Ước lượng giá trị của 3 tài sản so sánh. Và đưa ra ước lượng giá cho tài sản thẩm định…

- Lớp giao tiếp với cơ sở dữ liệu: Là lớp làm nhiệm vụ truy xuất, cập nhật, xóa dữ liệu trong cơ sở dữ liệu, theo yêu cầu xử lý của logic nghiệp vụ.

62

CHƯƠNG 4: CÀI ĐẶT VÀ KẾT QUẢ

4.1.Cài đặt

Hệ thống yêu cầu cài đặt 2 server:

- Server cài đặt ứng dụng:

o Yêu cầu phần cứng: CPU: 2.5 GHz, RAM: 2GB,HD: 50GB.

o Yêu cầu phần mềm:Hệ điều hành Linux,Server JBoss 4.2, Cài đặt jdk 1.7

- Server cài đặt database:

o Yêu cầu phần cứng: CPU: 2.5 GHz, RAM: 8GB,HD: 1TB.

o Yêu cầu phần mềm: Hệ điều hành Linux, Oracle 12c.

63

4.2. Kết quả

4.2.1. Chức năng quản lý thông tin hồ sơ thẩm định

Chức năng cho phép người dùng quản lý các hồ sơ thẩm định được quyền quản lý. Bao gồm: Hồ sơ người dùng tạo mới chưa gửi trình duyệt, hồ sơ đã gửi trình duyệt đang chờ phê duyệt, hồ sơ chưa phân công, hồ sơ đã phân công…

Ứng với nhiệm vụ của mình, nhân viên/quản lý sẽ vào xử lý hồ sơ. Thông tin xử lý sẽ được cập nhật và những người liên quan đến hồ sơ sẽ theo dõi được quá trình xử lý của hồ sơ. Người dùng có thể lựa chọn tìm kiếm hồ sơ theo các tiêu chí mà mình mong muốn.

64

Hình 4- 1: Chức năng Quản lý hồ sơ

4.2.2. Chức năng Cập nhật thông tin chung của hồ sơ

Khi chuyên viên thẩm định muốn tạo mới một hồ sơ thẩm định tài sản. Chuyên viên lựa chọn Thêm mới hồ sơ. Bước đầu chuyên viên cần phải nhập thông tin chung về hồ sơ.

Hình 4- 2: Cập nhật thông tin chung của hồ sơ.

65

4.2.3. Cập nhật thông tin pháp lý của hồ sơ

Sau bước cập nhật thông tin chung về hồ sơ. Chuyên viên cần khai báo đầy đủ thông tin pháp lý liên quan đến tài sản trong hồ sơ thẩm định.

Hình 4- 3: Cập nhật thông tin pháp lý của tài sản trong hồ sơ thẩm định

66

4.2.4. Cập nhật thông tin tài sản bảo đảm

Chức năng yêu cầu chuyên viên cập nhật các thông tin tài sản bảo đảm cần được thẩm định trong hồ sơ.

Hình 4- 4: Cập nhật thông tin tài sản bảo đảm - Bất động sản

67

4.2.5. Cập nhật thông tin kết luận của báo cáo thẩm định

Sau khi hoàn tất vấn đề thẩm định, chuyên viên sẽ tiến hành cập nhật các thông tin kết luận giá trị các tài san thẩm định trong hồ sơ.

Hình 4- 5: Kết luận của báo cáo thẩm định tài sản

68

4.2.6. Thuyết minh giá

Chức năng hỗ trợ người dùng ra quyết định giá cho tài sản. Với các yếu tố người dùng nhập vào để tìm kiếm. Hệ thống vận dụng thuật toán KNN để xác định 2 tập dữ liệu: 3 tài sản so sánh có các yếu tố tương đồng nhất với tài sản cần thẩm định và tất cả các tài sản có các yêu tố tương đồng nhất với các thông tin người dùng nhập vào. Hiển thị trực quan dưới dạng biểu đồ và bảng biểu giúp người dùng dễ đối sánh và theo dõi. Ngoài ra, hệ thống tự động xây dựng mô hình hồi quy tuyến tính đa biến với các yếu tố cần quan tâm của tài sản, trên tập dữ liệu vừa tìm được của thuật toán KNN.

69

Hình 4- 6: Thuyết minh giá

70

4.2.7. So sánh kết quả thực nghiệm trên Web thẩm định và phần mềm Weka

Đầu vào: Việc thử nghiệm được thực hiện trên 10 thông tin tài sản trong tập dữ liệu ở Phụ lục 1. Với các thuộc tính được trích chọn: Chiều ngang, Chiều dài, Mặt ngõ, Hướng đất, Vị trí (Kinh độ, Vĩ độ).

So sánh hai phương pháp:

- Phương pháp 1 với cột kết quả 1: Kết quả thực nghiệm trên web Thẩm định tài sản bảo đảm, sử dụng kết hợp phương pháp K láng giềng gần nhất và hồi quy tuyến tính đa biến.

- Phương pháp 1 với cột kết quả 2: Kết quả thực nghiệm trên phần mềm Weka, dự đoán bằng phương pháp hồi quy tuyến tính đa biến.

Đầu ra:

- Phương trình hồi quy tuyến tính đa biến thực hiện trên web Thẩm định tài sản bảo đảm:

Giá trị tài sản = -4546 + 576*ChiềuNgang + 369*ChiềuDài - 167*MặtNgõ -9*HướngĐất

Phương sai = 0.87

- Phương trình hồi quy tuyến tính đa biến sử dụng phương pháp hồi quy tuyến tính đa biến trong phần mềm weka:

Giá trị tài sản = -4786+ 0*ChiềuNgang + 265*ChiềuDài +187*MặtNgõ +5756.0096 * HuongDat=Dong Nam,Tay

Phương sai = 0.53

- Kết quả thử nghiệm như sau:

Bảng 4- 1: Kết quả thử nghiệm hai phương pháp

Tài sản

Vị trí Chiều ngang

Chiều dài

Mặt ngõ

Hướng đất

Giá thực tế

Kết quả 1

Kết quả 2

1 Phường Hiệp Bình Chánh, Thủ Đức, Hồ Chí Minh

6.0 12.7 10.0 Đông Nam

2579.0 1851.0 6175

2 Đường 27, Phường Hiệp Bình Chánh, Thủ Đức, Hồ Chí Minh

30.0 26.0 12.0 Đông Nam

23340.0 20262.0 13704

71

3 Đường Ngô Chí Quốc, Phường Bình Chiểu, Thủ Đức, Hồ Chí Minh

6.0 11.7 12.0 Đông Nam

1610.0 1148.0 6129

4 Đường Ngô Chí Quốc, Phường Bình Chiểu, Thủ Đức, Hồ Chí Minh

5.0 12.4 12.0 Đông Nam

1426 830 6500

5 Đường Ngô Chí Quốc, Phường Bình Chiểu, Thủ Đức, Hồ Chí Minh

12.0 14.8 12.0 Đông Nam

4200 5751 7136

6 Đường Tỉnh lộ 43, Phường Bình Chiểu, Thủ Đức, Hồ Chí Minh

5.0 10.0 5.0 Đông Nam

1400 1113 4555

7 Đường Quốc Lộ 13, Phường Hiệp Bình Phước, Thủ Đức, Hồ Chí Minh

4.6 11.5 7.0 Bắc 1470 1111 -429

8 Đường Quốc Lộ 13, Phường Hiệp Bình Phước, Thủ Đức, Hồ Chí Minh

4.2 12.6 6.0 Tây Bắc

1456 1463 -325

9 Đường Quốc Lộ 13, Phường Hiệp Bình Phước, Thủ Đức, Hồ Chí Minh

6.0 7.0 7.0 Đông Nam 1500 2470

4134

10 Phường Linh Chiểu, Quận Thủ Đức , Hồ Chí Minh

5 10 8 Nam 820 616 -640

Nhận xét:

- Giá trị tài sản dự đoán khi sử dụng phương pháp hồi quy tuyến tính đa biến trên phần mềm weka (Cột kết quả 2) có sự chênh lệch so với thực tế lớn hơn nhiều so với kết quả thu được từ Web thẩm định (Cột kết quả 1).

- Giá trị phương sai của phương pháp 1 lớn hơn của phương pháp 2. Chứng tỏ giá trị dự đoán của phương pháp 1 đáng tin cậy hơn.

=> Tóm lại: Việc kết hợp giữa hai thuật toán K láng giềng gần nhất và hồi quy tuyến tính đa biến mang lại kết quả dự đoán chính xác hơn so với chỉ sử dụng phương pháp hồi quy tuyến tính trên cùng một tập dữ liệu.

72

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Kết luận

Luận văn đã thực hiện nghiên cứu, thử nghiệm giải pháp công nghệ BI và áp dụng vào bài toán hỗ trợ ra quyết định trong thẩm định tài sản bảo đảm tai ngân hàng NBC nhằm mục đích xác định giá trị tài sản thẩm định một cách chính xác và tin cậy hơn, giảm thiểu thời gian thực hiện báo cáo định giá tài sản, từ đó giúp khâu thẩm định đơn giản và nhanh chóng hơn.

Luận văn đã đạt được một số kết quả quan trọng trong quá trình thực hiện như sau:

Về mặt lý thuyết

- Nghiên cứu về cơ sở lý thuyết và kiến trúc của Data warehouse.- Nghiên cứu về cơ sở lý thuyết về data mining và một số thuật toán sẽ được áp

dụng trong bài toán thẩm định: K láng giềng gần nhất với phép tính khoảng cách Euclidean và Hồi quy tuyến tính đa biến.

- Tìm hiểu về giải pháp trí tuệ nghiệp vụ BI và ứng dụng của nó trong lĩnh vực tài chính ngân hàng.

- Phân tích hiện trạng nghiệp vụ bài toán thẩm định tài sản bảo đảm của ngân hàng NBC.

Về mặt thực nghiệm

- Để xuất ứng dụng giải pháp BI vào việc khai thác dữ liệu thẩm định tài sản bảo đảm của ngân hàng và liên ngân hàng, dữ liệu mua bán tài sản trên thi trường, để giải quyết bài toán hỗ trợ ra quyết định giá cho tài sản đảm bảo trong quá trình thẩm định duyệt hồ sơ vay tiền, tín dụng. Hướng tiếp cận giải quyết bài toán là kết hợp thuật toán K láng giềng gần nhất với phương pháp hồi quy tuyến tính để đưa ra được mô hình toán học tính toán giá trị tài sản dựa trên các hệ số điều chỉnh giá của mỗi yếu tố trong tài sản.

- Thiết kế và xây dựng kho dữ liệu hồ sơ thẩm định tài sản.- Lập trình thuật toán KNN và mô hình quy tuyến tính đa biến phục vụ mục đích hỗ

trợ quyết định giá trị tài sản đảm bảo.- Xây dựng ETL để thu thập và trích xuất thông tin từ các nguồn dữ liệu trong và

ngoài hệ thống ngân hàng.- Thiết kế và xây dựng ứng dụng Web thẩm định tài sản với loại tài sản là Bất Động

Sản - Đất để thử nghiệm giải pháp.

73

Hướng phát triển

Kết quả nghiên cứu của luận văn có thể là bước đầu của một giải pháp mới để ngân hàng NBC nâng cao chất lượng thẩm định tài sản. Trong thời gian tới, để phát triển giải pháp hoàn thiện hơn và với mong muốn hỗ trợ toàn diện quy trình của nghiệp vụ thẩm định tài sản, học viên định hướng sẽ triển khai một số công việc sau:

- Nghiên cứu và cải tiến thuật toán tìm ra K tài sản so sánh một cách hiệu quả hơn về thời gian thay thế thuật toán Euclidean.

- Nghiên cứu và áp dụng các phương pháp dự báo mang lại kết quả ước tính cho giá trị TSTĐ một cách chính xác hơn, phù hợp với hầu hết các kiểu dữ liệu đầu vào khác nhau như: Các thuật toán của cây quyết định, mạng nerual… Hoặc kết hợp một hoặc nhiều thuật toán khác để mang lại hiệu quả dự đoán hơn.

- Xây dựng hoàn chỉnh ứng dụng với các loại tài sản khác Bất động sản là Đất.- Bổ sung thêm các tính năng báo cáo thông minh để hỗ trợ công tác điều hành, tác

nghiệp của các cán bộ nghiệp vụ và quản lý.

74

TÀI LIỆU THAM KHẢO

Tiếng Việt

1. Nguyễn Đức Bình (2014), Nghiên cứu và xây dựng kho dữ liệu sản phẩm tại Ngân hàng TMCP Đại Dương dựa trên nền tảng hệ quản trị CSDL Oracle 10g, Luận văn Thạc sỹ ngành Công nghệ phần mềm, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội.

2. Bộ tài chính (2005), Hệ thống tiêu chuẩn thẩm định giá Việt Nam Theo QĐ số 24/2005/QĐ-BTC ngày 18/4/2005 của Bộ Tài chính.

3. Damodar N. Gujarati (2012), Kinh tế lượng cơ sở -3rd.ed, Chương trình giảng dạy kinh tế Fulbright, Chương 8:Phép phân tích hồi quy đa biến.

4. Nguyễn Ngọc Rạng (2013), Phân tích hồi quy tuyến tính đa biến, Bệnh viện đa khoa trung tâm An Giang.

5. Ngân hàng TMCP Quốc Dân (2015), Hướng dẫn thẩm định TSBĐ là bất động sản tại Ngân hàng TMCP Quốc Dân. Số 169/2015/QĐ-TGĐ.

6. Ngân hàng TMCP Quốc Dân (2015), Quy định phân luồng xử lý, thẩm định TSBĐ áp dụng tại ngân hàng TMCP Quốc Dân. Số 77/2015/QĐ-TGĐ.

7. Ngân hàng TMCP Quốc Dân (2015), Quy định thẩm định TSBĐ tại Ngân hàng TMCP Quốc Dân. Số 88/2015/QĐ-HDQT.

Tiếng Anh

8. Claudia Imhoff, Nicholas Galemmo, and Jonathan G. Geiger (2003), Mastering Data Warehouse Design Relational and Dimensional . Indiana: Wiley Publishing, Inc., Indianapolis, Indiana.

9. D.J.Hand, W.E.Henley (1996), A K nearest neighbour classifier for assessing consumer credit risk, JStor.

10. Nor Mazlina Abu Bakar, Izah Mohd Tahir (2009), Applying Multiple Linear Regression and Neural Network to Predict Bank Performance. Malaysia: International Business Research.

11. Schneider A, Hommel G, Blettner M (2010), Linear regression analysis: part 14 of a series on evaluation of scientific publications., Dtsch Arztebl Int.

12. Silvers, Fon (2008), Building and Maintaining a Data Warehouse.13. Vercellis, Carlo (2009), Business Intelligence: Data Mining and Optimization for

Decision Making, Politecnico di Milano, Italy: John Wiley & Sons Ltd.14. Wu X, Kumar V. (2009), Top 10 Algorithms in Data Mining, Chapman &

Hall/CRC.

75

PHỤ LỤC 1

Danh sách tập dữ liệu mẫu phục vụ cho mục đích thử nghiệm:

Giá Diện tích

Chiều ngang

Chiều sâu

Mặt đường

Loại đất

Hướng đất

Lợi thế kinh

doanhPháp lý Đường Phường Quận Thành

phố Kinh độ Vĩ độ

3300 50 4.2 11.9 27 Dat ThCu

Dong Nam Co Co SĐ Duong

NoiHa Dong Ha Noi 20.97826 105.7611

80500 350 16 21.9 30 Dat ThCu Tay Co Co SĐ Loc Tho Nha

TrangKhanh Hoa 12.24412 109.1925

280 20 4 5 8 Dat ThCu

Dong Nam Khong Co SĐ Chon

THanhBinh Phuoc 11.48024 106.6611

1600 50 4 12.5 12 Dat DV

Dong Nam Co Co SĐ 20.94911 105.7484

375 75 5 15 14 Dat DV

Tay Bac Khong Chua co

SĐBien Hoa

Dong Nai 10.91419 106.8916

2100 144 4.5 32 8 Dat ThCu Dong Co Co SĐ Thuan

GiaoThuan Giao

Thuan An

Binh Duong 10.95686 106.7117

1500 54 6 7 7 Dat ThCu

Dong Nam Khong Co SH Quoc

Lo 13Hiep Binh Phuoc Thu Duc Ho Chi

Minh 10.84244 106.7179

1500 100 5 20 20.5 Dat ThCu

Dong Nam Co Co SĐ Tan Luu

Ngu Hanh Son

Da Nang 15.98208 108.2719

350 100 5 20 30 Dat ThCu

Tay Bac Khong Co SĐ

Vo Nguyen Giap

Long Binh Tan

Bien Hoa

Dong Nai 10.9136 106.9361

1456 52 4.2 12.6 6 Dat ThCu

Tay Bac Khong Co SĐ Quoc

Lo 13Hiep Binh Phuoc Thu Duc Ho Chi

Minh 10.84244 106.7179

2100 61 6 10.2 8 Dat DV

Dong Nam Co Co SH

Nguyen Van Qua

Quan 12 Ho Chi Minh 10.82748 106.6267

3600 144 8 18 16 Dat ThCu

Dong Nam Co Co SĐ Hiep

THanh Quan 12 Ho Chi Minh 10.87801 106.6357

700 100 5 20 12 Dat ThCu Tay Khong Co SĐ Hiep

Phuoc NHa Be Ho Chi Minh 10.64989 106.731

76

289 100 5 20 36 Dat DV

Dong Nam Khong Co SH

Phan Van Hon

Hoc Mon

Ho Chi Minh 10.85304 106.5839

4200 98 5 19.6 30 Dat DV

Dong Nam Khong Co SH La Xuan

Oai Quan 9 Ho Chi Minh 10.83987 106.7945

1320 56 4 14 8 Dat DV

Dong Nam Khong Co SH La Xuan

Oai Quan 9 Ho Chi Minh 10.83987 106.7945

2100 107 5.1 23.2 10 Dat DV Nam Khong Co SH La Xuan

Oai Quan 9 Ho Chi Minh 10.83987 106.7945

37345 1067 20 53.4 50 Dat DV

Dong Nam Co Co SH Quoc

Lo 13

Tan Thong Hoi

Cu Chi Ho Chi Minh 10.96065 106.506

1804 41 3.5 11.7 3 Dat DV

Dong Nam Khong Co SH Dai Mo Nam Từ

Liem Ha Noi 21.00152 105.7635

1600 120 8 15 10 Dat ThCu Nam Co Co SĐ Vuon

LaiAn Phu Dong Quan 12 Ho Chi

Minh 10.85621 106.6925

21183 921 14 65.8 20 Dat DV

Dong Nam Co Co SH

Nguyen Duy Trinh

Quan 2 10.79062 106.7851

400 130 5 26 14 Dat DV Nam Khong Co SH Tinh Lo

10Le Minh Xuan

Binh Chanh

Ho Chi Minh 10.76177 106.5703

950 80 20 4 20 Dat DV Tay Co Co SH Quoc

Lo 13Hiep Binh Phuoc Thu Duc Ho Chi

Minh 10.84244 106.7179

580 100 5 20 10 Dat DV Tay Co Co SH Binh

ChanhHo Chi Minh 10.66745 106.5732

30500 84 4 21 4 Dat ThCu

Dong Nam Co Co SĐ Quoc

Lo 27 Phuong 6 Go Vap Ho Chi Minh 10.84425 106.6801

800 120 6 20 8 Dat ThCu

Dong Nam Khong Co SH Tinh Lo

10Le Minh Xuan

Binh Chanh

Ho Chi Minh 10.76177 106.5703

980 300 16 18.8 16 Dat ThCu Dong Co Co SĐ Ben Cat Binh

Duong 11.13116 106.6001

850 270 15 18 10 Dat ThCu Bac Co Co SĐ Van Hoa Ba Vi Ha Noi 48.84873 2.340634

26100 300 11 27.3 10 Dat ThCu Dong Co Co SĐ Tan Lap Nha

TrangKhanh Hoa 12.23857 109.1944

4200 178 12 14.8 12 Dat Dong Co Co SH Ngo Chi Binh Thu Duc Ho Chi 10.89045 106.7178

77

ThCu Nam Quoc Chieu Minh

748 104 7 14.9 8 Dat ThCu Dong Khong Co SH Phu Hoa Thu Dau

MotBinh Duong 10.97785 106.6859

3240 81 4.5 18 8 Dat ThCu

Dong Nam Khong Co SĐ Duong

So 2Hiep Binh Phuoc Thu Duc Ho Chi

Minh 10.83838 106.7182

2850 60 5 12 8 Dat ThCu

Dong Nam Khong Co SĐ Linh

Trung Thu Duc Ho Chi Minh 10.86356 106.7605

18200 13000 100 130 50 Dat

SXKD Dong Co Co SĐNguyen Thi Ranh

Cu Chi 11.02326 106.4848

3100 3360 45 74 26 Dat ThCu Bac Khong Co SĐ Quoc lo

1ANinh Hoa

Khanh Hoa 12.53361 109.1612

54723 107.3 7 15.3 21.5 Dat ThCu Bac Co Co SĐ Co Nhue

2Bac Từ Liem Ha Noi 21.07176 105.774

2236 86 5 17.2 12 Dat ThCu Co Co SĐ Tam Binh Thu Duc Ho Chi

Minh 10.86787 106.7348

660 100 5 20 8 Dat DV Co Co SH Tinh lo

9 Cu Chi Ho Chi Minh 10.96012 106.6424

1320 53.6 5 10.7 15 Dat DV Khong Co SH Ngo Chi

Quoc Thu Duc Ho Chi Minh 10.89045 106.7178

700 100 5 20 9 Dat ThCu Khong Co SĐ Binh

ChuanThuan An

Binh Duong 10.98431 106.7227

7150 110 5 28 16 Dat ThCu Tay Co Co SĐ

Hoang Huu Nam

Long Binh Quan 9 Ho Chi

Minh 10.88026 106.8165

7150 110 5 28 16 Dat ThCu Tay Co Co SĐ

Hoang Huu Nam

Long Binh Quan 9 Ho Chi

Minh 10.88026 106.8165

2700 90 5 18 16 Dat ThCu Nam Co Co SĐ

Hoang Huu Nam

Long Binh Quan 9 Ho Chi

Minh 10.88026 106.8165

880 64 4.8 13.3 4.4 Dat ThCu Co Co SĐ Ngo

Quyen Da Lat Lam Dong 11.95481 108.4291

1570 60 5 12 7 Dat ThCu Khong Co SĐ Quoc

Lo 13Hiep Binh Phuoc Thu Duc Ho Chi

Minh 10.84244 106.7179

3700 50 5 10 36 Dat Nam Co Co SĐ Yen Ha Ha Noi 20.94911 105.7484

78

ThCu Nghia Dong

15625 625 14 36 20 Dat ThCu

Dong Nam Co Co SĐ Loc Tho Nha

TrangKhanh Hoa 12.24412 109.1925

1800 125 5 25 20 Dat ThCu

Dong Bac Co Co SĐ Long

BinhBien Hoa

Dong Nai 10.87743 106.8427

350 100 5 20 16 Dat ThCu Khong Co SĐ Quoc lo

1ABinh Chanh

Binh Chanh

Ho Chi Minh 10.71462 106.5993

2450 50 5 10 12 Dat ThCu

Dong Nam Co Co SĐ Duong

NoiHa Dong Ha Noi 20.97826 105.7611

1380 58.5 4.5 13 13 Dat ThCu Dong Co Co SĐ Vo Thi

ThừaAn Phu Dong Quan 12 Ho Chi

Minh 10.86304 106.7062

460 150 12 12.5 4 Dat ThCu Bac Khong Co SH Binh

ChanhBinh Chanh

Ho Chi Minh 10.66745 106.5732

750 200 10 20 16 Dat ThCu Dong Co Co SH Binh Loi Binh

ChanhHo Chi Minh 10.75315 106.481

640 52 4 13 30 Dat ThCu Dong Co Co SH Long

Phuoc Quan 9 Ho Chi Minh 10.80938 106.8596

880 193 14 48.3 14 Dat ThCu Nam Khong Co SĐ Tan Binh Vinh

CuuDong Nai 11.00045 106.8687

820 50 4 12.5 3 Dat ThCu Dong Khong Co SĐ Duong

70BThanh Tri Ha Noi 20.97794 105.803

60000 22000 110 200 3 Dat

SXKD Co Co SĐ Duong 51

Phuoc Binh

Long THanh

Dong Nai 10.68018 107.0838

9200 400 10 40 20 Dat ThCu Tay Co Co SĐ Loc Tho Nha

TrangKhanh Hoa 12.24412 109.1925

7000 184 8 23 10 Dat ThCu Tay Co Co SĐ

Dong Hung Thuan 27

Dong Hung Thuan

Quan 12 Ho Chi Minh 10.85165 106.6321

3600 92 4 23 7.5 Dat ThCu

Dat ThCu Co Co SĐ

Dong Hung Thuan 27

Dong Hung Thuan

Quan 12 Ho Chi Minh 10.85165 106.6321

3800 88 4 22 7.5 Dat ThCu

Tay Co Co SĐ Dong Hung Thuan

Dong Hung Thuan

Quan 12 Ho Chi Minh

10.85165 106.6321

79

27

570 90 5 18 8 Dat ThCu Nam Khong Co SĐ Binh

ChuanThuan An

Binh Duong 10.98431 106.7227

3818.2 224.6 6.68 32 10 Dat ThCu

Dong Nam Co Co SĐ Nguyen

Binh Phu Xuan NHa Be Ho Chi Minh 10.67146 106.7236

1470 53 4.6 11.5 7 Dat ThCu Bac Khong Co SĐ Quoc

Lo 13Hiep Binh Phuoc Thu Duc Ho Chi

Minh 10.84244 106.7179

5000 146 7.5 19.5 27 Dat ThCu Nam Co Co SĐ

Tran Thanh Tong

Son Tra Da Nang 16.09122 108.2334

570 90 5 18 6 Dat ThCu Bac Khong Co SĐ Binh

ChuanThuan An

Binh Duong 10.98431 106.7227

1610 70 6 11.7 12 Dat ThCu

Dong Nam Co Co SĐ Ngo Chi

QuocBinh Chieu Thu Duc Ho Chi

Minh 10.89045 106.7178

579 160 5 32 24 Dat ThCu Tay Khong Co SĐ Duong 1 Di An Di An Binh

Duong 10.87264 106.7583

1425 50 5 10 6 Dat ThCu Nam Co Co SĐ

Bung ong Thoan

Phu Huu Quan 9 Ho Chi Minh 10.81968 106.7962

3300 153 9 17 9.5 Dat ThCu

Dong Nam Co Co SĐ

Pham Van Dong

Hiep Binh Chanh Thu Duc Ho Chi

Minh 10.83625 106.7316

1800 80 4 20 16 Dat ThCu Bac Co Co SĐ Hoc

MonHo Chi Minh 10.87835 106.5764

2579 75.9 6 12.7 10 Dat ThCu

Dong Nam Co Co SĐ Hiep Binh

Chanh Thu Duc Ho Chi Minh 10.83073 106.7129

1150 100 5 20 16 Dat ThCu Nam Co Co SĐ Thuan

AnBinh Duong 10.90365 106.6989

1500 84 9 9.3 8 Dat ThCu Dong Co Co SĐ Phuoc

Thien Quan 9 Ho Chi Minh 10.84792 106.8428

4350 60.5 5 12.1 5 Dat ThCu

Dong Nam Co Co SĐ Phuong 4 Tan

BinhHo Chi Minh 25.10103 117.0323

1350 58.8 4.2 14 6 Dat ThCu

Dong Nam Co Co SĐ Vo Van

Kiet Tan Kien Binh Chanh

Ho Chi Minh 10.71647 106.599

2115 90 10 9 20 Dat ThCu

Dong Nam Co Co SĐ Tan Lap Nha

TrangKhanh Hoa 12.23857 109.1944

80

760 108 6 18 4 Dat ThCu

Dat ThCu Khong Co SĐ Hiep

THanhThu Dau Mot

Binh Duong 10.99801 106.6593

3400 100 5 20 16 Dat ThCu Nam Co Co SĐ Mai Ba

HuongLe Minh Xuan

Binh Chanh

Ho Chi Minh 10.76824 106.5031

4500 90 17 5.3 28 Dat ThCu

Dong Nam Co Co SĐ Bien

HoaDong Nai 10.91419 106.8916

1915 61 4 15.3 5 Dat ThCu Bac Khong Co SĐ Duong

30Linh Dong Thu Duc Ho Chi

Minh 10.85532 106.7479

2700 65 10 6.5 20 Dat ThCu Bac Co Co SĐ Duong

So 27

Tan Thong Hoi

Cu Chi Ho Chi Minh 10.96739 106.5055

1500 84 5 16.8 30 Dat ThCu Nam Co Co SĐ Duong

12 Tam Binh Thu Duc Ho Chi Minh 10.86787 106.7348

1426 62 5 12.4 12 Dat ThCu

Dong Nam Co Co SĐ Ngo Chi

QuocBinh Chieu Thu Duc Ho Chi

Minh 10.89045 106.7178

1800 95 5 19 15 Dat ThCu

Dong Nam Co Co SĐ Phu

QuocKien Giang 10.22882 104.0143

2500 91 6.5 14 16 Dat ThCu

Dong Nam Co Co SĐ An Phu

Dong 3An Phu Dong Quan 12 Ho Chi

Minh 10.85406 106.7016

1200 320 10 31 16 Dat ThCu Bac Khong Co SĐ Vinh

Loc BLe Minh Xuan

Binh Chanh

Ho Chi Minh 10.78676 106.5542

990 110 5 22 3 Dat ThCu Tay Khong Co SĐ

Hoang Huu Nam

Quan 9 Ho Chi Minh 10.86289 106.8135

680 100 5 20 10 Dat ThCu Dong Khong Co SĐ

Xuan Thoi Thuong

Hoc Mon

Ho Chi Minh 10.8586 106.5652

2750 50 4 12.5 8 Dat ThCu Dong Co Co SĐ Duong

NoiHa Dong Ha Noi 20.97826 105.7611

4680 156 5.5 30 15 Dat ThCu Bac Co Co SĐ Duong

13Hiep Binh Phuoc Thu Duc Ho Chi

Minh 10.84241 106.718

4150 110.32 5.6 19.7 4 Dat

ThCu Tay Co Co SĐHiep THanh 13

Hiep THanh Quan 12 Ho Chi

Minh 10.87968 106.6386

10000 160 8 20 13 Dat ThCu

Dong Nam

Co Co SĐ Truong Van

Phuong 7 Vung Tau

Ba Ria Vung

10.36547 107.0853

81

Bang Tau

10230 66 6 10 5 Dat ThCu Nam Co Co SĐ Duong 9 Long

Binh Quan 9 Ho Chi Minh 10.8696 106.8396

23340 778 30 26 12 Dat ThCu

Dong Nam Co Co SĐ Duong

27Hiep Binh Chanh Thu Duc Ho Chi

Minh 10.83073 106.7129

1700 150 10 15 6 Dat ThCu Nam Co Co SĐ Phuoc

Vinh An Cu Chi Ho Chi Minh 10.98447 106.5217

45000 600 20 30 16 Dat ThCu

Dong Nam Co Co SĐ Thuan

AnBinh Duong 10.90365 106.6989

1550 80 7 12 4 Dat ThCu

Dong Nam Khong Co SĐ Vuon

LaiAn Phu Dong Quan 12 Ho Chi

Minh 10.85621 106.6925

1700 60.2 4.3 14 8 Dat ThCu Nam Co Co SĐ Duong

970 Phu Huu Quan 9 Ho Chi Minh 10.79171 106.7979

2400 66 6 11 12 Dat ThCu Bac Co Co SĐ Hoang

Dieu 2Linh Chieu Thu Duc Ho Chi

Minh 10.85866 106.7629

680 125 12 10.4 40 Dat ThCu Nam Co Co SĐ Tinh Lo

10Duc Hoa

Long An 10.82937 106.4568

46812 780.2 10 50 20 Dat ThCu

Dong Nam Co Co SĐ

Hoang Van Thụ

Hải Chau

Da Nang 16.06298 108.2198

1200 90 5 18 9 Dat ThCu Bac Co Co SĐ Quoc lo

1ALinh Trung Thu Duc Ho Chi

Minh 10.86676 106.791

4000 150 5 30 7 Dat ThCu Nam Khong Co SĐ Thoi Hoa Ben Cat Binh

Duong 11.10506 106.627

1060 50.3 5 10.1 12 Dat ThCu Tay Khong Co SĐ Long

Thuan Quan 9 Ho Chi Minh 10.8148 106.8373

1400 50 5 10 5 Dat ThCu

Dong Nam Co Co SĐ Tinh lo

43Binh Chieu Thu Duc Ho Chi

Minh 10.89533 106.7191

31840 79.6 4 19.9 6 Dat ThCu

Dong Nam Co Co SĐ Phan

Huy ichPhuong 14 Go Vap Ho Chi

Minh 10.83736 106.6363

485 64 5.3 12.1 20 Dat ThCu

Dong Nam Co Co SĐ Vinh

TrungNha Trang

Khanh Hoa 12.25352 109.1696

32700 218 8.5 25.6 25 Dat ThCu

Dong Nam Co Co SĐ Loc Tho Nha

TrangKhanh Hoa 12.24412 109.1925