Link tải luận văn miễn phí cho ae
MỤC LỤC
LỜI CAM ĐOAN ........................................................................................................i
LỜI CẢM ƠN ............................................................................................................ ii
MỤC LỤC................................................................................................................. iii
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT.............................................vi
DANH MỤC CÁC HÌNH VẼ.................................................................................. vii
LỜI MỞ ĐẦU .............................................................................................................1
CHƢƠNG 1. KHÁI QUÁT VỀ NHẬN DẠNG VÀ KỸ THUẬT SVM..................3
1.1. Khái quát về nhận dạng........................................................................................3
1.1.1. Khái niệm về nhận dạng....................................................................................3
1.1.2. Một số kỹ thuật nhận dạng................................................................................4
1.1.2.1 Nhận dạng dựa theo miền không gian.............................................................4
1.1.2.2. Nhận dạng theo phƣơng pháp thống kê .........................................................6
1.1.2.3. Nhận dạng dựa vào khoảng cách ...................................................................7
1.1.2.3. Nhận dạng dựa theo cấu trúc..........................................................................8
1.1.3. Kết hợp các kỹ thuật nhận dạng......................................................................10
1.1.3.1. Kiến trúc tuần tự...........................................................................................11
1.1.3.2. Kiến trúc song song......................................................................................11
1.1.3.3. Kiến trúc lai ghép.........................................................................................11
1.1.4. Một số khó khăn trong nhận dạng...................................................................12
1.2. Kỹ thuật SVM trong nhận dạng .........................................................................13
1.2.1. Kỹ thuật SVM .................................................................................................13
1.2.2. Một số ứng dụng của SVM .............................................................................14
1.2.2.1. Chẩn đoán Virus máy tính ...........................................................................14
1.2.2.2. Phân loại email.............................................................................................15
1.2.2.3. Nhận dạng mặt ngƣời...................................................................................17
1.2.2.4. Nhận dạng chữ viết tay ................................................................................17
1.3. Kết luận ..............................................................................................................19
CHƢƠNG 2. KỸ THUẬT SVM TRONG NHẬN DẠNG PHIẾU ĐIỂM ..............21
2.1. Thuật toán SVM.................................................................................................21
2.1.1. Phân lớp nhị phân............................................................................................21
2.1.2. Phân nhiều lớp.................................................................................................29
2.1.2.1. Chiến lƣợc một chống một (OVO: One - versus - One)..............................29
2.1.2.2. Chiến lƣợc một chống phần còn lại (OVR: One - versus - Rest) ................30
2.1.2.3. Chiến lƣợc phân cấp.....................................................................................30
2.2. Các thuật toán huấn luyện SVM ........................................................................31
2.2.1. Thuật toán chặt khúc .......................................................................................31
2.2.2. Thuật toán phân rã...........................................................................................32
2.2.3. Thuật toán SMO..............................................................................................32
2.2.3.1. Tối ƣu hai nhân tử Lagrange........................................................................33
2.2.3.2. Tối ƣu theo phƣơng pháp heuristic ..............................................................34
2.2. Nhận dạng phiếu điểm với SVM .......................................................................35
2.2.1. Đặc trƣng của phiếu điểm ...............................................................................35
2.2.2. Nhận dạng phiếu điểm ....................................................................................37
2.2.2.1. Tiền xử lý .....................................................................................................38
2.2.2.2. Phân đoạn và trích chọn đặc trƣng...............................................................41
2.2.2.3. Huấn luyện và nhận dạng............................................................................41
2.2.2.4. Hậu xử lý......................................................................................................41
2.3. Kết luận ..............................................................................................................42
CHƢƠNG 3. THIẾT KẾ CHƢƠNG TRÌNH VÀ KẾT QUẢ THỬ NGHIỆM .......43
3.1. Phân lớp với SVM..............................................................................................43
3.2. Nhận dạng phiếu điểm .......................................................................................45
3.2.1. Huấn luyện ......................................................................................................48
3.2.2. Nhận dạng .......................................................................................................49
3.3. Đánh giá kết quả.................................................................................................50
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ................................................................53
MỞ ĐẦU
Các phƣơng pháp thống kê gần đây thƣờng đƣợc đề cập tới trong các lĩnh
vực xử lý ngôn ngữ tự nhiên, thị giác máy, nhận dạng tiếng nói, … xem nhƣ là sự
chọn lựa có cải tiến đối với các phƣơng pháp truyền thống bởi vì các phƣơng pháp
này tận dụng đƣợc lƣợng dữ liệu lớn ngày càng tăng lên và sức mạnh tính toán
của máy tính [10]. Các phƣơng pháp học theo thống kê đặc biệt thích hợp với lĩnh
vực thị giác máy nhƣ nhận dạng và xác định đối tƣợng hiệu quả [13] . Một trong các
phƣơng pháp đó là Máy hỗ trợ vector (Support Vector Machine - SVM).
SVM là một phƣơng pháp máy học đƣợc giới thiệu từ năm 1995 và ngày
càng trở nên phổ biến trong việc ứng dụng vào các lĩnh vực nhƣ: xử lý ảnh, xử lý
ngôn ngữ, thị giác máy, … [10], [13]. SVM đƣợc xây dựng, mở rộng và phân tích
dựa trên lý thuyết một cách chặt chẽ. Ƣu điểm chính của SVM so với các phƣơng
pháp khác là cách giải quyết vấn đề mang tính toàn cục trong khi các phƣơng pháp
khác có thể mang tính cục bộ. Tăng cƣờng khả năng SVM bằng cách chọn một hàm
thích hợp là những hàm có khả năng học dữ liệu phức tạp và phân chia phi tuyến (ví
dụ hàm đa thức (Polynomial), hàm bán kính căn bản (RBF) và hàm Perceptron
(mạng nơron 2 lớp) thƣờng đƣợc dùng nhƣ các hàm xấp xỉ) để phát triển thành công
cụ phân lớp.
Các bài toán nhận dạng đƣợc nghiên cứu nhiều hiện nay bao gồm nhận dạng
các mẫu hình học (vân tay, mặt ngƣời, hình khối,…), nhận dạng tiếng nói và nhận
dạng ký tự viết. Nhận dạng ký tự viết bao gồm hai kiểu chính là nhận dạng ký tự in
và nhận dạng ký tự viết tay. Cho đến nay bài toán nhận dạng ký tự in đã đƣợc giải
quyết khá trọn vẹn với sự ra đời của nhiều hệ thống nhận dạng đạt tới độ chính xác
gần nhƣ tuyệt đối. Nhận dạng ký tự viết tay hiện vẫn đang là vấn đề thách thức đối
với các nhà nghiên cứu, bài toàn này chƣa thể giải quyết trọn vẹn đƣợc vì nó phụ
thuộc nhiều vào ngƣời viết và sự biến đổi đa dạng trong cách viết và trạng thái tinh
thần của từng ngƣời viết.
Hiện nay, có nhiều kỹ thuật học máy đƣợc ứng dụng cho bài toán nhận dạng
chữ viết tay và cho kết quả đầy triển vọng [11], [14]. Một trong các kỹ thuật đó là
kỹ thuật học máy SVM [5], [12]. Do đó chúng tui chọn đề tài: “Kỹ thuật SVM
trong nhận dạng phiếu điểm”.
Tuy nhiên do hạn chế về mặt thời gian cũng nhƣ độ phức tạp của bài toán, do
đó tui chỉ đi sâu nghiên cứu về kỹ thuật SVM và mô phỏng chƣơng trình nhận dạng
phiếu điểm. Các phiếu điểm đƣợc sử dụng trong luận văn này là những mẫu phiếu
điểm đang đƣợc sử dụng tại trƣờng Đại học Công nghệ Thông tin và Truyền thông,
Đại học Thái Nguyên.
Nội dung luận văn gồm:
Chƣơng 1: Khái quát về nhận dạng và kỹ thuật SVM
Trình bày những lý thuyết cơ bản về nhận dạng, kỹ thuật SVM trong nhận
dạng: khái niệm về nhận dạng, các phƣơng pháp nhận dạng. Các vấn đề và ứng dụng
của nhận dạng. Giới thiệu sơ lƣợc về SVM, những ứng dụng trong thực tế của SVM.
Chƣơng 2: Kỹ thuật SVM trong nhận dạng phiếu điểm
Giới thiệu về kỹ thuật SVM, thuật toán SVM. Đặc trƣng của phiếu điểm, kỹ
thuật SVM trong nhận dạng phiếu điểm.
Chƣơng 3: Thiết kế chƣơng trình và kết quả thử nghiệm
Thiết kế chƣơng trình minh họa kỹ thuật phân lớp với SVM, nhận dạng số
viết tay, phiếu điểm với SVM.
Kết luận và hƣớng phát triển
Trình bày các kết quả đã đạt đƣợc, hƣớng phát triển tiếp theo.
Do thời gian và trình độ còn hạn chế nên luận văn khó tránh khỏi những
thiếu sót, kính mong nhận đƣợc sự đóng góp, chỉ bảo của các thầy giáo, cô giáo và
các bạn đồng nghiệp.
Cuối cùng, tác giả xin chân thành bày tỏ lòng biết ơn sâu sắc đến thầy giáo -
TS. Nguyễn Văn Vinh - Giảng viên Đại học Công nghệ, Đại học Quốc Gia Hà Nội
đã tận tình hƣớng dẫn, chỉ bảo, giúp đỡ, khích lệ tác giả trong suốt quá trình làm
luận văn. Đồng thời, tác giả xin chân thành Thank các thầy cô trong trƣờng Đại
học Công nghệ Thông tin và Truyền thông, Đại học Thái Nguyên đã tạo điều kiện
thuận lợi, giúp đỡ tác giả hoàn thành luận văn này.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
xem thêm
Tìm hiểu SVM trong nhận dạng chữ viết tay
KỸ THUẬT SVM TRONG NHẬN DẠNG PHIẾU ĐIỂM
Một số kỹ thuật vector tựa (SVM) trong khai phá dữ liệu và ứng dụng vào nhận dạng
MỤC LỤC
LỜI CAM ĐOAN ........................................................................................................i
LỜI CẢM ƠN ............................................................................................................ ii
MỤC LỤC................................................................................................................. iii
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT.............................................vi
DANH MỤC CÁC HÌNH VẼ.................................................................................. vii
LỜI MỞ ĐẦU .............................................................................................................1
CHƢƠNG 1. KHÁI QUÁT VỀ NHẬN DẠNG VÀ KỸ THUẬT SVM..................3
1.1. Khái quát về nhận dạng........................................................................................3
1.1.1. Khái niệm về nhận dạng....................................................................................3
1.1.2. Một số kỹ thuật nhận dạng................................................................................4
1.1.2.1 Nhận dạng dựa theo miền không gian.............................................................4
1.1.2.2. Nhận dạng theo phƣơng pháp thống kê .........................................................6
1.1.2.3. Nhận dạng dựa vào khoảng cách ...................................................................7
1.1.2.3. Nhận dạng dựa theo cấu trúc..........................................................................8
1.1.3. Kết hợp các kỹ thuật nhận dạng......................................................................10
1.1.3.1. Kiến trúc tuần tự...........................................................................................11
1.1.3.2. Kiến trúc song song......................................................................................11
1.1.3.3. Kiến trúc lai ghép.........................................................................................11
1.1.4. Một số khó khăn trong nhận dạng...................................................................12
1.2. Kỹ thuật SVM trong nhận dạng .........................................................................13
1.2.1. Kỹ thuật SVM .................................................................................................13
1.2.2. Một số ứng dụng của SVM .............................................................................14
1.2.2.1. Chẩn đoán Virus máy tính ...........................................................................14
1.2.2.2. Phân loại email.............................................................................................15
1.2.2.3. Nhận dạng mặt ngƣời...................................................................................17
1.2.2.4. Nhận dạng chữ viết tay ................................................................................17
1.3. Kết luận ..............................................................................................................19
CHƢƠNG 2. KỸ THUẬT SVM TRONG NHẬN DẠNG PHIẾU ĐIỂM ..............21
2.1. Thuật toán SVM.................................................................................................21
2.1.1. Phân lớp nhị phân............................................................................................21
2.1.2. Phân nhiều lớp.................................................................................................29
2.1.2.1. Chiến lƣợc một chống một (OVO: One - versus - One)..............................29
2.1.2.2. Chiến lƣợc một chống phần còn lại (OVR: One - versus - Rest) ................30
2.1.2.3. Chiến lƣợc phân cấp.....................................................................................30
2.2. Các thuật toán huấn luyện SVM ........................................................................31
2.2.1. Thuật toán chặt khúc .......................................................................................31
2.2.2. Thuật toán phân rã...........................................................................................32
2.2.3. Thuật toán SMO..............................................................................................32
2.2.3.1. Tối ƣu hai nhân tử Lagrange........................................................................33
2.2.3.2. Tối ƣu theo phƣơng pháp heuristic ..............................................................34
2.2. Nhận dạng phiếu điểm với SVM .......................................................................35
2.2.1. Đặc trƣng của phiếu điểm ...............................................................................35
2.2.2. Nhận dạng phiếu điểm ....................................................................................37
2.2.2.1. Tiền xử lý .....................................................................................................38
2.2.2.2. Phân đoạn và trích chọn đặc trƣng...............................................................41
2.2.2.3. Huấn luyện và nhận dạng............................................................................41
2.2.2.4. Hậu xử lý......................................................................................................41
2.3. Kết luận ..............................................................................................................42
CHƢƠNG 3. THIẾT KẾ CHƢƠNG TRÌNH VÀ KẾT QUẢ THỬ NGHIỆM .......43
3.1. Phân lớp với SVM..............................................................................................43
3.2. Nhận dạng phiếu điểm .......................................................................................45
3.2.1. Huấn luyện ......................................................................................................48
3.2.2. Nhận dạng .......................................................................................................49
3.3. Đánh giá kết quả.................................................................................................50
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ................................................................53
MỞ ĐẦU
Các phƣơng pháp thống kê gần đây thƣờng đƣợc đề cập tới trong các lĩnh
vực xử lý ngôn ngữ tự nhiên, thị giác máy, nhận dạng tiếng nói, … xem nhƣ là sự
chọn lựa có cải tiến đối với các phƣơng pháp truyền thống bởi vì các phƣơng pháp
này tận dụng đƣợc lƣợng dữ liệu lớn ngày càng tăng lên và sức mạnh tính toán
của máy tính [10]. Các phƣơng pháp học theo thống kê đặc biệt thích hợp với lĩnh
vực thị giác máy nhƣ nhận dạng và xác định đối tƣợng hiệu quả [13] . Một trong các
phƣơng pháp đó là Máy hỗ trợ vector (Support Vector Machine - SVM).
SVM là một phƣơng pháp máy học đƣợc giới thiệu từ năm 1995 và ngày
càng trở nên phổ biến trong việc ứng dụng vào các lĩnh vực nhƣ: xử lý ảnh, xử lý
ngôn ngữ, thị giác máy, … [10], [13]. SVM đƣợc xây dựng, mở rộng và phân tích
dựa trên lý thuyết một cách chặt chẽ. Ƣu điểm chính của SVM so với các phƣơng
pháp khác là cách giải quyết vấn đề mang tính toàn cục trong khi các phƣơng pháp
khác có thể mang tính cục bộ. Tăng cƣờng khả năng SVM bằng cách chọn một hàm
thích hợp là những hàm có khả năng học dữ liệu phức tạp và phân chia phi tuyến (ví
dụ hàm đa thức (Polynomial), hàm bán kính căn bản (RBF) và hàm Perceptron
(mạng nơron 2 lớp) thƣờng đƣợc dùng nhƣ các hàm xấp xỉ) để phát triển thành công
cụ phân lớp.
Các bài toán nhận dạng đƣợc nghiên cứu nhiều hiện nay bao gồm nhận dạng
các mẫu hình học (vân tay, mặt ngƣời, hình khối,…), nhận dạng tiếng nói và nhận
dạng ký tự viết. Nhận dạng ký tự viết bao gồm hai kiểu chính là nhận dạng ký tự in
và nhận dạng ký tự viết tay. Cho đến nay bài toán nhận dạng ký tự in đã đƣợc giải
quyết khá trọn vẹn với sự ra đời của nhiều hệ thống nhận dạng đạt tới độ chính xác
gần nhƣ tuyệt đối. Nhận dạng ký tự viết tay hiện vẫn đang là vấn đề thách thức đối
với các nhà nghiên cứu, bài toàn này chƣa thể giải quyết trọn vẹn đƣợc vì nó phụ
thuộc nhiều vào ngƣời viết và sự biến đổi đa dạng trong cách viết và trạng thái tinh
thần của từng ngƣời viết.
Hiện nay, có nhiều kỹ thuật học máy đƣợc ứng dụng cho bài toán nhận dạng
chữ viết tay và cho kết quả đầy triển vọng [11], [14]. Một trong các kỹ thuật đó là
kỹ thuật học máy SVM [5], [12]. Do đó chúng tui chọn đề tài: “Kỹ thuật SVM
trong nhận dạng phiếu điểm”.
Tuy nhiên do hạn chế về mặt thời gian cũng nhƣ độ phức tạp của bài toán, do
đó tui chỉ đi sâu nghiên cứu về kỹ thuật SVM và mô phỏng chƣơng trình nhận dạng
phiếu điểm. Các phiếu điểm đƣợc sử dụng trong luận văn này là những mẫu phiếu
điểm đang đƣợc sử dụng tại trƣờng Đại học Công nghệ Thông tin và Truyền thông,
Đại học Thái Nguyên.
Nội dung luận văn gồm:
Chƣơng 1: Khái quát về nhận dạng và kỹ thuật SVM
Trình bày những lý thuyết cơ bản về nhận dạng, kỹ thuật SVM trong nhận
dạng: khái niệm về nhận dạng, các phƣơng pháp nhận dạng. Các vấn đề và ứng dụng
của nhận dạng. Giới thiệu sơ lƣợc về SVM, những ứng dụng trong thực tế của SVM.
Chƣơng 2: Kỹ thuật SVM trong nhận dạng phiếu điểm
Giới thiệu về kỹ thuật SVM, thuật toán SVM. Đặc trƣng của phiếu điểm, kỹ
thuật SVM trong nhận dạng phiếu điểm.
Chƣơng 3: Thiết kế chƣơng trình và kết quả thử nghiệm
Thiết kế chƣơng trình minh họa kỹ thuật phân lớp với SVM, nhận dạng số
viết tay, phiếu điểm với SVM.
Kết luận và hƣớng phát triển
Trình bày các kết quả đã đạt đƣợc, hƣớng phát triển tiếp theo.
Do thời gian và trình độ còn hạn chế nên luận văn khó tránh khỏi những
thiếu sót, kính mong nhận đƣợc sự đóng góp, chỉ bảo của các thầy giáo, cô giáo và
các bạn đồng nghiệp.
Cuối cùng, tác giả xin chân thành bày tỏ lòng biết ơn sâu sắc đến thầy giáo -
TS. Nguyễn Văn Vinh - Giảng viên Đại học Công nghệ, Đại học Quốc Gia Hà Nội
đã tận tình hƣớng dẫn, chỉ bảo, giúp đỡ, khích lệ tác giả trong suốt quá trình làm
luận văn. Đồng thời, tác giả xin chân thành Thank các thầy cô trong trƣờng Đại
học Công nghệ Thông tin và Truyền thông, Đại học Thái Nguyên đã tạo điều kiện
thuận lợi, giúp đỡ tác giả hoàn thành luận văn này.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
You must be registered for see links
xem thêm
Tìm hiểu SVM trong nhận dạng chữ viết tay
KỸ THUẬT SVM TRONG NHẬN DẠNG PHIẾU ĐIỂM
Một số kỹ thuật vector tựa (SVM) trong khai phá dữ liệu và ứng dụng vào nhận dạng