Link tải luận văn miễn phí cho ae Kết Nối
Trình bày khái quát về khai phá dữ liệu bằng luật kết hợp thông qua việc đưa ra các khái niệm, định nghĩa và bài toán tìm luật kết hợp. Những thuật toán điển hình về luật kết hợp như thuật toán Apriori và một vài thuật toán khác được đề cập để giải quyết bài toán. Trình bày các khái niệm liên quan đến tập mờ, làm cơ sở đưa vào bài toán khai phá luật kết hợp và với các bài toán có thuộc tính số và hạng mục thì việc rời rạc hóa dữ liệu có thể xảy ra một vài nhược điểm như vấn đề "điểm biên gãy". Trình bày khái niệm về các toán tử có ngưỡng, đưa ra bài toán xây dựng luật kết hợp mờ với các toán tử có ngưỡng và cài đặt thử nghiệm chương trình dùng dữ liệu về việc sử dụng Internet
MỞ ĐẦU ...................................................................................................................7
1. CHƯƠNG 1 - LUẬT KẾT HỢP .......................................................................9
1.1. Ý NGHĨA THỰC TIỄN CỦA LUẬT KẾT HỢP............................................9
1.2. MÔ HÌNH HÌNH THỨC CỦA VẤN ĐỀ PHÁT HIỆN LUẬT .......................9
1.2.1. Các định nghĩa.......................................................................................9
1.2.1.1. Thuộc tính và CSDL .......................................................................9
1.2.1.2. Độ hỗ trợ của một tập thuộc tính ...................................................10
1.2.1.3. Tập phổ biến (Frequent Itemset):...................................................10
1.2.1.4. Độ hỗ trợ của luật r = X Y........................................................10
1.2.1.5. Độ tin cậy của luật: r = X Y......................................................10
1.2.1.6. Luật kết hợp mạnh: .......................................................................11
1.2.2. Bài toán luật kết hợp ............................................................................11
1.2.3. Một số tính chất của tập phổ biến và luật kết hợp.................................13
1.3. THUẬT TOÁN TÌM LUẬT KẾT HỢP........................................................14
1.3.1. Thuật toán Apriori nhị phân.................................................................14
1.3.1.1. Giới thiệu......................................................................................14
1.3.1.2. Các bước thực hiện .......................................................................15
1.3.1.3. Giải thích: .....................................................................................15
1.3.2. Thuật toán AprioriTid ..........................................................................17
1.3.2.1. Giới thiệu thuật toán......................................................................17
1.3.2.2. Các bước thực hiện .......................................................................17
1.3.2.3. Giải thích ......................................................................................18
1.3.3. Sinh ra các luật kết hợp mạnh từ tập phổ biến......................................20
1.3.3.1. Thuật toán .....................................................................................20
1.3.3.2. Thuật toán nhanh hơn:...................................................................21
1.3.4. Thuật toán FP-Growth .........................................................................22
1.3.4.1. Ví dụ 1.2: ......................................................................................23
1.3.4.2. Thuật toán:....................................................................................26
2. CHƯƠNG 2 - LUẬT KẾT HỢP MỜ .............................................................29
2.1. Ý NGHĨA VỀ LUẬT KẾT HỢP MỜ ...........................................................29
2.2. TẬP MỜ (FUZZY SET) VÀ MỘT SỐ KHÁI NIỆM [1] ..............................30
2.2.1. Tập mờ:................................................................................................30
2.2.1.1. Định nghĩa tập mờ:........................................................................31 2.2.1.2. Các phép toán trên tập mờ:............................................................31
2.2.2. Số mờ và một số dạng phổ biến ............................................................32
2.2.2.1. Định nghĩa tập mức:......................................................................32
2.2.2.2. Định nghĩa số mờ:.........................................................................32
2.2.2.3. Các dạng phổ biến của số mờ:.......................................................32
2.2.3. Các phép toán trong logic mờ (toán tử mờ)..........................................33
2.2.3.1. Phép phủ định (negation) ..............................................................33
2.2.3.2. Phép hội (conjunction): .................................................................33
2.2.3.3. Phép tuyển (disconjunction): .........................................................34
2.3. LUẬT KẾT HỢP MỜ..................................................................................34
2.3.1. Cơ sở dữ liệu và thuộc tính: .................................................................34
2.3.2. Độ đo của luật......................................................................................35
2.3.2.1. Độ ủng hộ của bản ghi cho mệnh đề..............................................35
2.3.2.2. Độ hỗ trợ của mệnh đề ..................................................................36
2.3.2.3. Tập phổ biến .................................................................................36
2.3.2.4. Độ hỗ trợ của một luật mờ:............................................................36
2.3.2.5. Độ tin cậy của một luật mờ ...........................................................36
2.3.3. Bài toán................................................................................................37
2.3.4. Ưu điểm của việc áp dụng tập mờ để rời rạc hoá dữ liệu......................37
2.4. LUẬT KẾT HỢP MỜ VỚI CÁC TOÁN TỬ CÓ NGƯỠNG........................38
2.4.1. Toán tử có ngưỡng ...............................................................................38
2.4.1.1. Định nghĩa: t-chuẩn có ngưỡng .....................................................38
2.4.1.2. Định nghĩa: t-đối chuẩn có ngưỡng ...............................................38
2.4.2. Bài toán................................................................................................39
2.4.3. Thuật toán [9] ......................................................................................39
2.4.3.1. Các ký hiệu sử dụng trong thuật toán: ...........................................39
2.4.3.2. Thuật toán:....................................................................................40
2.4.3.3. Các chương trình con sử dụng trong thuật toán: ............................40
2.4.3.4. Ví dụ minh họa thuật toán (Ví dụ 2.2) : .........................................41
2.4.4. Chuyển luật kết hợp mờ về luật có thuộc tính số...................................45
2.4.5. Luật kết hợp mờ với thuộc tính được đánh trọng số..............................45
2.4.6. Luật thật sự có ích................................................................................46
2.4.6.1. Phương pháp loại bỏ luật thừa.......................................................46
2.4.6.2. Phương pháp tìm luật đơn giản......................................................46
. CHƯƠNG 3 - CÀI ĐẶT THỬ NGHIỆM.......................................................47
KẾT LUẬN .............................................................................................................51
ÀI LIỆU THAM KHẢO ......................................................................................53
HỤ LỤC................................................................................................................55 Những vấn đề đã đƣợc tìm hiểu và giải quyết trong luận văn
Hiện nay, khai phá dữ liệu là một lĩnh vực rất được quan tâm, nó bao gồm nhiều
lĩnh vực và nhiều kỹ thuật khác nhau trong đó khai phá luật kết hợp và khai phá luật
kết hợp mờ là các mục tiêu quan trọng trong lĩnh vực khai phá dữ liệu. Vì vậy, tui đã
cố gắng tìm tòi nhiều tài liệu để nghiên cứu những vấn đề cơ bản nhất về khai phá dữ
liệu bằng luật kết hợp mờ. Sau đây là những điểm chính mà luận văn đã tập trung giải
quyết:
Chương 1: Trong chương này ngoài việc phát biểu các khái niệm, định nghĩa
một cách hình thức còn trình bày các thuật toán điển hình để giải quyết bài toán khai
phá luật kết hợp do R. Agarawal đề xuất năm 1993.
Chương 2: Thực tế là các dữ liệu thường ở dạng thuộc tính số và hạng mục.
Chính vì vậy bài toán tìm luật kết hợp với thuộc tính số và hạng mục đã được đề cập
một cách sơ lược để đánh giá ưu và nhược điểm của chúng. Lý thuyết cơ bản về tập
mờ được đề cập để chỉ ra tính ưu việt của tập mờ và việc gắn tập mờ với bài toán khai
phá luật kết là một vấn đề tất yếu. Trong chương này cũng đề xuất việc đưa vào các
toán tử phù hợp để xác định độ ủng hộ chứ không chỉ dùng các toán tử lấy min và tích
đại số. Và khái niệm toán tử có ngưỡng [12] có thể đưa vào bài toán luật kết hợp mờ
cũng làm cho việc khai phá dữ liệu đạt kết quả tốt hơn. Hay nói cách khác, ta có thể sử
dụng các toán tử có ngưỡng cho bài toán khai phá dữ liệu bằng luật kết hợp mờ.
Chương 3: Đây là phần cài đặt thử nghiệm cho bài toán đưa ra ở chương 2. Dữ
liệu của chương trình là về thời gian và các loại dịch vụ sử dụng internet ADSL.
Chương trình này góp phần thực hiện một cách trực quan nhất các bước mà thuật toán
ở chương 2 đã đưa ra.
Hƣớng mở rộng nghiên cứu trong tƣơng lai
Khai phá dữ liệu lĩnh vực được nhiều nhà nghiên cứu quan tâm vì nó ứng dụng rộng
rãi trong đời sống xã hội ngày nay và vì vậy có rất nhiều hướng nghiên cứu mở rộng
khác nhau.
Trong luận văn này tui chỉ chọn một vấn đề nhỏ để nghiên cứu, khi có điều kiện tui sẽ
mở rộng hướng nghiên cứu ra một số hướng sau:
- Nghiên cứu, đánh giá các thuật toán cải tiến tối ưu hơn để từ đó gắn với các
toán tử mờ có ngưỡng.
- Ngiên cứu các thuộc tính đa mức để đưa vào bài toán tìm luật kết hợp mờ
- Nghiên cứu các phương pháp để tìm hàm thuộc của tập mờ cũng như ngưỡng
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
Trình bày khái quát về khai phá dữ liệu bằng luật kết hợp thông qua việc đưa ra các khái niệm, định nghĩa và bài toán tìm luật kết hợp. Những thuật toán điển hình về luật kết hợp như thuật toán Apriori và một vài thuật toán khác được đề cập để giải quyết bài toán. Trình bày các khái niệm liên quan đến tập mờ, làm cơ sở đưa vào bài toán khai phá luật kết hợp và với các bài toán có thuộc tính số và hạng mục thì việc rời rạc hóa dữ liệu có thể xảy ra một vài nhược điểm như vấn đề "điểm biên gãy". Trình bày khái niệm về các toán tử có ngưỡng, đưa ra bài toán xây dựng luật kết hợp mờ với các toán tử có ngưỡng và cài đặt thử nghiệm chương trình dùng dữ liệu về việc sử dụng Internet
MỞ ĐẦU ...................................................................................................................7
1. CHƯƠNG 1 - LUẬT KẾT HỢP .......................................................................9
1.1. Ý NGHĨA THỰC TIỄN CỦA LUẬT KẾT HỢP............................................9
1.2. MÔ HÌNH HÌNH THỨC CỦA VẤN ĐỀ PHÁT HIỆN LUẬT .......................9
1.2.1. Các định nghĩa.......................................................................................9
1.2.1.1. Thuộc tính và CSDL .......................................................................9
1.2.1.2. Độ hỗ trợ của một tập thuộc tính ...................................................10
1.2.1.3. Tập phổ biến (Frequent Itemset):...................................................10
1.2.1.4. Độ hỗ trợ của luật r = X Y........................................................10
1.2.1.5. Độ tin cậy của luật: r = X Y......................................................10
1.2.1.6. Luật kết hợp mạnh: .......................................................................11
1.2.2. Bài toán luật kết hợp ............................................................................11
1.2.3. Một số tính chất của tập phổ biến và luật kết hợp.................................13
1.3. THUẬT TOÁN TÌM LUẬT KẾT HỢP........................................................14
1.3.1. Thuật toán Apriori nhị phân.................................................................14
1.3.1.1. Giới thiệu......................................................................................14
1.3.1.2. Các bước thực hiện .......................................................................15
1.3.1.3. Giải thích: .....................................................................................15
1.3.2. Thuật toán AprioriTid ..........................................................................17
1.3.2.1. Giới thiệu thuật toán......................................................................17
1.3.2.2. Các bước thực hiện .......................................................................17
1.3.2.3. Giải thích ......................................................................................18
1.3.3. Sinh ra các luật kết hợp mạnh từ tập phổ biến......................................20
1.3.3.1. Thuật toán .....................................................................................20
1.3.3.2. Thuật toán nhanh hơn:...................................................................21
1.3.4. Thuật toán FP-Growth .........................................................................22
1.3.4.1. Ví dụ 1.2: ......................................................................................23
1.3.4.2. Thuật toán:....................................................................................26
2. CHƯƠNG 2 - LUẬT KẾT HỢP MỜ .............................................................29
2.1. Ý NGHĨA VỀ LUẬT KẾT HỢP MỜ ...........................................................29
2.2. TẬP MỜ (FUZZY SET) VÀ MỘT SỐ KHÁI NIỆM [1] ..............................30
2.2.1. Tập mờ:................................................................................................30
2.2.1.1. Định nghĩa tập mờ:........................................................................31 2.2.1.2. Các phép toán trên tập mờ:............................................................31
2.2.2. Số mờ và một số dạng phổ biến ............................................................32
2.2.2.1. Định nghĩa tập mức:......................................................................32
2.2.2.2. Định nghĩa số mờ:.........................................................................32
2.2.2.3. Các dạng phổ biến của số mờ:.......................................................32
2.2.3. Các phép toán trong logic mờ (toán tử mờ)..........................................33
2.2.3.1. Phép phủ định (negation) ..............................................................33
2.2.3.2. Phép hội (conjunction): .................................................................33
2.2.3.3. Phép tuyển (disconjunction): .........................................................34
2.3. LUẬT KẾT HỢP MỜ..................................................................................34
2.3.1. Cơ sở dữ liệu và thuộc tính: .................................................................34
2.3.2. Độ đo của luật......................................................................................35
2.3.2.1. Độ ủng hộ của bản ghi cho mệnh đề..............................................35
2.3.2.2. Độ hỗ trợ của mệnh đề ..................................................................36
2.3.2.3. Tập phổ biến .................................................................................36
2.3.2.4. Độ hỗ trợ của một luật mờ:............................................................36
2.3.2.5. Độ tin cậy của một luật mờ ...........................................................36
2.3.3. Bài toán................................................................................................37
2.3.4. Ưu điểm của việc áp dụng tập mờ để rời rạc hoá dữ liệu......................37
2.4. LUẬT KẾT HỢP MỜ VỚI CÁC TOÁN TỬ CÓ NGƯỠNG........................38
2.4.1. Toán tử có ngưỡng ...............................................................................38
2.4.1.1. Định nghĩa: t-chuẩn có ngưỡng .....................................................38
2.4.1.2. Định nghĩa: t-đối chuẩn có ngưỡng ...............................................38
2.4.2. Bài toán................................................................................................39
2.4.3. Thuật toán [9] ......................................................................................39
2.4.3.1. Các ký hiệu sử dụng trong thuật toán: ...........................................39
2.4.3.2. Thuật toán:....................................................................................40
2.4.3.3. Các chương trình con sử dụng trong thuật toán: ............................40
2.4.3.4. Ví dụ minh họa thuật toán (Ví dụ 2.2) : .........................................41
2.4.4. Chuyển luật kết hợp mờ về luật có thuộc tính số...................................45
2.4.5. Luật kết hợp mờ với thuộc tính được đánh trọng số..............................45
2.4.6. Luật thật sự có ích................................................................................46
2.4.6.1. Phương pháp loại bỏ luật thừa.......................................................46
2.4.6.2. Phương pháp tìm luật đơn giản......................................................46
. CHƯƠNG 3 - CÀI ĐẶT THỬ NGHIỆM.......................................................47
KẾT LUẬN .............................................................................................................51
ÀI LIỆU THAM KHẢO ......................................................................................53
HỤ LỤC................................................................................................................55 Những vấn đề đã đƣợc tìm hiểu và giải quyết trong luận văn
Hiện nay, khai phá dữ liệu là một lĩnh vực rất được quan tâm, nó bao gồm nhiều
lĩnh vực và nhiều kỹ thuật khác nhau trong đó khai phá luật kết hợp và khai phá luật
kết hợp mờ là các mục tiêu quan trọng trong lĩnh vực khai phá dữ liệu. Vì vậy, tui đã
cố gắng tìm tòi nhiều tài liệu để nghiên cứu những vấn đề cơ bản nhất về khai phá dữ
liệu bằng luật kết hợp mờ. Sau đây là những điểm chính mà luận văn đã tập trung giải
quyết:
Chương 1: Trong chương này ngoài việc phát biểu các khái niệm, định nghĩa
một cách hình thức còn trình bày các thuật toán điển hình để giải quyết bài toán khai
phá luật kết hợp do R. Agarawal đề xuất năm 1993.
Chương 2: Thực tế là các dữ liệu thường ở dạng thuộc tính số và hạng mục.
Chính vì vậy bài toán tìm luật kết hợp với thuộc tính số và hạng mục đã được đề cập
một cách sơ lược để đánh giá ưu và nhược điểm của chúng. Lý thuyết cơ bản về tập
mờ được đề cập để chỉ ra tính ưu việt của tập mờ và việc gắn tập mờ với bài toán khai
phá luật kết là một vấn đề tất yếu. Trong chương này cũng đề xuất việc đưa vào các
toán tử phù hợp để xác định độ ủng hộ chứ không chỉ dùng các toán tử lấy min và tích
đại số. Và khái niệm toán tử có ngưỡng [12] có thể đưa vào bài toán luật kết hợp mờ
cũng làm cho việc khai phá dữ liệu đạt kết quả tốt hơn. Hay nói cách khác, ta có thể sử
dụng các toán tử có ngưỡng cho bài toán khai phá dữ liệu bằng luật kết hợp mờ.
Chương 3: Đây là phần cài đặt thử nghiệm cho bài toán đưa ra ở chương 2. Dữ
liệu của chương trình là về thời gian và các loại dịch vụ sử dụng internet ADSL.
Chương trình này góp phần thực hiện một cách trực quan nhất các bước mà thuật toán
ở chương 2 đã đưa ra.
Hƣớng mở rộng nghiên cứu trong tƣơng lai
Khai phá dữ liệu lĩnh vực được nhiều nhà nghiên cứu quan tâm vì nó ứng dụng rộng
rãi trong đời sống xã hội ngày nay và vì vậy có rất nhiều hướng nghiên cứu mở rộng
khác nhau.
Trong luận văn này tui chỉ chọn một vấn đề nhỏ để nghiên cứu, khi có điều kiện tui sẽ
mở rộng hướng nghiên cứu ra một số hướng sau:
- Nghiên cứu, đánh giá các thuật toán cải tiến tối ưu hơn để từ đó gắn với các
toán tử mờ có ngưỡng.
- Ngiên cứu các thuộc tính đa mức để đưa vào bài toán tìm luật kết hợp mờ
- Nghiên cứu các phương pháp để tìm hàm thuộc của tập mờ cũng như ngưỡng
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
You must be registered for see links