Link tải luận văn miễn phí cho ae Kết Nối
Luận văn: Ứng dụng khai phá dữ liệu trong khai thác cơ sở dữ liệu tích hợp nghành giao thông vận tải : Luận văn ThS. Công nghệ thông tin : 1.01.10
Trình bày kiến thức tổng quan về khai thác và xử lý thông tin; Trình bày các bài toán trong khai phá dữ liệu, phát hiện luật kết hợp, khai phá luật kết hợp dựa trên sự phân chia không gian tìm kiếm, Áp dụng kỹ thuật khai phá dữ liệu vào bài toán thống kê về tình hình gia tăng các lọai ô tô trong cả nước và dự báo về tốc độ gia tăng của các loại ô tô
MỤC LỤC
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT .........................................4
MỞ ĐẦU.................................................................................................................5
CHƢƠNG 1 - TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU .....................................7
1. Tổ chức và khai thác cơ sở dữ liệu truyền thống................................................7
2. Tổng quan về kỹ thuật phát hiện tri thức và khai phá dữ liệu ...........................8
2.1. Phát hiện tri thức và khai phá dữ liệu là gì?.....................................................8
2.2. Qui trình phát hiện tri thức [7].........................................................................9
2.3. Các phƣơng pháp khai phá dữ liệu [7]...........................................................10
2.4. Các lĩnh vực liên quan đến phát hiện tri thức và khai phá dữ liệu [7]...........12
3. Các nhiệm vụ trong khai phá dữ liệu ................................................................12
3.1. Phát hiện các luật tối ƣu truy vấn ngữ nghĩa ................................................13
3.2. Phát hiện sự phụ thuộc CSDL (Database Dependencies)..............................14
3.3. Phát hiện sự sai lệch (Deviation) ...................................................................14
3.4. Phát hiện luật kết hợp (Association Rules)....................................................14
3.5. Mô hình hoá sự phụ thuộc (Dependence Modeling) .....................................15
3.6. Mô hình hoá nhân quả (Causation Modeling) ...............................................15
3.7. Phân cụm, nhóm (Clustering) [6]...................................................................16
3.8. Phân lớp (Classification)................................................................................16
3.9. Hồi quy (Regression) .....................................................................................17
3.10. Tổng hợp (Sumarization) .............................................................................17
3.11. So sánh các nhiệm vụ phát hiện tri thức. .....................................................17
4. Phân lớp dữ liệu ................................................................................................20
4.1. Khái niệm về phân lớp ...................................................................................20
4.2. Ứng dụng của phân lớp..................................................................................21
4.3. Các vấn đề nghiên cứu trong phân lớp...........................................................22
4.4. Các yêu cầu đối với bài toán phân lớp...........................................................23
5. Một số phƣơng pháp phân lớp ..........................................................................24
5.1. Phƣơng pháp phân hoạch ...............................................................................25
5.2. Phân lớp dựa trên cây quyết định [6].............................................................25
5.3. Phƣơng pháp dựa vào mật độ.........................................................................27
5.4. Phân lớp và mạng nơron nhân tạo..................................................................28
6. Đánh giá, nhận xét.............................................................................................30
CHƢƠNG 2 - ỨNG DỤNG LUẬT KẾT HỢP VÀO KHAI PHÁ DỮ LIỆU.....31
1. Lý thuyết về luật kết hợp ..................................................................................31
1.1. Luật kết hợp ...................................................................................................32
1.2. Một số tính chất của luật kết hợp [6] .............................................................35
1.3. Phân loại luật kết hợp.....................................................................................36
1.4. Đặc tả bài toán khai phá dữ liệu.....................................................................39
2. Các đặc trƣng của luật kết hợp..........................................................................40
2.1. Không gian tìm kiếm của luật........................................................................40
2.2. Độ hỗ trợ của luật...........................................................................................42
3. Một số giải thuật cơ bản khai phá các tập phổ biến..........................................43
3.1. Giải thuật BFS (BFS – breadth first search) ..................................................44
3.2. Giải thuật DFS (Depth First Search)..............................................................53
3.3. Giải thuật DHP (Direct Hashing and Pruning) ..............................................54
3.4. Giải thuật PHP (Perfect Hashing and Pruning)..............................................57
4. Phát sinh luật từ các tập phổ biến .....................................................................59
4.1. Cải tiến 1 - Giảm số lƣợng các luật đƣợc phát sinh & cần kiểm tra......60
4.2. Cải tiến 1.a – Tránh phát sinh các luật không có ý nghĩa..............................61
4.3. Một số kỹ thuật khác trong việc tối ƣu hóa chi phí tính độ confident...........62
5. Đánh giá, nhận xét.............................................................................................62
CHƢƠNG 3 - ỨNG DỤNG, THỬ NGHIỆM KHAI PHÁ DỮ LIỆU TÍCH
HỢP NGÀNH GIAO THÔNG VẬN TẢI............................................................63
1. Bài toán .............................................................................................................63
1.1. Phát biểu bài toán...........................................................................................63
1.2. Đặc tả dữ liệu .................................................................................................63
1.3. Minh họa chƣơng trình...................................................................................70
1.4. Phân tích, đánh giá .........................................................................................75
2. Hƣớng phát triển ...............................................................................................76
KẾT LUẬN...........................................................................................................77
TÀI LIỆU THAM KHẢO.....................................................................................78
MỞ ĐẦU
Trong những năm gần đây, việc nắm bắt đƣợc thông tin đƣợc coi là cơ
sở của mọi hoạt động sản xuất, kinh doanh. Cá nhân hay tổ chức nào thu
thập và hiểu đƣợc thông tin, và hành động dựa trên các thông tin đƣợc kết
xuất từ các thông tin đã có sẽ đạt đƣợc thành công trong mọi hoạt động.
Chính vì lý do đó, việc tạo ra thông tin, tổ chức lƣu trữ và khai thác ngày càng
trở nên quan trọng và gia tăng không ngừng.
Sự tăng trƣởng vƣợt bậc của các cơ sở dữ liệu (CSDL) trong cuộc sống
nhƣ: thƣơng mại, quản lý và khoa học đã làm nảy sinh và thúc đẩy sự phát
triển của kỹ thuật thu thập, lƣu trữ, phân tích và khai phá dữ liệu… không chỉ
bằng các phép toán đơn giản thông thƣờng nhƣ: phép đếm, thống kê… mà đòi
hỏi cách xử lý thông minh hơn, hiệu quả hơn. Từ đó các nhà quản lý có đƣợc
thông tin có ích để tác động lại quá trình sản xuất, kinh doanh của mình… đó
là tri thức. Các kỹ thuật cho phép ta khai thác đƣợc tri thức hữu dụng từ
CSDL (lớn) đƣợc gọi là các kỹ thuật khai phá dữ liệu (DM – Data Mining).
Khai phá luật kết hợp là một nội dung quan trọng trong khai phá dữ liệu.
Luận văn nghiên cứu về những khái niệm cơ bản về khai phá dữ liệu,
luật kết hợp và ứng dụng một số thuật toán khai phá luật kết hợp trong CSDL
lớn.
Luận văn có cấu trúc nhƣ sau:
CHƢƠNG I - TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT
HIỆN TRI THỨC
Trình bày kiến thức tổng quan về khai thác và xử lý thông tin.
Định nghĩa kho dữ liệu, khai phá dữ liệu, các phƣơng pháp khai phá dữ
liệu phổ biến và ứng dụng của chúng.
CHƢƠNG II - CƠ SỞ LÝ THUYẾT LUẬT KẾT HỢP. ỨNG DỤNG
LUẬT KẾT HỢP VÀO KHAI PHÁ DỮ LIỆU
Trình bày các bài toán trong khai phá dữ liệu, phát hiện luật kết hợp
Khái niệm về luật kết hợp và các phƣơng pháp khai phá luật kết hợp.
Khai phá luật kết hợp dựa trên sự phân chia không gian tìm kiếm.
CHƢƠNG III - ỨNG DỤNG, THỬ NGHIỆM KHAI PHÁ DỮ LIỆU
TÍCH HỢP NGÀNH GIAO THÔNG VẬN TẢI
Nội dung của chƣơng là áp dụng kỹ thuật khai phá dữ liệu vào bài toán
thống kê về tình hình gia tăng các loại ôtô trong cả nƣớcvà dự báo về tốc độ
gia tăng của các loại ôtô.
Cuối cùng là kết luận lại những kết quả đạt đƣợc của đề tài và hƣớng
phát triển trong tƣơng lai.
CHƢƠNG 1 - TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT
HIỆN TRI THỨC
1. Tổ chức và khai thác cơ sở dữ liệu truyền thống
Việc dùng các phƣơng tiện tin học để tổ chức và khai thác cơ sở dữ liệu
(CSDL) đã đƣợc phát triển từ những năm 60 của thế kỉ trƣớc. Từ đó cho đến
nay, rất nhiều CSDL đã đƣợc tổ chức, phát triển và khai thác ở mọi quy mô
và các lĩnh vực hoạt động của con ngƣời và xã hội. Theo nhƣ đánh giá cho
thấy, lƣợng thông tin trên thế giới cứ sau 20 tháng lại tăng lên gấp đôi. Kích
thƣớc và số lƣợng CSDL thậm trí còn tăng nhanh hơn. Năm 1989, tổng số
CSDL trên thế giới vào khoảng 5 triệu, hầu hết là CSDL cỡ nhỏ đƣợc phát
triển trên DBaseIII. Với sự phát triển của công nghệ điện tử, sự phát triển
mạnh mẽ của công nghệ phần cứng tạo ra các bộ nhớ có dung lƣợng lớn, bộ
xử lý có tốc độ cao cùng với sự phát triển của các hệ thống viễn thông, ngƣời
ta đã và đang xây dựng các hệ thống thông tin nhằm tự động hoá mọi hoạt
động của con ngƣời. Điều này đã tạo ra một dòng dữ liệu tăng lên không
ngừng vì ngay cả những hoạt động đơn giản nhƣ gọi điện thoại, tra cứu sách
trong thƣ viện, ... đều đƣợc thực hiện thông qua máy tính. Cho đến nay, số
lƣợng CSDL đã trở nên lớn bao gồm các CSDL cực lớn cỡ gigabytes và
thậm chí terabytes lƣu trữ các dữ liệu kinh doanh ví dụ nhƣ dữ liệu thông tin
khác hàng , dữ liệu bán hàng, dữ liệu các tài khoản, ... Nhiều hệ quản trị
CSDL mạnh với các công cụ phong phú và thuận tiện đã giúp con ngƣời khai
thác có hiệu quả nguồn tài nguyên dữ liệu. Mô hình CSDL quan hệ và ngôn
ngữ vấn đáp chuẩn (SQL) đã có vai trò hết sức quan trọng trong việc tổ chức
và khai thác CSDL. Cho đến nay, không một tổ chức nào sử dụng tin học
trong công việc mà không sử dụng các hệ quản trị CSDL và các hệ công cụ
báo cáo, ngôn ngữ hỏi đáp nhằm khai thác CSDL phục vụ cho các hoạt động
tác nghiệp của mình. Cùng với việc tăng không ngừng khối lƣợng dữ liệu,
các hệ thống thông tin cũng đƣợc chuyên môn hoá, phân chia theo lĩnh vực
ứng dụng nhƣ sản xuất, tài chính, hoạt động kinh doanh, .... Nhƣ vậy bên
cạnh chức năng khai thác dữ liệu có tính chất tác nghiệp, sự thành công trong
công việc không còn là năng suất của các hệ thống thông tin nữa mà là tính
linh hoạt và sẵn sàng đáp lại những yêu cầu trong thực tế, CSDL cần đem lại
những “tri thức” hơn là chính những dữ liệu trong đó. Các quyết định cần
phải có càng nhanh càng tốt và phải chính xác dựa trên những dữ liệu sẵn có
trong khi khối lƣợng dữ liệu cứ sau 20 tháng lại tăng gấp đôi làm ảnh hƣởng
đến thời gian ra quyết định cũng nhƣ khả năng hiểu hết đƣợc nội dung dữ liệu.
Lúc này, các mô hình CSDL truyền thống và ngôn ngữ SQL đã cho thấy
không có khả năng thực hiện công việc này. Để lấy thông tin có tính “tri
thức” trong khối dữ liệu lớn này, ngƣời ta đã tìm ra những kỹ thuật có
khả năng hợp nhất các dữ liệu từ các hệ thống giao dịch khác nhau, chuyển
đổi thành một tập hợp các CSDL ổn định, có chất lƣợng đƣợc sử dụng chỉ cho
riêng một vài mục đích nào đó. Các kỹ thuật đó gọi chung là kỹ thuật tạo kho
dữ liệu (data warehousing) và môi trƣờng các dữ liệu có đƣợc gọi là các kho
dữ liệu (data warehouse).
Nhƣng chỉ có kho dữ liệu thôi chƣa đủ để có tri thức. Các kho dữ liệu
đƣợc sử dụng theo một số cách nhƣ:
Theo cách khai thác truyền thống: tức là kho dữ liệu đƣợc sử dụng để
khai thác các thông tin bằng các công cụ truy vấn và báo cáo.
Các kho dữ liệu đƣợc sử dụng để hỗ trợ cho phân tích trực tuyến
(OLAP- OnLine Analytical Processing). Việc phân tích trực tuyến có khả
năng phân tích dữ liệu, xác định xem giả thuyết đúng hay sai. Tuy nhiên,
phân tích trực tuyến lại không có khả năng đƣa ra các giả thuyết.
Công nghệ khai phá dữ liệu (data mining) ra đời đáp ứng những đòi hỏi
trong khoa học cũng nhƣ trong hoạt động thực tiễn. Đây chính là một ứng
dụng chính của kho dữ liệu.
2. Tổng quan về kỹ thuật phát hiện tri thức và khai phá dữ liệu (KDD -
Knowledge Discovery and Data Mining)
2.1. Phát hiện tri thức và khai phá dữ liệu là gì?
Nếu cho rằng các điện tử và các sóng điện tử chính là bản chất của công
nghệ điện tử truyền thống thì dữ liệu, thông tin và tri thức hiện đang là tiêu
điểm của một lĩnh vực mới trong nghiên cứu và ứng dụng về phát hiện tri
thức (Knowledge Discovery) và khai phá dữ liệu (Data Mining).
Thông thƣờng chúng ta coi dữ liệu nhƣ một dãy các bit, hay các số và
các ký hiệu, hay các “đối tƣợng” với một ý nghĩa nào đó khi đƣợc gửi cho
một chƣơng trình dƣới một dạng nhất định. Chúng ta sử dụng các bit để đo
lƣờng các thông tin và xem nó nhƣ là các dữ liệu đã đƣợc lọc bỏ các dƣ thừa,
đƣợc rút gọn tới mức tối thiểu để đặc trƣng một cách cơ bản cho dữ liệu.
Chúng ta có thể xem tri thức nhƣ là các thông tin tích hợp, bao gồm các sự
kiện và các mối quan hệ giữa chúng. Các mối quan hệ này có thể đƣợc hiểu ra,
KẾT LUẬN
Luận văn đề cập đến các nội dung về kho dữ liệu và ứng dụng của lƣu
trữ và khai phá tri thức trong kho dữ liệu nhằm hỗ trợ ra quyết định.
Về mặt lý thuyết, khai phá tri thức bao gồm các bƣớc: Hình thành, xác
định và định nghĩa bài toán; thu thập và tiền xử lý dữ liệu; khai phá dữ liệu,
rút ra các tri thức; sử dụng các tri thức phát hiện đƣợc. Phƣơng pháp khai phá
dữ liệu có thể là: phân lớp, hồi quy, cây quyết định, suy diễn, quy nạp, Kláng giềng gần, … các phƣơng pháp trên có thể áp dụng trong dữ liệu thông
thƣờng và trên tập mờ.
Về thuật toán khai phá tri thức, luận văn trình bày một số thuật toán và
minh hoạ một số thuật toán kinh điển về phát hiện tập chỉ báo phổ biến và
khai phá luật kết hợp, nhƣ: Apriori, AprioriTid, phân hoạch, …
Về mặt cài đặt thử nghiệm, luận văn giới thiệu kỹ thuật khai phá dữ liệu
theo thuật toán Apriori, Apriori_Tid áp dụng vào bài toán dự báo tốc độ gia
tăng các phƣơng tiện giao thông vận tải (ôtô).
Trong quá trình thực hiện luận văn, tui đã cố gắng tập trung tìm hiểu và
tham khảo các tài liệu liên quan. Tuy nhiên, với thời gian và trình độ có hạn
nên không tránh khỏi những hạn chế và thiếu sót. tui rất mong đƣợc sự nhận
xét và góp ý của các thầy cô giáo và bạn bè, đồng nghiệp và những ngƣời
cùng quan tâm để hoàn thiện hơn các kết quả nghiên cứu của mình.
Link Download bản DOC
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:

 
Last edited by a moderator:

khachvanglai21

New Member
Luận văn:Ứng dụng khai phá dữ liệu trong khai thác cơ sở dữ liệu tích hợp nghành giao thông vận tải : Luận văn ThS. Công nghệ thông tin : 1.01.10
Link tải Free download cho anh em Ketnooi:

Luận văn:Ứng dụng khai phá dữ liệu trong khai thác cơ sở dữ liệu tích hợp nghành giao thông vận tải : Luận văn ThS. Công nghệ thông tin : 1.01.10
Link tải Free download cho anh em Ketnooi:

XIn chào anh chị, anh chị kiểm tra giúp links sao không down được, thanks
 
Các chủ đề có liên quan khác
Tạo bởi Tiêu đề Blog Lượt trả lời Ngày
D khai thác và sử dụng bài tập theo tiếp cận pisa chương “cảm ứng điện từ” vật lí 11 Khoa học kỹ thuật 0
D Nghiên cứu, phân tích giải pháp mobile backhaul và ứng dụng triển khai trên mạng viễn thông của VNPT tuyên quang Công nghệ thông tin 0
D Nghiên cứu ứng dụng giao thông thông minh (ITS) trong quản lý khai thác, điều hành giao thông và thu phí trên hệ thống đường ô tô cao tốc Việt Nam Luận văn Kinh tế 0
S Khung chuẩn trao đổi dữ liệu giữa các ứng dụng web trong việc triển khai dịch vụ công làm nền tảng x Luận văn Kinh tế 0
G Nghiên cứu công nghệ mạng không dây WiMAX, mô hình triển khai ứng dụng tại VDC Kiến trúc, xây dựng 0
J Nghiên cứu việc khai thác và ứng dụng của các loại khí cụ điện Luận văn Kinh tế 0
N Xây dựng và triển khai ứng dụng công nghệ thông tin trong kinh doanh lữ hành của công ty du lịch và Công nghệ thông tin 0
H Chế tạo, nghiên cứu các màng vật liệu bán dẫn quang điện tử và triển khai khả năng ứng dụng Luận văn Sư phạm 2
A Nghiên cứu ứng dụng công cụ GIS vào quản lý và khai thác tài nguyên du lịch Ninh Bình Luận văn Sư phạm 0
P Nghiên cứu, triển khai ứng dụng khai phá dữ liệu trong cơ sở dữ liệu và thuật toán song song Luận văn Sư phạm 2

Các chủ đề có liên quan khác

Top