ox_minhhieu_2ov3_forever_px91
New Member
Download miễn phí Đồ án Áp dụng một số thuật toán khai phá dữ liệu trong quản lý địa chỉ internet
MỤC LỤC
MỤC LỤC HÌNH ẢNH .7
LỜI CẢM ƠN .8
GIỚI THIỆU .9
CHưƠNG 1: GIỚI THIỆU CHUNG VỀ KHAI PHÁ DỮ LIỆU .11
1. Giới thiệu.11
1.1. Mở đầu .11
1.2. Khai phá dữ liệu.11
1.3. Phạm vi của khai phá dữ liệu.11
1.4. Mục tiêu của khai phá dữ liệu.12
1.5. Các kỹ thuật khai phá dữ liệu .12
1.6. Ứng dụng của khai phá dữ liệu.12
1.7. Các khó khăn trong khai phá dữ liệu .13
2. Chi tiết các bước khai phá tri thức .13
2.1. Lựa chọn dữ liệu (data selection).14
2.2.Xóa bỏ dữ liệu không cần thiết (cleaning).14
2.3.Làm giàu dữ liệu (enrichment) .14
2.4. Chuẩn hóa và mã hóa (coding and normalzation) .14
2.5. Khám phá tri thức (datamining).15
2.6. Báo cáo kết quả (reporting) .15
3.Chi tiết mã hóa và biến đổi dữ liệu .15
3.1. Phép biến đổi và chuẩn hóa dữ liệu .15
3.1.1. Phép chuẩn hóa dữ liệu.15
3.2.Biến đổi dữ liệu.15
3.2.1. Phân tích thành phần chính .16
3.2.2. SVD (Singular Value Decomposition).16
3.2.3. Phép biến đổi Karhunen-Loéve.165
4. Địa chỉ Internet.16
4.1. Giới thiệu địa chỉ Internet .16
4.2. Cấu trúc của địa chỉ Internet .17
4.3. Hệ thống tên miền (DNS) .20
4.4.Chức năng hệ thống tên miền .20
4.4 Tổ chức quản lý IP và Hệ thống tên miền .20
CHưƠNG 2: CÁC THUẬT TOÁN TRONG KHAI PHÁ DỮ LIỆU .23
1. Giới thiệu phân cụm dữ liệu.23
1.1. Định nghĩa phân cụm.23
1.2. Mục đích của phân cụm.24
1.3. Những lĩnh vực áp dụng phân cụm.25
1.4. Các yêu cầu về thuật toán phân cụm.25
1.5. Các kiểu dữ liệu phân cụm.26
1.5.1. Kiểu dữ liệu dựa trên kích thước miền.28
1.5.2. Kiểu dữ liệu dựa trên hệ đo.28
1.5.3. Phép đo độ tương tự và khoảng cách đối với các kiểu dữ liệu.30
1.5.4. Các phương pháp tiếp cận của bài toán phân cụm dữ liệu.36
2.Thuật toán phân cụm dữ liệu dựa vào phân hoạch.41
2.1. Thuật toán K-Means .41
2.2. Thuật toán K-Medoids(hay PAM) .46
2.3. Thuật toán CLARA.47
2.4.Thuật toán CLARANS.48
CHưƠNG 3: THỬ NGHIỆM HỆ THỐNG.51
1. Phần mềm quản lý dữ liệu.51
2.Các chức năng của chương trình.51
2.1. Thiết lập kết nối cơ sở dữ liệu .51
2.2. Giao diện người dùng .546
2.2.1. Đăng nhập.54
2.2.2. Giao diện chính sau đăng nhập.56
2.2.3.Cập nhật một bảng.56
2.2.4. Tìm kiếm thông tin .57
2.2.5. Báo cáo .57
2.2.6. K-Means và K-Medoids(hay PAM) .58
KẾT LUẬN .62
TÀI LIỆU THAM KHẢO.
Để tải tài liệu này, vui lòng Trả lời bài viết, Mods sẽ gửi Link download cho bạn ngay qua hòm tin nhắn.
Ketnooi -
You must be registered for see links
Ai cần tài liệu gì mà không tìm thấy ở Ketnooi, đăng yêu cầu down tại đây nhé:
Nhận download tài liệu miễn phí
Tóm tắt nội dung tài liệu:
- Translation: các đoạn IPv4 và IPv6 nối liên tiếp nhau.
Một số cách viết IPv6:
- Trong 1 octet, ta có thể xóa số 0 ở ngoài cùng bên trái.
Ví dụ 1:
0123: 4567: 89AB: CDEF: 0123: 4567: 89AB: CDEF
123: 4567: 89AB: CDEF: 123: 4567: 89AB: CDEF
Ví dụ 2:
1234: 0010: 3456: 7890: 000A: ABCE: 1234: 4567
1234: 10: 3456: 7890: A: ABCE: 1234: 4567
Trong 1 octet toàn 0, ta có thể giữ lại một số 0
Ví dụ:
1234: 0000: 3456: 7890: 0000: ABCE: 1234: 4567
1234: 0: 3456: 7890: 0: ABCE: 1234: 4567
Nếu có từ 2 octet trở lên toàn 0, thì ta có thể viết gọn thành dấu”: :”
Nhưng chú ý là 1 IPv6 chỉ được viết “: :”một lần.
Ví dụ:
1234: 0000: 0000: 1234: 0000: 0000: 0000: 1234
1234: : 1234: 0: 0: 0: 1234
1234: 0: 0: 1234: : 1234
Một số không gian IPv6:
- Global Unicast: giống nhƣ IPv4 Public.
chạy từ 2000: 3FFF:
- Link Local: giống nhƣ IPv4 APIPA (169. 254.0. 0/16)
thiết bị dùng IPv6 lúc nào cũng tự sinh ra Link-local address, không
quan tâm tới việc nó đã đƣợc đặt IP hay có DHCP hay chƣa.
chạy từ FE80: FEBF:
- Loopback: giống nhƣ IPv4 127. 0. 0. 0/8
với IPv6 là “: :”1
- Dải đặc biệt
0: 0: 0: 0: 0: 0: 0: 0) - Unique Local: giống nhƣ IPv4 Private
20
chạy từ FC00: FDFF:
4.3.Hệ thống tên miền (DNS)
Hệ thống tên miền là một hệ thống cho phép thiết lập tƣơng ứng giữa địa chỉ
IP và tên miền trên Internet.
Hệ thống tên miền về căn bản là một hệ thống giúp cho việc chuyển đổi các tên
miền mà con ngƣời dễ ghi nhớ (dạng kí tự, ví dụ www. example. com) sang địa chỉ IP vật
lý (dạng số, ví dụ 123.11.5.19) tƣơng ứng của tên miền đó. Hệ thống tên miền giúp liên
kết với các trang thiết bị mạng cho các mục đích định vị và địa chỉ hóa các thiết bị trên
Internet.
Phép so sánh thƣờng đƣợc sử dụng để giải thích cho hệ thống tên miền, nó phục vụ
nhƣ một "Danh bạ điện thoại", có khả năng tìm kiếm và dịch tên miền thành địa chỉ IP.
Ví dụ, www.example.com dịch thành 208.100.188.166. Tên miền Internet dễ nhớ hơn các
địa chỉ IP, là 208.100.188. 166 (IPv4) hay 2001:db8:1f70: :999:de8:7648:6e8 (IPv6).
4.4.Chức năng hệ thống tên miền
Mỗi website có một tên (là tên miền hay đƣờng dẫn URL: Uniform Resource
Locator) và một địa chỉ IP. Địa chỉ IP gồm 4 nhóm số cách nhau bằng dấu chấm(IPv4).
Khi mở một trình duyệt Web và nhập tên website, trình duyệt sẽ đến thẳng website mà
không cần thông qua việc nhập địa chỉ IP của website. Quá trình "dịch" tên miền
thành địa chỉ IP để cho trình duyệt hiểu và truy cập đƣợc vào website là công việc của
một máy chủ hệ thống tên miền.
Các máy chủ DNS trợ giúp qua lại với nhau để dịch địa chỉ "IP" thành "tên" và
ngƣợc lại. Ngƣời sử dụng chỉ cần nhớ "tên", không cần nhớ địa chỉ IP (địa chỉ IP là
những con số rất khó nhớ).
4.4 Tổ chức quản lý IP và Hệ thống tên miền
Tổ chức cấp phát số hiệu Internet (tên tiếng Anh là Internet Assigned Numbers
Authority –IANA) là một cơ quan giám sát việc chỉ định địa chỉ IP, quản lý khu vực
gốc của DNS toàn cầu, và cấp phát giao thức Internet khác. Tổ chức này đƣợc điều này
bởi ICANN.
Trƣớc khi ICANN đƣợc thành lập với mục đích này, IANA chủ yếu do Jon
Postel quản lý tại Viện Khoa học Thông tin của trƣờng Đại học Nam California, dƣới một
hợp đồng USC/ISI với Bộ Quốc phòng Hoa Kỳ, cho đến khi ICANN đƣợc thành lập để
nhận trách nhiệm dƣới hợp đồng của Bộ Thƣơng mại Hoa Kỳ.
21
Tập đoàn Internet cấp số và tên miền (Internet Corporation for Assigned Names
and Numbers- ICANN) là một tổ chức phi lợi nhuận đặt trụ sở tại Marina del Rey,
California, United States. ICANN đƣợc thành lập ngày 18 tháng 9 năm 1998 và hợp nhập
vào ngày 30 tháng 9 năm 1998 để giám sác một số nhiệm vụ liên quan tới Internet mà
trƣớc đây đƣợc thực hiện trực tiếp bởi các tổ chức khác trên danh nghĩa của chính phủ
Mỹ, mà đáng chú ý trong số đó là IANA ICANN chịu trách nhiệm trong việc quản lý
không gian địa chỉ IP(IPv4 và IPv6) và việc phân phối các khối địa chỉ tới các cơ quan
đăng ký Internet khu vực. Duy trì các cơ quan đăng ký tên định danh IP; Quản lý không
gian tên miền cấp cao nhất(miền DNS gốc), bao gồm việc điều hành của những máy phục
vụ tên gốc. Phần lớn các công việc của ICANN liên quan tới việc giới thiệu của những
miền cấp cao mới (top-level domains (TLDs)). Công việc kĩ thuật của ICANN giống nhƣ
chức năng của IANA.
Những nguyên tắc cơ bản hàng đầu trong việc điều hành của ICANN đƣợc mô tả
nhƣ việc giúp đỡ duy trì sự hoạt động ổn định của Internet; thúc đẩy việc cạnh tranh; đạt
đƣợc sự thay mặt rộng rãi của cộng đồng Internet toàn cầu và xây dựng chính sách phù
hợp với nhiệm vụ của ICANN thông qua các quá trình từ dƣới lên, dựa trên sự nhất trí ý
kiến. Vào ngày 29 tháng 9 năm 2006, ICANN đã ký một thỏa thuận với Bộ Thƣơng mại
Hoa Kỳ về việc đƣa tổ chức tƣ nhân vào sự quản lý toàn diện của hệ thống các tên định
danh đƣợc điều phối tập trung của Internet thông qua mô hình nhiều phía cùng có lợi
trong việc trao đổi ý kiến mà ICANN đại diện.[4]
Ở Việt Nam Trung tâm Internet Việt Nam hay tên viết tắt là VNNIC là một đơn
vị trực thuộc Bộ Thông tin và Truyền thông, nƣớc Cộng hòa Xã hội Chủ nghĩa Việt
Nam đƣợc thành lập chính thức vào ngày 28 tháng 04 năm 2000. Theo đó, Trung tâm
Internet Việt Nam chịu trách nhiệm quản lý về tên miền Internet trong lãnh thổ Việt
Nam cũng nhƣ thống kê về tình hình sử dụng Internet tại Việt Nam.
22
Một số nhiệm vụ của VNNIC. Theo quyết định số 02/2008/QĐ-BTTTT do Bộ
trƣởng Bộ Thông tin và Truyền thông, Lê Doãn Hợp ban hành ngày 05/03/2008, quy
định các chức năng, nghĩa vụ và quyền hạn của VNNIC nhƣ sau: [5]
Quy hoạch, quản lý và phân bổ địa chỉ (IP) và số hiệu mạng (ASN) ở cấp quốc
gia.
Quản lý tên miền Internet cấp quốc gia bao gồm tên miền các cấp dưới .vn.
Quy hoạch, đầu tư xây dựng cơ sở hạ tầng kỹ thuật, công nghệ và nhân lực để
phát triển Trung tâm Internet Việt Nam phù hợp với yêu cầu thực tiễn.
Thiết lập, khai thác và duy tr hoạt động hệ thống máy chủ tên miền (DNS) quốc
gia .vn; trạm trung chuyển Internet quốc gia;đăng ký và duy tr địa chỉ IP, số
hiệu mạng cho Internet Việt Nam; tham gia khai thác các công nghệ mới liên
quan đến tài nguyên Internet, công nghệ DNS và giao thức IP và hệ thống
chứng thực CA trên Internet.
Kiểm tra, giám sát việc cấp, đăng ký, sử dụng địa chỉ IP, số hiệu mạng và tên
miền đối với các tổ chức, cá nhân tham gia hoạt động Internet.
Nghiên cứu đề xuất và tham gia với các đơn vị chức năng trực thuộc Bộ để xây
dựng các văn bản quy phạm pháp luật về công tác quản lý nhà nước về tài
nguyên Internet, về khai thác, sử dụng dịch vụ và chất lượng Internet trên phạm
vi cả nước.
Phối hợp với các đơn vị chức năng của Bộ trong công tác quản lý nhà nước đối
với các hoạt động của hội và tổ chức phi chính phủ trong lĩnh vực Internet.
Tham gia thay mặt chính thức về Internet của Việt Nam, tham gia các hoạt động
của các tổ chức Internet quốc tế liên quan đến tài nguyên mạng Internet và
công nghệ IP.
Được quyền yêu cầu các tổ chức, cá nhân hoạt động trên mạng Internet cung
cấp các thông tin và các số liệu thống kê liên quan tới hoạt động Internet. Thực
hiện báo cáo thống kê t nh h nh phát triển Internet trong nước.
Được thu phí và lệ phí các hoạt động theo chức năng, nhiệm vụ, quyền hạn của
Trung tâm và theo quy định của pháp luật.
Tham gia việc đào tạo, bồi dưỡng chuyên môn nghiệp vụ theo quy định của Bộ
Thông tin và Truyền thông.
Được phối hợp, hợp tác với các tổ chức quốc tế để khai thác dự phòng hệ thống
cho tên miền quốc gia .vn, đăng ký và duy tr tài nguyên Internet Việt Nam,
quảng bá quốc tế về Internet Việt Nam và phát triển sử dụng tên miền. vn.
Được tham gia cung cấp các dịch vụ liên quan đến tài nguyên Internet, công
nghệ IP, công nghệ thông tin và tham gia các hoạt động có liên quan để tạo
thêm các nguồn thu khác nhằm mở rộng phạm vi và quy mô hoạt động phù hợp
với chức năng, nhiệm vụ, quyền hạn của Trung tâm và theo quy định của pháp
luật, bảo toàn và phát triển các nguồn lực được giao.
Quản lý về tổ chức, cán bộ, viên chức và tài sản của Trung tâm theo quy định
của pháp luật và phân cấp của Bộ trưởng.
Thực hiện các nhiệm vụ khác do Bộ trưởng giao.
23
CHƢƠNG 2: CÁC THUẬT TOÁN TRONG KHAI PHÁ DỮ LIỆU
1. Giới thiệu phân cụm dữ liệu
1.1. Định nghĩa phân cụm
Phân cụm dữ liệu (Data Clustering) là quá trình nhóm các điểm dữ liệu trong cơ sở
dữ liệu thành cáccụm sao cho những điểm dữ liệu trong cùng một cụm có độ tƣơng đồng
lớn và những điểm không cùng một cụm có sự tƣơng đồng là rất nhỏ. Một cụm các đối
tƣợng dữ liệu có thể xem nhƣ là một nhóm trong nhiều ứng dụng.
Quá trình phân cụm là quá trình tìm ra các đối tƣợng trong cơ sở dữ liệu mộtcách tự
động. Không giống nhƣ phân lớp (clasification), phân cụm không cần những thông tin
đƣợc xác định trƣớc. Nói cách khác, phân cụm là phƣơng pháp học từ quan sát (learning
from obversation) hay còn gọi là học không thầy ...