Link tải luận văn miễn phí cho ae Kết Nối
Đồ án môn học:Trí Tuệ Nhân Tạo
Đề tài:tổng quan về mạng nơ ron và các ứng dụng.
A.Đặt vấn đề:
Trong những năm gần đây, người ta thường nhắc đến “Trí tuệ nhân tạo” như là một cách mô phỏng trí thông minh của con người từ việc lưu trữ đến xử lý thông tin. Và nó thực sự đã trở thành nền tảng cho việc xây dựng các thế hệ máy thông minh hiện đại. Cũng với mục đích đó, nhưng dựa trên quan điểm nghiên cứu hoàn toàn khác, một môn khoa học đã ra đời, đó là Lý thuyết Mạng neuron. Tiếp thu các thành tựu về thần kinh sinh học, mạng neuron luôn được xây dựng thành một cấu trúc mô phỏng trực tiếp các tổ chức thần kinh trong bộ não con người.
Từ những nghiên cứu sơ khai của McCulloch và Pitts trong những năm 40 của thế kỷ, trải qua nhiều năm phát triển, cho đến thập kỷ này, khi trình độ phần cứng và phần mềm đã đủ mạnh cho phép cài đặt những ứng dụng phức tạp, Lý thuyết Mạng neuron mới thực sự được chú ý và nhanh chóng trở thành một hướng nghiên cứu đầy triển vọng trong mục đích xây dựng các máy thông minh tiến gần tới Trí tuệ con người. Sức mạnh thuộc về bản chất tính toán song song, chấp nhận lỗi của mạng neuron đã được chứng minh thông qua nhiều ứng dụng trong thực tiễn, đặc biệt khi tích hợp cùng với các kỹ thuật khác.
Một trong những ứng dụng kinh điển của mạng neuron là lớp các bài toán nhận dạng mẫu, ở đó mỗi một mẫu là một tập hợp (hay một vector) các tham số biểu thị các thuộc tính của một quá trình vật lý nào đó (ví dụ tín hiệu tiếng nói). Ngoài sức mạnh vốn có, mạng neuron còn thể hiện ưu điểm của mình trong việc nhận dạng thông qua khả năng mềm dẻo, dễ thích nghi với môi trường. Chính vì vậy, có thể coi mạng neuron trước tiên là một công cụ để nhận dạng. Nhiều công trình nghiên cứu, nhiều ứng dụng thực nghiệm đã được thực hiện trên mạng neuron với mục đích nhận dạng và đã thu được những thành công to lớn
1.Cơ sở lý thuyết :
Lý thuyết Mạng neuron
Mạng neuron nhân tạo là một mô hình mô phỏng cấu trúc của bộ não con người. Hai thành phần chính cấu tạo nên mạng neuron là các neuron (mô phỏng các tế bào thần kinh) và các synapse (mô phỏng các khớp nối thần kinh). Trong kiến trúc của một mô hình kết nối, các neuron chính là các nút mạng, được liên kết với nhau thông qua các synpase, là các cung mạng.
Neuron là một đơn vị tính toán có nhiều đầu vào và một đầu ra, mỗi đầu vào đến từ một syanpse. Đặc trưng của neuron là một hàm kích hoạt phi tuyến chuyển đổi một tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra. Hàm kích hoạt này đảm bảo tính chất phi tuyến cho tính toán của mạng neuron.
Synapse là một thành phần liên kết giữa các neuron, nó nối đầu ra của neuron này với đầu vào của neuron khác. Đặc trưng của synapse là một trọng số mà mỗi tín hiệu đi qua đều được nhận với trọng số này. Các trọng số synapse chính là các tham số tự do cơ bản của mạng neuron, có thể thay đổi được nhằm thích nghi với môi trường xung quanh.
Mạng tiến đa mức là một trong những kiến trúc mạng căn bản nhất, ở đó các neuron được chia thành từng mức. Có ba loại mức: mức đầu vào bao gồm các nút nguồn (không phải neuron) cung cấp các tín hiệu đầu vào chung nhận được từ môi trường; mức ẩn bao gồm các neuron không quan hệ trực tiếp với môi trường; mức đầu ra đưa ra các tín hiệu đầu ra cho môi trường. Lần lượt từ mức đầu vào tới mức đầu ra, cứ tín hiệu đầu ra của một nút mạng thuộc mức trước sẽ là tín hiệu đầu vào cho nút mạng thuộc mức tiếp sau. Từ kiến trúc này ta có thể hình dung mạng neuron như một bộ xử lý thông tin có nhiều đầu vào và nhiều đầu ra.
Quá trình tích luỹ mạng (học) là một quá trình mà trong đó các tham số tự do (các trọng số synapse) được điều chỉnh nhằm mục đích thích nghi với môi trường. Đối với vấn đề học cho mạng neuron người ta quan tâm tới ba yếu tố sau:
* Quy tắc học: cách nền tảng cho việc thay đổi trọng số syanapse (ví dụ: Quy tắc học hiệu chỉnh lỗi, Quy tắc học kiểu Heb, ...).
* Mô hình học: Cách thức mạng neuron quan hệ với môi trường trong quá trình học (ví dụ: Mô hình học với một người dạy, ...).
* Thuật toán học: Các bước tiến hành cụ thể cho một quá trình học.
Thuật toán Back-propagation là thuật toán học kinh điển nhất và cũng được áp dụng một cách phổ biến nhất cho các mạng tiến đa mức. Nó được xây dựng trên cơ sở Quy tắc học hiệu chỉnh lỗi và Mô hình học với một người dạy. Thuật toán bao gồm hai giai đoạn tính toán: giai đoạn tiến mà các tín hiệu chức năng đi từ mức đầu vào tới mức đẩu ra của mạng nhằm tính toán các tín hiệu lỗi; giai đoạn lùi trong đó các tín hiệu lỗi quay trở lại từ mức đầu ra lần lượt qua các mức để tính các gradient cục bộ tại mỗi neuron. Để nâng cao chức năng của thuật toán, có khá nhiều kinh nghiệm thực tế được nêu thành quy tắc mà không được chứng minh một cách chặt chẽ.
Các mạng hồi quy trễ là một lớp kiến trúc mở rộng tích hợp quan điểm về các synapse trễ và kiến trúc hồi quy dựa trên cơ sở mạng tiến đa mức. Một synapse trễ bao gồm nhiều nhánh, mỗi nhánh có trọng số riêng và đặc biệt là có một toán tử trễ theo thời gian (z-n) nhằm quan tâm tới sự ảnh hưởng lẫn nhau giữa các neuron tại những tời điểm khác nhau. Lớp kiến trúc này được đưa ra để xử lý các tín hiệu có đặc tính thống kê biến thiên theo thời gian .........
1.1 Mạng neuron - Mô phỏng trực tiếp bộ não con người
Lý thuyết về Mạng nơ ron nhân tạo, hay gọi tắt là “Mạng nơ ron”, được xây dựng xuất phát từ một thực tế là bộ não con người luôn luôn thực hiện các tính toán một cách hoàn toàn khác so với các máy tính số. Có thể coi bộ não là một máy tính hay một hệ thống xử lý thông tin song song, phi tuyến và cực kỳ phức tạp. Nó có khả năng tự tổ chức các bộ phận cấu thành của nó, như là các tế bào thần kinh (neuron) hay các khớp nối thần kinh (synapse), nhằm thực hiện một số tính toán như nhận dạng mẫu và điều khiển vận động nhanh hơn nhiều lần các máy tính nhanh nhất hiện nay. Sự mô phỏng bộ não con người của mạng neuron là dựa trên cơ sở một số tính chất đặc thù rút ra từ các nghiên cứu về thần kinh sinh học.
1.1.1 Sơ lược về cấu trúc bộ não con người
Hệ thống thần kinh của con người có thể được xem như một hệ thống ba tầng. Trung tâm của hệ thống là bộ não được tạo nên bởi một mạng lưới thần kinh; nó liên tục thu nhận thông tin, nhận thức thông tin, và thực hiện các quyết định phù hợp. Bên ngoài bộ não là các bộ tiếp nhận làm nhiệm vụ chuyển đổi các kích thích từ cơ thể con người hay từ môi trường bên ngoài thành các xung điện; các xung điện này vận chuyển các thông tin tới mạng lưới thần kinh. Tầng thứ ba bao gồm các bộ tác động có nhiệm vụ chuyển đổi các xung điện sinh ra bởi mạng lưới thần kinh thành các đáp ứng có thể thấy được (dưới nhiều dạng khác nhau), chính là đầu ra của hệ thống.
Hình 1.1 Biểu diễn sơ đồ khối của hệ thống thần kinh
Hai trong số những thành phần cơ bản của bộ não mà chúng ta cần quan tâm đến như các yếu tố quyết định khả năng tính toán của bộ não là các tế bào thần kinh (neuron) và các khớp nối thần kinh (synapse). Người ta ước tính rằng có xấp xỷ 10 tỷ neuron và 60 nghìn tỷ synapse trong vỏ não con người.
Các neuron là các đơn vị xử lý thông tin cơ sở của bộ não với tốc độ xử lý chậm hơn từ năm tới sáu lần các cổng logic silicon. Tuy nhiên điều này được bù đắp bởi một số lượng rất lớn các neuron trong bộ não. Các synapse về cơ bản là các đơn vị cấu trúc và chức năng làm trung gian kết nối giữa các neuron. Kiểu synapse chung nhất là synapse hoá học, hoạt động như sau. Một quá trình tiền synapse giải phóng ra một chất liệu truyền, chất liệu này khuếch tán qua các synapse và sau đó lại được xử lý trong một quá trình hậu synapse. Như vậy một synapse chuyển đổi một tín hiệu điện tiền synapse thành một tín hiệu hoá học và sau đó trở lại thành một tín hiệu điện hậu synapse. Trong hệ thống thuật ngữ về điện, một phần tử như vậy được gọi là một thiết bị hai cổng không thuận nghịch.
Có thể nói rằng tính mềm dẻo của hệ thống thần kinh con người cho phép nó có thể phát triển để thích nghi với môi trường xung quanh. Trong một bộ óc người trưởng thành, tính mềm dẻo được thể hiện bởi hai hoạt động: sự tạo ra các synapse mới giữa các neuron, và sự biến đổi các synapse hiện có. Các neuron có sự đa dạng lớn về hình dạng, kích thước và cấu tạo trong những phần khác nhau của bộ não thể hiện tính đa dạng về bản chất tính toán.
đi thực tới cực tiểu của bề mặt lỗi. Như vậy là nó có xu hướng hội tụ chậm; chúng ta có thể nêu ra hai nguyên nhân cơ bản sau:
Xét trường hợp bề mặt lỗi là khá bằng phẳng dọc theo một chiều trọng số nào đó. Điều này có nghĩa là đạo hàm của bề mặt lỗi theo trọng số này có trị tuyệt đối nhỏ. Trong trường hợp này, sự điều chỉnh áp dụng cho trọng số cũng nhỏ, và có thể cần nhiều vòng lặp kế tiếp nhau để có thể làm giảm đáng kể giá trị lỗi. Mặt khác nếu bề mặt lỗi có độ cong lớn dọc theo một chiều trọng số thì đạo hàm của bề mặt lỗi theo trọng số đang xét có trị số lớn, và như vậy các điều chỉnh áp dụng cho trọng số này cũng lớn. Điều này làm cho thuật toán có khả năng vượt quá điểm cực tiểu cần đi tới.
Chiều của vector gradient âm có thể chỉ theo hướng đi xa khỏi cực tiểu của mặt phẳng lỗi, và như vậy thì các điều chỉnh trọng số có xu hướng làm cho thuật toán đi sai hướng.
Theo một số nghiên cứu thực nghiệm, tốc độ hội tụ cục bộ của thuật toán back-propagation có tính chất tuyến tính, và có thể chính đó là nguồn gốc của các nguyên nhân gây ra sự chậm trễ của thuật toán. Gợi ý này đưa chúng ta đến một quan điểm như sau: Có thể các phương pháp tính toán với tốc độ hội tụ bậc cao hơn (có tính phi tuyến cao) sẽ cho phép hội tụ nhanh hơn nhưng yêu cầu nhiều nỗ lực tính toán hơn.
1.2.7 Hội tụ nhanh cho quá trình học Back-propagation
Như đã bàn tới trong phần trước, thuật toán back-propagation không được coi là phương pháp học cho ta khả năng hội tụ nhanh chóng. Trong phần này, chúng ta sẽ đề cập tới một số kinh nghiệm có khả năng mang lại cho chúng ta những chỉ dẫn hữu ích trong việc làm thế nào để tăng tốc sự hội tụ của thuật toán back-propagation thông qua việc thích nghi tham số tốc độ học.
Kinh nghiệm thứ nhất
Mọi tham số mạng có thể điều chỉnh được của hàm giá nên có tham số tốc độ học riêng biệt.
ở đây, chúng ta chú ý rằng thuật toán back-propagation hội tụ chậm có thể là do việc sử dụng cùng một tham số tốc độ học. Tham số cố định này có khả năng không phù hợp được với tất cả các vị trí của bề mặt lỗi. Nói cách khác, một tham số tốc độ học thích hợp cho việc điều chỉnh một trọng số synapse không nhất thiết là thích hợp cho việc điều chỉnh các trọng số khác trong mạng. Kinh nghiệm thứ nhất khuyến cáo sử dụng các tham số tốc độ học khác nhau cho các trọng số synapse khác nhau trong mạng.
Kinh ngiệm thứ hai
Mọi tham số tốc độ học nên được phép thay đổi sau mỗi vòng lặp.
Bề mặt lỗi thường có đặc tính khác nhau trong những vùng khác nhau khi ta xét dọc theo một chiều trọng số nhất định. Chính vì sự biến thiên này mà kinh nghiệm thứ hai khuyến cáo rằng tham số tốc độ học cũng nên biến thiên từ vòng lặp nằy sang vòng lặp khác. Điều thú vị là kinh nghiệm này được hình thành từ những nghiên cứu về các đơn vị xử lý tuyến tính.
Kinh ngiệm thứ ba
Khi đạo hàm của hàm giá theo một trọng số synapse có cùng một dấu đại số với trong một số vòng lặp kế tiếp nhau của thuật toán, tham số tốc độ học cho trọng số synapse này nên được tăng lên.
Điểm biểu diễn trạng thái hiện thời trong không gian trọng số có thể nằm trên một vùng bằng phẳng của bề mặt lỗi dọc theo một chiều trọng số xác định. Điều này thể hiện bằng việc giữ nguyên dấu của đạo hàm hàm giá (gradient của bề mặt lỗi) theo trọng số synapse đó; và như vậy là vector gradient có cùng một chiều trong một số vòng lặp kế tiếp nhau của thuật toán. Kinh nghiệm thứ ba khuyến cáo rằng trong trường hợp như vậy, số lượng các vòng lặp cần để đi qua vùng bằng phẳng này có thể được giảm bớt bằng cách tăng tham số tốc độ học một cách phù hợp.
Kinh nghiệm thứ tư
Khi dấu đại số của đạo hàm hàm giá theo một trọng số xác định là liên tục thay đổi trong một số vòng lặp của thuật toán, tham số tốc độ học cho trọng số nên được giảm xuống.
Khi điểm biểu diễn trạng thái hiện thời trong không gian trọng số nằm trên một vùng của bề mặt lỗi dọc theo một chiều trọng số xác định mà có nhiều chỗ lồi lõm. Như vậy có nghĩa là đạo hàm hàm giá theo trọng số đó có khả năng liên tục thay đổi dấu trong một số vòng lặp kế tiếp . Để tránh không để việc điều chỉnh trọng số bị giao động quá nhiều, kinh nghiệm thứ tư khuyến cáo rằng tham số tốc độ học cho các trọng số như vậy nên được giảm đi một cách phù hợp.
Đánh giá
o thời gian có hạn mà chỉ có hai người nên chúng em chỉ tìm hiểu được một phần nhỏ về kiến thức chung của mạng Nơ Ron đó là các khái niệm và các kiến thức cơ bản về mạng nơ ron và các phương pháp học cho mạng nơ ron
Không tránh khỏi các sai sót trong quá trình phân tích đánh giá là điều chúng em luôn nghĩ ,chúng em mong nhận được sự nhận xét và cho các ý kiến từ thầy chúng em xin trân thành Thank thầy.
Sinh viên:Nguyễn Hoàng Tú –Nguyễn Trọng Đông.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
Đồ án môn học:Trí Tuệ Nhân Tạo
Đề tài:tổng quan về mạng nơ ron và các ứng dụng.
A.Đặt vấn đề:
Trong những năm gần đây, người ta thường nhắc đến “Trí tuệ nhân tạo” như là một cách mô phỏng trí thông minh của con người từ việc lưu trữ đến xử lý thông tin. Và nó thực sự đã trở thành nền tảng cho việc xây dựng các thế hệ máy thông minh hiện đại. Cũng với mục đích đó, nhưng dựa trên quan điểm nghiên cứu hoàn toàn khác, một môn khoa học đã ra đời, đó là Lý thuyết Mạng neuron. Tiếp thu các thành tựu về thần kinh sinh học, mạng neuron luôn được xây dựng thành một cấu trúc mô phỏng trực tiếp các tổ chức thần kinh trong bộ não con người.
Từ những nghiên cứu sơ khai của McCulloch và Pitts trong những năm 40 của thế kỷ, trải qua nhiều năm phát triển, cho đến thập kỷ này, khi trình độ phần cứng và phần mềm đã đủ mạnh cho phép cài đặt những ứng dụng phức tạp, Lý thuyết Mạng neuron mới thực sự được chú ý và nhanh chóng trở thành một hướng nghiên cứu đầy triển vọng trong mục đích xây dựng các máy thông minh tiến gần tới Trí tuệ con người. Sức mạnh thuộc về bản chất tính toán song song, chấp nhận lỗi của mạng neuron đã được chứng minh thông qua nhiều ứng dụng trong thực tiễn, đặc biệt khi tích hợp cùng với các kỹ thuật khác.
Một trong những ứng dụng kinh điển của mạng neuron là lớp các bài toán nhận dạng mẫu, ở đó mỗi một mẫu là một tập hợp (hay một vector) các tham số biểu thị các thuộc tính của một quá trình vật lý nào đó (ví dụ tín hiệu tiếng nói). Ngoài sức mạnh vốn có, mạng neuron còn thể hiện ưu điểm của mình trong việc nhận dạng thông qua khả năng mềm dẻo, dễ thích nghi với môi trường. Chính vì vậy, có thể coi mạng neuron trước tiên là một công cụ để nhận dạng. Nhiều công trình nghiên cứu, nhiều ứng dụng thực nghiệm đã được thực hiện trên mạng neuron với mục đích nhận dạng và đã thu được những thành công to lớn
1.Cơ sở lý thuyết :
Lý thuyết Mạng neuron
Mạng neuron nhân tạo là một mô hình mô phỏng cấu trúc của bộ não con người. Hai thành phần chính cấu tạo nên mạng neuron là các neuron (mô phỏng các tế bào thần kinh) và các synapse (mô phỏng các khớp nối thần kinh). Trong kiến trúc của một mô hình kết nối, các neuron chính là các nút mạng, được liên kết với nhau thông qua các synpase, là các cung mạng.
Neuron là một đơn vị tính toán có nhiều đầu vào và một đầu ra, mỗi đầu vào đến từ một syanpse. Đặc trưng của neuron là một hàm kích hoạt phi tuyến chuyển đổi một tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra. Hàm kích hoạt này đảm bảo tính chất phi tuyến cho tính toán của mạng neuron.
Synapse là một thành phần liên kết giữa các neuron, nó nối đầu ra của neuron này với đầu vào của neuron khác. Đặc trưng của synapse là một trọng số mà mỗi tín hiệu đi qua đều được nhận với trọng số này. Các trọng số synapse chính là các tham số tự do cơ bản của mạng neuron, có thể thay đổi được nhằm thích nghi với môi trường xung quanh.
Mạng tiến đa mức là một trong những kiến trúc mạng căn bản nhất, ở đó các neuron được chia thành từng mức. Có ba loại mức: mức đầu vào bao gồm các nút nguồn (không phải neuron) cung cấp các tín hiệu đầu vào chung nhận được từ môi trường; mức ẩn bao gồm các neuron không quan hệ trực tiếp với môi trường; mức đầu ra đưa ra các tín hiệu đầu ra cho môi trường. Lần lượt từ mức đầu vào tới mức đầu ra, cứ tín hiệu đầu ra của một nút mạng thuộc mức trước sẽ là tín hiệu đầu vào cho nút mạng thuộc mức tiếp sau. Từ kiến trúc này ta có thể hình dung mạng neuron như một bộ xử lý thông tin có nhiều đầu vào và nhiều đầu ra.
Quá trình tích luỹ mạng (học) là một quá trình mà trong đó các tham số tự do (các trọng số synapse) được điều chỉnh nhằm mục đích thích nghi với môi trường. Đối với vấn đề học cho mạng neuron người ta quan tâm tới ba yếu tố sau:
* Quy tắc học: cách nền tảng cho việc thay đổi trọng số syanapse (ví dụ: Quy tắc học hiệu chỉnh lỗi, Quy tắc học kiểu Heb, ...).
* Mô hình học: Cách thức mạng neuron quan hệ với môi trường trong quá trình học (ví dụ: Mô hình học với một người dạy, ...).
* Thuật toán học: Các bước tiến hành cụ thể cho một quá trình học.
Thuật toán Back-propagation là thuật toán học kinh điển nhất và cũng được áp dụng một cách phổ biến nhất cho các mạng tiến đa mức. Nó được xây dựng trên cơ sở Quy tắc học hiệu chỉnh lỗi và Mô hình học với một người dạy. Thuật toán bao gồm hai giai đoạn tính toán: giai đoạn tiến mà các tín hiệu chức năng đi từ mức đầu vào tới mức đẩu ra của mạng nhằm tính toán các tín hiệu lỗi; giai đoạn lùi trong đó các tín hiệu lỗi quay trở lại từ mức đầu ra lần lượt qua các mức để tính các gradient cục bộ tại mỗi neuron. Để nâng cao chức năng của thuật toán, có khá nhiều kinh nghiệm thực tế được nêu thành quy tắc mà không được chứng minh một cách chặt chẽ.
Các mạng hồi quy trễ là một lớp kiến trúc mở rộng tích hợp quan điểm về các synapse trễ và kiến trúc hồi quy dựa trên cơ sở mạng tiến đa mức. Một synapse trễ bao gồm nhiều nhánh, mỗi nhánh có trọng số riêng và đặc biệt là có một toán tử trễ theo thời gian (z-n) nhằm quan tâm tới sự ảnh hưởng lẫn nhau giữa các neuron tại những tời điểm khác nhau. Lớp kiến trúc này được đưa ra để xử lý các tín hiệu có đặc tính thống kê biến thiên theo thời gian .........
1.1 Mạng neuron - Mô phỏng trực tiếp bộ não con người
Lý thuyết về Mạng nơ ron nhân tạo, hay gọi tắt là “Mạng nơ ron”, được xây dựng xuất phát từ một thực tế là bộ não con người luôn luôn thực hiện các tính toán một cách hoàn toàn khác so với các máy tính số. Có thể coi bộ não là một máy tính hay một hệ thống xử lý thông tin song song, phi tuyến và cực kỳ phức tạp. Nó có khả năng tự tổ chức các bộ phận cấu thành của nó, như là các tế bào thần kinh (neuron) hay các khớp nối thần kinh (synapse), nhằm thực hiện một số tính toán như nhận dạng mẫu và điều khiển vận động nhanh hơn nhiều lần các máy tính nhanh nhất hiện nay. Sự mô phỏng bộ não con người của mạng neuron là dựa trên cơ sở một số tính chất đặc thù rút ra từ các nghiên cứu về thần kinh sinh học.
1.1.1 Sơ lược về cấu trúc bộ não con người
Hệ thống thần kinh của con người có thể được xem như một hệ thống ba tầng. Trung tâm của hệ thống là bộ não được tạo nên bởi một mạng lưới thần kinh; nó liên tục thu nhận thông tin, nhận thức thông tin, và thực hiện các quyết định phù hợp. Bên ngoài bộ não là các bộ tiếp nhận làm nhiệm vụ chuyển đổi các kích thích từ cơ thể con người hay từ môi trường bên ngoài thành các xung điện; các xung điện này vận chuyển các thông tin tới mạng lưới thần kinh. Tầng thứ ba bao gồm các bộ tác động có nhiệm vụ chuyển đổi các xung điện sinh ra bởi mạng lưới thần kinh thành các đáp ứng có thể thấy được (dưới nhiều dạng khác nhau), chính là đầu ra của hệ thống.
Hình 1.1 Biểu diễn sơ đồ khối của hệ thống thần kinh
Hai trong số những thành phần cơ bản của bộ não mà chúng ta cần quan tâm đến như các yếu tố quyết định khả năng tính toán của bộ não là các tế bào thần kinh (neuron) và các khớp nối thần kinh (synapse). Người ta ước tính rằng có xấp xỷ 10 tỷ neuron và 60 nghìn tỷ synapse trong vỏ não con người.
Các neuron là các đơn vị xử lý thông tin cơ sở của bộ não với tốc độ xử lý chậm hơn từ năm tới sáu lần các cổng logic silicon. Tuy nhiên điều này được bù đắp bởi một số lượng rất lớn các neuron trong bộ não. Các synapse về cơ bản là các đơn vị cấu trúc và chức năng làm trung gian kết nối giữa các neuron. Kiểu synapse chung nhất là synapse hoá học, hoạt động như sau. Một quá trình tiền synapse giải phóng ra một chất liệu truyền, chất liệu này khuếch tán qua các synapse và sau đó lại được xử lý trong một quá trình hậu synapse. Như vậy một synapse chuyển đổi một tín hiệu điện tiền synapse thành một tín hiệu hoá học và sau đó trở lại thành một tín hiệu điện hậu synapse. Trong hệ thống thuật ngữ về điện, một phần tử như vậy được gọi là một thiết bị hai cổng không thuận nghịch.
Có thể nói rằng tính mềm dẻo của hệ thống thần kinh con người cho phép nó có thể phát triển để thích nghi với môi trường xung quanh. Trong một bộ óc người trưởng thành, tính mềm dẻo được thể hiện bởi hai hoạt động: sự tạo ra các synapse mới giữa các neuron, và sự biến đổi các synapse hiện có. Các neuron có sự đa dạng lớn về hình dạng, kích thước và cấu tạo trong những phần khác nhau của bộ não thể hiện tính đa dạng về bản chất tính toán.
đi thực tới cực tiểu của bề mặt lỗi. Như vậy là nó có xu hướng hội tụ chậm; chúng ta có thể nêu ra hai nguyên nhân cơ bản sau:
Xét trường hợp bề mặt lỗi là khá bằng phẳng dọc theo một chiều trọng số nào đó. Điều này có nghĩa là đạo hàm của bề mặt lỗi theo trọng số này có trị tuyệt đối nhỏ. Trong trường hợp này, sự điều chỉnh áp dụng cho trọng số cũng nhỏ, và có thể cần nhiều vòng lặp kế tiếp nhau để có thể làm giảm đáng kể giá trị lỗi. Mặt khác nếu bề mặt lỗi có độ cong lớn dọc theo một chiều trọng số thì đạo hàm của bề mặt lỗi theo trọng số đang xét có trị số lớn, và như vậy các điều chỉnh áp dụng cho trọng số này cũng lớn. Điều này làm cho thuật toán có khả năng vượt quá điểm cực tiểu cần đi tới.
Chiều của vector gradient âm có thể chỉ theo hướng đi xa khỏi cực tiểu của mặt phẳng lỗi, và như vậy thì các điều chỉnh trọng số có xu hướng làm cho thuật toán đi sai hướng.
Theo một số nghiên cứu thực nghiệm, tốc độ hội tụ cục bộ của thuật toán back-propagation có tính chất tuyến tính, và có thể chính đó là nguồn gốc của các nguyên nhân gây ra sự chậm trễ của thuật toán. Gợi ý này đưa chúng ta đến một quan điểm như sau: Có thể các phương pháp tính toán với tốc độ hội tụ bậc cao hơn (có tính phi tuyến cao) sẽ cho phép hội tụ nhanh hơn nhưng yêu cầu nhiều nỗ lực tính toán hơn.
1.2.7 Hội tụ nhanh cho quá trình học Back-propagation
Như đã bàn tới trong phần trước, thuật toán back-propagation không được coi là phương pháp học cho ta khả năng hội tụ nhanh chóng. Trong phần này, chúng ta sẽ đề cập tới một số kinh nghiệm có khả năng mang lại cho chúng ta những chỉ dẫn hữu ích trong việc làm thế nào để tăng tốc sự hội tụ của thuật toán back-propagation thông qua việc thích nghi tham số tốc độ học.
Kinh nghiệm thứ nhất
Mọi tham số mạng có thể điều chỉnh được của hàm giá nên có tham số tốc độ học riêng biệt.
ở đây, chúng ta chú ý rằng thuật toán back-propagation hội tụ chậm có thể là do việc sử dụng cùng một tham số tốc độ học. Tham số cố định này có khả năng không phù hợp được với tất cả các vị trí của bề mặt lỗi. Nói cách khác, một tham số tốc độ học thích hợp cho việc điều chỉnh một trọng số synapse không nhất thiết là thích hợp cho việc điều chỉnh các trọng số khác trong mạng. Kinh nghiệm thứ nhất khuyến cáo sử dụng các tham số tốc độ học khác nhau cho các trọng số synapse khác nhau trong mạng.
Kinh ngiệm thứ hai
Mọi tham số tốc độ học nên được phép thay đổi sau mỗi vòng lặp.
Bề mặt lỗi thường có đặc tính khác nhau trong những vùng khác nhau khi ta xét dọc theo một chiều trọng số nhất định. Chính vì sự biến thiên này mà kinh nghiệm thứ hai khuyến cáo rằng tham số tốc độ học cũng nên biến thiên từ vòng lặp nằy sang vòng lặp khác. Điều thú vị là kinh nghiệm này được hình thành từ những nghiên cứu về các đơn vị xử lý tuyến tính.
Kinh ngiệm thứ ba
Khi đạo hàm của hàm giá theo một trọng số synapse có cùng một dấu đại số với trong một số vòng lặp kế tiếp nhau của thuật toán, tham số tốc độ học cho trọng số synapse này nên được tăng lên.
Điểm biểu diễn trạng thái hiện thời trong không gian trọng số có thể nằm trên một vùng bằng phẳng của bề mặt lỗi dọc theo một chiều trọng số xác định. Điều này thể hiện bằng việc giữ nguyên dấu của đạo hàm hàm giá (gradient của bề mặt lỗi) theo trọng số synapse đó; và như vậy là vector gradient có cùng một chiều trong một số vòng lặp kế tiếp nhau của thuật toán. Kinh nghiệm thứ ba khuyến cáo rằng trong trường hợp như vậy, số lượng các vòng lặp cần để đi qua vùng bằng phẳng này có thể được giảm bớt bằng cách tăng tham số tốc độ học một cách phù hợp.
Kinh nghiệm thứ tư
Khi dấu đại số của đạo hàm hàm giá theo một trọng số xác định là liên tục thay đổi trong một số vòng lặp của thuật toán, tham số tốc độ học cho trọng số nên được giảm xuống.
Khi điểm biểu diễn trạng thái hiện thời trong không gian trọng số nằm trên một vùng của bề mặt lỗi dọc theo một chiều trọng số xác định mà có nhiều chỗ lồi lõm. Như vậy có nghĩa là đạo hàm hàm giá theo trọng số đó có khả năng liên tục thay đổi dấu trong một số vòng lặp kế tiếp . Để tránh không để việc điều chỉnh trọng số bị giao động quá nhiều, kinh nghiệm thứ tư khuyến cáo rằng tham số tốc độ học cho các trọng số như vậy nên được giảm đi một cách phù hợp.
Đánh giá
o thời gian có hạn mà chỉ có hai người nên chúng em chỉ tìm hiểu được một phần nhỏ về kiến thức chung của mạng Nơ Ron đó là các khái niệm và các kiến thức cơ bản về mạng nơ ron và các phương pháp học cho mạng nơ ron Không tránh khỏi các sai sót trong quá trình phân tích đánh giá là điều chúng em luôn nghĩ ,chúng em mong nhận được sự nhận xét và cho các ý kiến từ thầy chúng em xin trân thành Thank thầy.
Sinh viên:Nguyễn Hoàng Tú –Nguyễn Trọng Đông.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
You must be registered for see links