Chia sẻ miễn phí cho các bạn tài liệu: Đề tài nghiên cứu: Phân tích từ vựng của ngôn ngữ lập trình.
2
Trong ngành khoa học máy tính, phân tích từ vựng (en:Lexical Analysis, còn được gọi là scanning hoặc lexing) là một quá trình chuyển đổi chuỗi ký tự nguồn thành một chuỗi liên tiếp các đoạn ký tự ngắn hơn đã được phân loại, gọi là tokens. Chương trình dùng để phân tích từ vựng được gọi là bộ phân tích từ vựng (tiếng Anh là Lexer).
Token: Một token là một tập hợp các xâu kí tự có một nghĩa xác định, ví dụ identifier token là tập hợp tất cả các identifier. Token chính là các kí hiệu kết thúc (terminal) trong định nghĩa văn phạm của một ngôn ngữ, ví dụ: Các từ khoá, định danh, toán tử, hằng, xâu kí tự, dấu ngoặc đơn, dấu phẩy, dấu chấm phẩy...
Tokens tương tự như loại từ trong ngôn ngữ học. Tương tự như danh từ hay tính từ, động từ, tokens sẽ được định nghĩa gồm từ khóa (keyword), định danh (identifier), số nguyên, số chấm động tùy theo đặc điểm của trình biên dịch.
Để biểu diễn các tokens, người ta dùng biểu thức chính quy.
a : có xuất hiện ký tự 'a'ab : có xuất hiện ký tự 'b' theo sau ký tự 'a' (theo đúng thứ tự)a|b : có 'a' hoặc có 'b'a* : xuất hiện nhiều hoặc không xuất hiện ký tự 'a'a+ : xuất hiện nhiều hoặc ít nhất là một ký tự 'a'a3 : xuất hiện 3 ký tự aa? : xuất hiện a hoặc không xuất hiện
• Phân tích từ vựng giúp cho các giai đoạn biên dịch tiếp theo dễ dàng
hơn, ví dụ: Giai đoạn phân tích cú pháp không phải quan tâm đến các khoảng trắng cũng như các lời chú trích vì nó đã được loại bỏ khi khi phân tích từ vựng
• Giảm đáng kể thời gian đọc chương trình nguồn và nhóm thành các
token nhờ một số chương trình xử lí chuyên dụng
I.
Bảng chữ,phân tích từ vựng của ngôn ngữ Pascal
1. Bảng chữ
1.1. Bộ ký tự
Trong ngành khoa học máy tính, phân tích từ vựng (en:Lexical Analysis, còn được gọi là scanning hay lexing) là một quá trình chuyển đổi chuỗi ký tự nguồn thành
Dành riêng cho anh em Ketnooi, bác nào cần download miễn phí bản đầy đủ thì trả lời topic này, Nhóm Mods sẽ gửi tài liệu cho bạn qua hòm tin nhắn nhé.
- Bạn nào có tài liệu gì hay thì up lên đây chia sẻ cùng anh em.
- Ai cần tài liệu gì mà không tìm thấy ở forum, thì đăng yêu cầu down tại đây nhé:
Nhận download tài liệu miễn phí
2
Trong ngành khoa học máy tính, phân tích từ vựng (en:Lexical Analysis, còn được gọi là scanning hoặc lexing) là một quá trình chuyển đổi chuỗi ký tự nguồn thành một chuỗi liên tiếp các đoạn ký tự ngắn hơn đã được phân loại, gọi là tokens. Chương trình dùng để phân tích từ vựng được gọi là bộ phân tích từ vựng (tiếng Anh là Lexer).
Token: Một token là một tập hợp các xâu kí tự có một nghĩa xác định, ví dụ identifier token là tập hợp tất cả các identifier. Token chính là các kí hiệu kết thúc (terminal) trong định nghĩa văn phạm của một ngôn ngữ, ví dụ: Các từ khoá, định danh, toán tử, hằng, xâu kí tự, dấu ngoặc đơn, dấu phẩy, dấu chấm phẩy...
Tokens tương tự như loại từ trong ngôn ngữ học. Tương tự như danh từ hay tính từ, động từ, tokens sẽ được định nghĩa gồm từ khóa (keyword), định danh (identifier), số nguyên, số chấm động tùy theo đặc điểm của trình biên dịch.
Để biểu diễn các tokens, người ta dùng biểu thức chính quy.
a : có xuất hiện ký tự 'a'ab : có xuất hiện ký tự 'b' theo sau ký tự 'a' (theo đúng thứ tự)a|b : có 'a' hoặc có 'b'a* : xuất hiện nhiều hoặc không xuất hiện ký tự 'a'a+ : xuất hiện nhiều hoặc ít nhất là một ký tự 'a'a3 : xuất hiện 3 ký tự aa? : xuất hiện a hoặc không xuất hiện
• Phân tích từ vựng giúp cho các giai đoạn biên dịch tiếp theo dễ dàng
hơn, ví dụ: Giai đoạn phân tích cú pháp không phải quan tâm đến các khoảng trắng cũng như các lời chú trích vì nó đã được loại bỏ khi khi phân tích từ vựng
• Giảm đáng kể thời gian đọc chương trình nguồn và nhóm thành các
token nhờ một số chương trình xử lí chuyên dụng
I.
Bảng chữ,phân tích từ vựng của ngôn ngữ Pascal
1. Bảng chữ
1.1. Bộ ký tự
Trong ngành khoa học máy tính, phân tích từ vựng (en:Lexical Analysis, còn được gọi là scanning hay lexing) là một quá trình chuyển đổi chuỗi ký tự nguồn thành
Dành riêng cho anh em Ketnooi, bác nào cần download miễn phí bản đầy đủ thì trả lời topic này, Nhóm Mods sẽ gửi tài liệu cho bạn qua hòm tin nhắn nhé.
- Bạn nào có tài liệu gì hay thì up lên đây chia sẻ cùng anh em.
- Ai cần tài liệu gì mà không tìm thấy ở forum, thì đăng yêu cầu down tại đây nhé:
Nhận download tài liệu miễn phí