Máy phân tích từ vựng hoạt động như thế nào?

2024 Tác giả: Edward Hancock | [email protected]. Sửa đổi lần cuối: 2023-12-16 01:37

Phân tích từ vựng là giai đoạn đầu tiên của trình biên dịch. Các máy phân tích từ vựng ngắt các cú pháp này thành một loạt các mã thông báo, bằng cách loại bỏ bất kỳ khoảng trắng hoặc chú thích nào trong mã nguồn. Nếu máy phân tích từ vựng tìm thấy một mã thông báo không hợp lệ, nó tạo ra một lỗi. Các máy phân tích từ vựng hoạt động chặt chẽ với cú pháp máy phân tích.

Tương ứng, một máy phân tích từ vựng làm gì?

Lexer, còn được gọi là lexical analyzer hoặc tokenizer, là một chương trình phá vỡ đầu vào mã nguồn thành một chuỗi lexemes. Nó đọc đầu vào ký tự mã nguồn theo từng ký tự, nhận dạng các lexemes và xuất ra một chuỗi các mã thông báo mô tả các lexemes.

Tương tự, sự khác biệt giữa trình phân tích từ vựng và cú pháp là gì? Chính sự khác biệt giữa phân tích từ vựng và phân tích cú pháp đó là Phân tích từ vựng đọc mã nguồn một ký tự tại một thời điểm và chuyển đổi nó thành các lexemes (mã thông báo) có ý nghĩa trong khi phân tích cú pháp lấy các mã thông báo đó và tạo ra một cây phân tích cú pháp làm đầu ra.

Sau đó, câu hỏi đặt ra là đầu ra của máy phân tích từ vựng là gì?

(I) Cái đầu ra của một máy phân tích từ vựng là mã thông báo. (II) Tổng số mã thông báo trong printf ("i =% d, & i =% x", i, & i); là 10. (III) Bảng biểu tượng có thể được thực hiện bằng cách sử dụng mảng, bảng băm, cây và danh sách liên kết.

Lexer hoạt động như thế nào?

Các lexer chỉ cần biến chuỗi vô nghĩa thành một danh sách phẳng những thứ như "ký tự số", "ký tự chuỗi", "mã định danh" hoặc "toán tử" và có thể làm những thứ như nhận dạng số nhận dạng dành riêng ("từ khóa") và loại bỏ khoảng trắng. Về mặt hình thức, một lexer nhận dạng một số ngôn ngữ thông thường.