Токен
Токен — об'єкт, що утворюється із лексеми в процесі лексичного аналізу.
У прикладному програмуванні поняття токену та його лексема можуть не розрізнятися.
Шаблон токена — формальний опис класу лексем, які можуть утворити даний тип токена.
| тип токена | приклади лексем | опис |
|---|---|---|
| string | "Мова \"C\"" | рядкова стала |
| id | Name01 | ідентифікатор |
| relop | >= | операції відношення |
| num | 13 | число |
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.