Čo je token v počítačovom programovaní?

Token v počítačovom programovaní je sekvencia znakov, ktorú kompilátor alebo interpret rozpoznáva ako jednu logickú entitu. Tokeny sa používajú na reprezentáciu kľúčových slov, identifikátorov, operátorov a iných lexikálnych prvkov programovacieho jazyka.

Napríklad v programovacom jazyku C sú všetky tokeny nasledovné:

* „int“ (kľúčové slovo)

* "hlavný" (identifikátor)

* `=` (operátor)

* `;` (terminátor)

Tokeny sú zvyčajne identifikované lexikálnym analyzátorom, ktorý je prvou fázou kompilátora alebo tlmočníka. Lexikálny analyzátor prečíta zdrojový kód a rozdelí ho na sériu tokenov. Tokeny sa potom odovzdajú analyzátoru, ktorý ich použije na zostavenie stromu analýzy programu.

Proces tokenizácie je nevyhnutný pre správnu analýzu a vykonávanie programu. Ak lexikálny analyzátor správne neidentifikuje tokeny, kompilátor alebo interpret môže generovať nesprávne alebo neočakávané výsledky.

Tu je niekoľko ďalších príkladov tokenov v rôznych programovacích jazykoch:

* JavaScript:`var`, `funkcia`, `+`, `-`, `()`, `{}`

* Python:`def`, `trieda`, `if`, `else`, `for`, `in`

* Java:`public`, `static`, `void`, `int`, `String`, `.`

Tokeny sú základnou súčasťou počítačového programovania a zohrávajú dôležitú úlohu pri kompilácii a vykonávaní programov.

• Predchádzajúca strana: Čo je príkaz emerge v Linuxe? 
• Ďalšia strana: Ako vyzerá absolútny názov cesty v systéme Linux?