Niektoré pamäť vyrovnávacej pamäte sú
na CPU samotné . V závislosti od architektúry CPU sa to označuje ako L1, L2 a niekedy dokonca aj vyrovnávacia pamäť L3. Čím bližšie je vyrovnávacia pamäť k jadru CPU (L1 je najbližšie), tým rýchlejšie má prístup.