Hlavnou nevýhodou implementácie fyzických tokenov pre bezpečnosť je strata alebo krádež . Ak je fyzický token stratený, ukradnutý alebo poškodený, bezpečnosť, ktorú poskytuje, je okamžite ohrozená. Na rozdiel od niečoho ako heslo, ktoré je možné zmeniť, stratený fyzický token často vyžaduje zdĺhavý a potenciálne nepohodlný proces výmeny. Vďaka tomu je užívateľ zraniteľným, kým sa nevydá náhrada.