Ako odstrániť duplicitné riadky v Unixu

Unix shell prostredie je určený pre čítanie a manipuláciu s textovými súbormi ( okrem iných úloh ) . Konfiguračné súbory , skripty a zdrojové kódy sú jednoduché textové súbory , ktoré je možné čítať v ľubovoľnom textovom editore . Z tohto dôvodu , sú príkazy pre úlohy , ako je kombinovanie súborov , odstránenie riadkov a stĺpcov a vyhľadávanie informácií . Tým , že kombinuje príkazy shellu s skriptovacích jazykov " awk " a " sed " , môžete vykonať veľké editačné úlohy na úrovni , vrátane odstránenia duplicitných riadkov z jedného alebo viacerých textových súborov , z príkazového riadku , aby bolo nutné otvárať textového editora . Veci , ktoré budete potrebovať
Unix
Zobraziť ďalšie inštrukcie
súboru môžu byť triedené podľa abecedy
1

Vytvorte zálohu súboru , s ktorým pracujete : cp dokumentu . txt document.txt.bkup
2

Zadajte príkaz : príkaz sort - u document.txtThis bude triediť súbor a odstráňte všetky duplicitné riadky
3

. odstrániť prázdne riadky pomocou príkazu : uniq Document.txt
súbor nemôže byť zoradené podľa abecedy
4

Vytvorte záložný súbor : cp Document.txt document.txt.bkup
5

spustite nasledujúci príkaz awk : awk ' ! ( $ 0 v ) { [ $ 0 ] ; } print " Document.txt > unique.txtYour jedinečné položky sú uvedené v súbore s názvom unique.txt
6

Premenujte textový súbor s unikátnym lines.cp unique.txt document.txtThis dáva jedinečné položky späť do pôvodného súboru .
Combine Two súbory a nájsť duplicitné riadky
7

Vytvorte záložný súbor : cp Document.txt document.txt.bkup
8

vydať príkaz : cat Doc1.txt doc2 . txt > combine.txtThis príkaz kombinuje Doc1.txt a doc2.txt do súboru combine.txt
9

Odstráňte duplicitné lines.Use buď triedenie a uniq príkazov alebo príkaz awk je uvedené vyššie .

• Predchádzajúca strana: Ako zmeniť užívateľa v Unixe 
• Ďalšia strana: Ako nájsť súbory v Unixe