Hoe beheer je de AWK-opdracht om teksten onder Linux te verwerken?

De AWK-opdracht is een krachtig en veelzijdig hulpmiddel voor het verwerken en transformeren van tekstgegevens in Linux. Of u nu informatie extraheert, rijen filtert, uitvoer opnieuw formatteert of berekeningen uitvoert, AWK kan uw leven gemakkelijker maken met slechts een paar regels code. In dit artikel leert u hoe u de AWK-opdracht kunt gebruiken voor tekstmanipulatie in Linux.

Wat is het AWK-commando?

De AWK-opdracht is een geïnterpreteerde programmeertaal die wordt uitgevoerd in de Linux-terminal. De naam komt van de initialen van de makers: Alfred Aho, Peter Weinberger en Brian Kernighan. AWK is oorspronkelijk ontworpen om bestanden te verwerken die zijn gestructureerd in velden, gescheiden door scheidingstekens, zoals CSV-bestanden of /etc/passwd-bestanden. Maar AWK kan ook overweg met complexere tekstbestanden, zoals HTML- of XML-bestanden. AWK is geen objectgeoriënteerde programmeertaal , maar u kunt er wel lokale of globale functies en variabelen mee definiëren. Het heeft ook controlestructuren zoals lussen en voorwaarden.

De algemene syntaxis van de AWK-opdracht is als volgt:

awk [opties] 'programma' [bestanden]

Het programma bestaat uit een reeks instructies die patronen definiëren waarnaar moet worden gezocht in elke regel van het bestand en acties die moeten worden uitgevoerd wanneer een patroon wordt gevonden. de opties kunt u het gedrag van de AWK-opdracht wijzigen, zoals de keuze van het veldscheidingsteken of het uitvoerformaat.

Hoe tekst afdrukken met de AWK-opdracht?

Het AWK-commando kan worden gebruikt om een ​​bericht naar de terminal af te drukken op basis van een patroon in de tekst. Als u de AWK-opdracht zonder enige reden en alleen met een afdrukopdracht uitvoert, drukt AWK het bericht af elke keer dat u op Enter drukt.

Als u bijvoorbeeld typt:

awk '{print "Hallo"}'

En als je meerdere keren op Enter drukt, krijg je:

Goedemorgen, goedemorgen, goedemorgen

Om de AWK-opdracht te stoppen, kunt u op Ctrl+C drukken.

BEGIN gebruiken , dat wordt uitgevoerd voordat het bestand wordt gelezen, en het END , dat wordt uitgevoerd nadat het bestand is gelezen. Als u bijvoorbeeld een bestand met de naam test.txt dat het volgende bevat:

Dit is een test. AWK is een geweldig hulpmiddel. Linux is het beste besturingssysteem

U kunt de inhoud van het bestand afdrukken met de volgende opdracht:

awk 'BEGIN {print "Hier is de inhoud van het test.txt-bestand:"} {print} END {print "Einde van bestand"}' test.txt

Welke geven:

Hier is de inhoud van het test.txt-bestand: Dit is een test AWK is een geweldig hulpmiddel Linux is het beste besturingssysteem Einde van het bestand

commando {print} zonder argumenten wordt de hele regel afgedrukt. U kunt ook een specifiek veld afdrukken met de $n , waarbij n het veldnummer is. Standaard worden velden gescheiden door spaties of tabs, maar u kunt het scheidingsteken wijzigen met de -F .

Als u bijvoorbeeld de eerste en derde velden van het /etc/passwd , gescheiden door een dubbele punt ( :) , kunt u de volgende opdracht gebruiken:

awk -F: '{print $1 " " $3}' /etc/passwd

Wat zoiets oplevert als:

root 0 daemon 1 bin 2 sys 3 sync 4 games 5 man 6 lp 7 mail 8 nieuws 9 uucp 10 proxy 13 www-data 33 ...

Met de opdracht AWK kunt u ook rekenkundige uitdrukkingen of tekenreeksen afdrukken. test.txt- wilt afdrukken , kunt u de volgende opdracht gebruiken:

awk '{print $2^2}' test.txt

Welke geven:

is 16 u

Als u het aantal regels in het test.txt- , kunt u de speciale variabele NR , die het nummer van de huidige regel bevat. U kunt bijvoorbeeld de volgende opdracht gebruiken:

awk 'END {print NR}' test.txt

Welke geven:

3

Hoe tekst filteren met de AWK-opdracht?

Het AWK-commando kan worden gebruikt om tekst te filteren op basis van patronen of voorwaarden. Als u vóór een actie een patroon opgeeft, voert AWK de actie alleen uit als het patroon in de rij wordt gevonden. Het patroon kan een reguliere expressie, een vergelijking, een logische bewerking of een combinatie hiervan zijn.

Als u bijvoorbeeld regels uit het test.txt- die het woord Linux , kunt u de volgende opdracht gebruiken:

awk '/Linux/ {print}' test.txt

Welke geven:

Linux is het beste besturingssysteem

/etc/passwd- wilt afdrukken die een UID groter dan 1000 hebben, kunt u de volgende opdracht gebruiken:

awk -F: '$3 > 1000 {print}' /etc/passwd

Wat zoiets oplevert als:

systemd-coredump:x:997:997:systemd Core Dumper:/:/usr/sbin/nologin tss:x:131:142:TPM-softwarestack,,,:/var/lib/tpm:/bin/false _rpc: x:132:65534::/run/rpcbind:/usr/sbin/nologin statd:x:133:65534::/var/lib/nfs:/usr/sbin/nologin libvirt-qemu:x:64055:139: Libvirt Qemu,,,:/var/lib/libvirt:/usr/sbin/nologin libvirt-dnsmasq:x:134:144:Libvirt Dnsmasq,,,:/var/lib/libvirt/dnsmasq:/usr/sbin/nologin snapd-range-524288-root:x:524288:524288::/nonexistent:/bin/false snap_daemon:x:584788:584788::/nonexistent:/bin/false ...

U kunt ook de logische operatoren && (en), || (of) en ! (nee) om patronen te combineren. Als u bijvoorbeeld regels uit het /etc/passwd- die een UID groter dan 1000 hebben en een andere shell dan /usr/sbin/nologin , kunt u de volgende opdracht gebruiken:

awk -F: '$3 > 1000 && $7 != "/usr/sbin/nologin" {print}' /etc/passwd

Kopiëren

Wat zoiets oplevert als:

tss:x:131:142:TPM-softwarestack,,,:/var/lib/tpm:/bin/false _rpc:x:132:65534::/run/rpcbind:/usr/sbin/nologin statd:x: 133:65534::/var/lib/nfs:/usr/sbin/nologin libvirt-qemu:x:64055:139:Libvirt Qemu,,,:/var/lib/libvirt:/usr/sbin/nologin libvirt-dnsmasq :x:134:144:Libvirt Dnsmasq,,,:/var/lib/libvirt/dnsmasq:/usr/sbin/nologin snapd-range-524288-root:x:524288:524288::/nonexistent:/bin/false snap_daemon:x:584788:584788::/nonexistent:/bin/false ...

Hoe tekst bewerken met de AWK-opdracht?

Het AWK-commando kan worden gebruikt om tekst te wijzigen met behulp van ingebouwde functies of speciale variabelen. Als u bijvoorbeeld spaties in het test.txt , kunt u de gsub , die alle exemplaren van de ene tekenreeks door een andere vervangt. U kunt ook de speciale OFS- , die het uitvoerveldscheidingsteken definieert. U kunt bijvoorbeeld de volgende opdracht gebruiken:

awk '{print strftime("%d/%m/%Y %H:%M:%S",$1 " " $2)}' test.txt

Welke geven:

30/10/2021 16:13:49
31/10/2021 17:14:50
01/11/2021 18:15:51

U kunt de AWK-opdrachthandleiding raadplegen voor andere beschikbare functies en variabelen.

Hoe gebruik je een for-lus met het AWK-commando?

De opdracht AWK kan worden gebruikt om lussen uit te voeren over velden of regels in een bestand. De syntaxis van de for-lus is als volgt:

voor (variabele in array) actie

Waar variabele de naam is van de variabele die achtereenvolgens de waarden uit de array , en actie de actie is die in elke iteratie moet worden uitgevoerd.

Als u bijvoorbeeld de velden van een bestand in omgekeerde volgorde wilt afdrukken, kunt u de for-lus gebruiken met de speciale variabele NF , die het aantal velden op de huidige regel bevat. Als u bijvoorbeeld een test.txt- dat het volgende bevat:

Dit is een test. AWK is een geweldig hulpmiddel. Linux is het beste besturingssysteem

U kunt de volgorde van de velden omkeren met het volgende commando:

awk '{for (i=NF; i>0; i--) print $i}' test.txt

Welke geven:

test één is Deze geweldige tool, één is het AWK-besturingssysteem, het beste is Linux

U kunt ook de for-lus gebruiken om door de regels van een bestand te itereren met de speciale FNR- , die het regelnummer bevat dat betrekking heeft op het huidige bestand. Als u bijvoorbeeld de even regelnummers van het test.txt , kunt u de volgende opdracht gebruiken:

awk 'FNR%2==0 {print FNR}' test.txt

Welke geven:

2
4

Hoe voer ik een AWK-script uit?

extensie .awk en het uitvoeringsrechten geven met de chmod +x . Vervolgens kunt u het script uitvoeren met de opdracht ./script_name.awk [files] .

Als u bijvoorbeeld een script heeft met de naam hello.awk dat het volgende bevat:

#!/usr/bin/awk -f BEGIN {print "Hallo"}

U kunt het script uitvoeren met de volgende opdracht:

./hallo.awk

Welke geven:

Hallo

Hoe geef ik argumenten door aan een AWK-script?

Om argumenten door te geven aan een AWK-script, kunt u twee methoden gebruiken:

• De eerste methode is om de -v met het variabele=waarde . Als u bijvoorbeeld twee argumenten met de namen var1 en var2 aan uw hello.awk- , kunt u de volgende opdracht gebruiken:

awk -v var1=hallo -v var2=wereld -f hallo.awk 

En in je hello.awk- heb je toegang tot de argumenten met variabelen $var1 en $var2 . Als uw script bijvoorbeeld het volgende bevat:

#!/usr/bin/awk -f BEGIN {print $var1 " " $var2}

Je verkrijgt:

Bonjour Mondé

• De tweede methode is het gebruik van de speciale ARGV- , die de argumenten bevat die aan het script zijn doorgegeven. hello.awk wilt doorgeven , kunt u de volgende opdracht gebruiken:

awk -f hallo.awk hallo wereld 

En in je hello.awk ARGV[1] en ARGV[2] indices . Als uw script bijvoorbeeld het volgende bevat:

#!/usr/bin/awk -f BEGIN {print ARGV[1] " " ARGV[2]}

Je verkrijgt:

Bonjour Mondé

Veelgestelde vragen

awk -F: '{print $1, $3}' /etc/passwd | sorteer -n -k2 

Dit is een test. AWK is een geweldig hulpmiddel. Linux is het beste besturingssysteem

awk '{for (i=1; i<=NF; i++) totaal++} END {printtotaal}' test.txt

9

naam, voornaam, leeftijd Alice, Dupont, 25 Bob, Martin, 32 Charles, Durand, 28

awk -F"," '{print $1 " " $3}' test.csv

naam leeftijd Alice 25 Bob 32 Charles 28

awk -F"," '/Alice/ {print}' test.csv

Alice, Dupont, 25

awk -F"," '$3 > 30 {print}' test.csv

Bob,Martin,32

awk -F"," '($1 ~ /^C/) || ($3 < 10) {print}' test.csv 

CAMILLE,M,7 CLARA,F,11 CLEMENT,M,7

awk -F"," 'NR>1 {som+=$3; count++} END {print "Som: " som; print 'Gemiddelde: 'som/aantal}' test.csv 

Som: 110 Gemiddeld: 18,3333

awk -F"," 'NR>1 {if (min=="") min=max=$3; als ($3 max) max=$3} END {print "Min: " min; print 'Max: 'max}' test.csv 

Min: 6 Max: 32

Conclusie

Het AWK-commando is een essentieel hulpmiddel voor het manipuleren van teksten onder Linux. Hiermee kunt u complexe taken uitvoeren in een paar regels code, zoals het extraheren, filteren, wijzigen of berekenen van gegevens. Het biedt grote flexibiliteit dankzij de patronen, acties, functies en variabelen. Het kan worden gecombineerd met andere Linux-opdrachten om de mogelijkheden ervan uit te breiden. U kunt bijvoorbeeld de opdracht Echo op Windows om een ​​bericht of variabele op het scherm weer te geven. Als u meer wilt weten over het AWK-commando, kunt u de handleiding of de vele tutorials raadplegen die op internet beschikbaar zijn.