====== SED i AWK ======
{{:pl:dydaktyka:unix:evolution_of_language.gif?400|}}
===== Do przygotowania =====
* Przypomnieć sobie pracę z jednym z wybranych edytorów (np. vi, emacs, itp).
* Powtórzyć zasady pisania filtrów i skryptów powłoki sh.
* Przypomnieć sobie funkcję manipulujące łańcuchami znaków w języku C.
* Przeczytać następujące artykuły:
* Artykuł o //sed//: [[http://gentoo-handbook.lugons.org/doc/pl/articles/l-sed1.xml|część 1]], [[http://gentoo-handbook.lugons.org/doc/pl/articles/l-sed2.xml|część 2]], [[http://gentoo-handbook.lugons.org/doc/pl/articles/l-sed3.xml|część 3]] (mirror: {{:pl:dydaktyka:unix:sed1.pdf|}}, {{:pl:dydaktyka:unix:sed2.pdf|}}, {{:pl:dydaktyka:unix:sed3.pdf|}})
* Artykuł o //awk//: [[http://gentoo-handbook.lugons.org/doc/pl/articles/l-awk1.xml|część 1]], [[http://gentoo-handbook.lugons.org/doc/pl/articles/l-awk2.xml|część 2]], [[http://gentoo-handbook.lugons.org/doc/pl/articles/l-awk3.xml|część 3]] (mirror: {{:pl:dydaktyka:unix:awk1.pdf|}}, {{:pl:dydaktyka:unix:awk2.pdf|}}, {{:pl:dydaktyka:unix:awk3.pdf|}})
* Wersja angielska:
* Artykuł o //sed//: [[https://www.ibm.com/developerworks/linux/library/l-sed1/index.html|część 1]], [[https://www.ibm.com/developerworks/linux/library/l-sed2/index.html|część 2]], [[https://www.ibm.com/developerworks/linux/library/l-sed3/index.html|część 3]].
* Artykuł o //awk//: [[https://www.ibm.com/developerworks/linux/library/l-awk1/index.html|część 1]], [[https://www.ibm.com/developerworks/linux/library/l-awk2/index.html|część 2]], [[https://www.ibm.com/developerworks/linux/library/l-awk3/index.html|część 3]].
* Ciekawym miejscem do ćwiczenia znajomości wyrażeń regularnych jest [[https://regexcrossword.com/|Regex Crossword]] :-)
===== Wprowadzenie =====
* sed i awk są narzędziami strumieniowego przetwarzania tekstu.
* Ich główną zaletą jest możliwość czytania ze standardowego wejścia i wyświetlanie rezultatów na standardowym wyjściu (dlaczego jest to zaleta?).
* Dane mogą być wczytywane również z pliku.
* Podczas pracy nie modyfikują żadnych plików.
* Posiadają szereg instrukcji manipulujących łańcuchami znaków (wstawianie, zastępowanie, itp).
* Instrukcje mogą być podawane z linii komend (w przypadku małych ilości poleceń) lub czytane z pliku (co zwiększa czytelność w przypadku dużej ilości poleceń).
* Obsługują wyrażenia regularne!!!
===== Wyrażenia regularne =====
* ang. //regular expressions//, w skrócie //regex// lub //regexp//
* Są **wzorcami** opisującymi łańcuchy znaków.
* Umożliwiają odnalezienie określonej regularności w danej sekwencji znaków.
===== Definiowanie wyrażeń regularnych =====
* Wyrażenia regularne składają się dwóch podstawowych zestawów znaków:
* Znaki kontrolne: ''. ? * + ^ | $ () [] {} \''
* Zwykłe znaki: pozostałe
* Kolejność znaków w wyrażeniu jest **istotna**.
* Wielkość liter w wyrażeniu jest także **istotna**.
* Wyrażenie **g** opisuje wszystkie łańcuchy znaków zawierające literę **g** np. //**g**itara// (ale nie //Gitara//), //za**g**adka//, //lo**g**//.
* Wyrażenie **ba** opisuje wszystkie łańcuchy znaków zawierające podciąg **ba** np. //**ba**ca//, //za**ba**wa//, //ża**ba**//.
* Kropka **.** określa dowolny znak oprócz znaku końca wiersza np. **a.c** pasuje do: //aac//, //abc//, ale nie pasuje do //ac//.
* Nawias kwadratowy pozwala na określenie listy, zakresu znaków np. a[abc]c pasuje do napisów zawierających podciągi: //aac//, //abc//, //acc// - czyli pomiędzy znakami **a** i **c** może wystąpić tylko i wyłącznie jeden znak z podanych w nawiasie. **Uwaga**, należy zauważyć że powyższe wyrażenie pasuje również do: //aabc//, //acccc//, itp. Powyższe wyrażenie jest równoznaczne z **a[a-c]c** poprzez zdefiniowane zakresu za pomocą **-** myślnika. Istnieje także możliwość listowania zakresów: **[a-z0-9]** - oznacza dowolną małą literę od **a** do **z** lub dowolną cyfrę.
* Negacja zakresu ^. Znak ^ umieszczony jako pierwszy wewnątrz nawiasu kwadratowego oznacza jego negację np. **[^a-c]** oznacza wszystkie znaki oprócz **a**, **b**, **c**.
* Znak ^ ma także drugie znaczenie (żeby nie było tak prosto ^_^). Oznacza początek łańcucha znaków, czyli **^ab** określa wszystkie łańcuchy znaków rozpoczynające się od **ab** np. //**ab**akus//, natomiast nie pasuje do np: //żaba//.
* Podobne znaczenie do ^ ma znak **$** oznaczający koniec łańcucha znaków.
* Okrągłe nawiasy () służą do grupowania części wyrażeń (wykorzystywane do np. określania liczby powtórzeń danego wzorca).
* Powtórzenia: liczba powtórzeń określa ilość wystąpienia danego wzorca w badanym łańcuchu znaków. Liczbę powtórzeń możemy zdefiniować w następujący sposób:
* Gwiazdka * - zero lub więcej wystąpień poprzedzającego ją znaku np: **a*** pasuje do //ab//, //aab//, //bab//, //baaab//, ale też do: //b//.
* Plus + - co najmniej jedno wystąpienie poprzedzającego znaku np: **a+** pasuje do //ab//, //aab//, //bab//, //baaab//, ale **nie** do: //b//.
* Znak zapytania ? po symbolu oznacza najwyżej jedno (być może zero) wystąpienie poprzedzającego wyrażenia.
* Nawias klamrowy {} pozwala na dokładne określenie minimalnej i maksymalnej liczby powtórzeń:
* {2,5} - minimalnie 2 a maksymalnie 5,
* {3} - dokładnie 3 razy,
* {5,} - co najmniej 5 razy,
* {,6} - co najwyżej 6 razy.
* Pionowa kreska (ang. pipeline) | to operator OR np. jeśli napiszemy a|b|c oznacza to, że w danym wyrażeniu może wystąpić a lub b lub c.
* Jeżeli chcemy użyć jednego ze znaków kontrolnych jako zwykłego to poprzedzamy go backslash-em **\** np: **^\$** definiuje wszystkie łańcuchy znaków rozpoczynające się od znaku dolara ''$''.
==== Przykłady ====
=== Kod pocztowy ===
Polski kod pocztowy składa się z pięciu cyfr i myślnika wstawionego po drugiej cyfrze. Przy pomocy wyrażeń regularnych wzorzec kodu pocztowego może być zdefiniowany następująco:
* **^[0-9][0-9]-[0-9][0-9][0-9]$**
* **^[0-9]{2}-[0-9]{3}$**
=== Liczby dużego lotka ===
W dużym lotku losowane są liczby od 1 do 49. Przy pomocy wyrażenia regularnego można sprawdzić czy dana liczba może być wylosowana w dużym lotku. Należy wyrażenia zdefiniować następująco:
* **^[1-4]?[0-9]{1}$**
* **^[1-4]{,1}[0-9]{1}$**
=== Adres MAC ===
Adres MAC jest 48-bitowym numerem karty sieciowej. Najczęściej zapisuje się go w postaci heksadecymalnej. Po każdych dwóch znakach może występować (ale nie musi) separator (najczęściej są to: dwukropek, myślnik, spacja). Przykładowy format adresu MAC to:
* 1F:34:C6:78:90:AB
* 1F-34-C6-78-90-ab
* 1f 34 c6 78 90 AB
* 1F34C67890AB
Wyrażenie regularne akceptujące powyższe zapisy może być zdefiniowane następująco:
- **[A-Fa-f0-9]{2}** - pierwsze dwa znaki (8 bitów bez separatora),
- **[-: ]?** - separatory występujące co najwyżej jeden raz,
- **[A-Fa-f0-9]{2}** - kolejne części adresu (ostatnie 40 bitów)
- Wyrażenie składające się z wyr. 2 i 3 trzeba powtórzyć 5 razy: **([-: ]?[A-Fa-f0-9]{2}){5}**
- Czyli całość może wyglądać następująco: **^[A-Fa-f0-9]{2}([-: ]?[A-Fa-f0-9]{2}){5}$**
===== SED =====
* ang. **S**tream **ED**itor - edytor strumieniowy.
* Pomimo swej prostoty umożliwia wykonanie złożonych operacji na łańcuchach znaków.
* Program przyjmuje polecenia do wykonania z pliku lub z wiersza poleceń (jak zdefinować instrukcje do wykonania z linii poleceń a jak z pliku? - manual).
* Program wczytuje dane wejściowe linia po linii i **dla każdej linii wykonuje wszystkie** instrukcje do wykonania!!!
===== AWK =====
* Nazwa pochodzi od pierwszych liter nazwisk jego autorów: //Alfreda V. **A**ho, Petera **W**einbergera i Briana **K**ernighana//
* Jest to program interpretujący język skryptowy, służący do przetwarzania wyrażeń regularnych.
* Składnia języka jest bardzo podobna do składni języka C.
* Program wczytuje dane wejściowe rekord po rekordzie i dla każdego rekordu wykonuje wszystkie polecenia.
===== Ćwiczenia =====
==== SED ====
Przeczytać manual do programu. Zwrócić uwagę na polecenia, ich składnię oraz sposób adresacji poleceń.
- Wyświetlić plik **/etc/passwd** przy pomocy //sed//.
- Zamienić separator - dwukropek - w pliku ''/etc/passwd'' na spację.
- Wyświetlić **tylko** loginy użytkowników zapisanych w pliku ''/etc/passwd''
- Wyświetlić 4, 7, 10 i 13 linię pliku ''/etc/passwd''
- Wyświetlić określone przedziałem (np. od 3. do 5. włącznie) linie pliku ''/etc/passwd''.
- Wyświetlić linie pliku ''/etc/passwd'' opisujące osoby mające login zaczynający się na 'z'.
- Wyświetlić linie pliku ''/etc/passwd'' opisujące osoby mające login zaczynający się na 'w' lub 'z'.
- Jak przy pomocy sed zaimitować polecenie ''grep -v''? np. dla frazy 'lo' (''grep -v lo /etc/networks'')
- Jak zamienić w pliku wszystkie słowa ''root'' na twój login (przetestuj na pliku ''/etc/aliases'')?
- Jak zamienić słowo 'root' na twój login w pliku, ale tylko w wierszach, w których występuje 'www'? A jak tam gdzie nie występuje?
- Jak usunąć z pliku puste linie?
- Jak zamienić przy pomocy sed wszystkie litery 'r' na 'k'?
- W jaki sposób zakodować szyfrem ROT13 plik przy pomocy sed (szyfr zamienia litery na występujące 13 liter dalej, np. a<->n, b<->o, itd.)?
- Przy pomocy polecenia sed zakomentuj linijkę link-local w pliku ''/etc/networks''.
- 8-o W jaki sposób przy użyciu sed wstawić kolumnę X po pierwszym znaku wiersza (dodatkowy znak X w każdym wierszu)? A jak po piątym?
- Jak przy pomocy sed powtórzyć 3 razy pierwsze dwie litery każdego wiersza w pliku?
- Wylistuj wszystkie wiersze pliku ''/etc/mime.types'' zaczynające się od ''video'' i wyświetl ich numer.
- Napisz polecenie sed imitujące polecenie ''cut -d: -f2''.
- W jaki sposób zmienić kolejność słów (np. w pliku ''/etc/aliases'')? \\ Jest: ''news: root'' \\ Zrób: ''root: news''
- 8-o Napisz polecenie sed imitujące ''cat -n''.
- 8-o Napisać **skrypt** programu //sed// który ustawi powłokę startową wszystkim użytkownikom grupy //is1// (folder domowy w katalogu //is1//) na ''/bin/tcsh''. Skrypt ma wydrukować całą zawartość zmienionego pliku na ekranie wraz z zaznaczeniem zmienionych linii - tak jak jest to przedstawione poniżej.
----------------------------
linia w której nastąpiła zmiana powłoki
----------------------------
- 8-o Napisać **skrypt** programu //sed// wyświetlający linię zawarte w pliku ''/etc/passwd'' w odwrotnej kolejności.
==== AWK ====
=== Ćwiczenia ===
- Przeczytać manual do programu zwrócić uwagę na:
* wbudowane zmienne,
* wbudowane funkcje,
* wbudowane instrukcje sterujące.
- Jak //awk// interpretuje spacje?
- Co określają następujące zmienne: ''FS'', ''RS'', ''NF'', ''NR'', ''OFS'', ''ORS''?
- Kiedy wykonywane są instrukcje zawarte w blokach ''BEGIN'' oraz ''END'' w przypadku kiedy zródło danych składa się z wielu plików?
- Zapisać dowolną stronę internetową (może być także ta) w formacie HTML. Wyświetlić jej zawartość przy pomocy polecenia //cat// a następnie przy pomocy programu //awk// usunąć wszystkie znaczniki HTML z treści. Rezultat należy wyświetlić na ekranie.
- Do powyższego zadania dopisać element filtru, który usunie wszystkie puste linie, oraz te które posiadają tylko białe znaki.
=== Zadania ===
\\
**8-) 8-) 8-) Zadanie1** \\
\\
Przeanalizować poniższy skrypt (plik **userlist**):
#!/bin/sh
who | awk '{print $1}' | sort | uniq | xargs -i"{}" grep -e "^{}:" /etc/passwd | awk -f awkuserlist
oraz plik **awkuserlist** (skrypt programu //awk//) który jest w nim wykorzystany:
BEGIN {
FS=":"
print "";
}
{
match($5, "^[^, ]*");
imie=substr($5, RSTART, RLENGTH);
match($5, " [^, ]*");
nazwisko=substr($5, RSTART+1, RLENGTH-1);
login=$1;
uid=$3;
gid=$4;
home=$6;
shell=$7;
print "";
print ""imie"";
print ""nazwisko"";
print ""login"";
print ""uid"";
print ""gid"";
print ""home"";
print ""shell"";
print "";
}
END {
print "";
}
* Jaki jest rezultat wykonania skryptu **userlist**
* Dopisać skrypt programu //awk// który przeanalizuje strumień wyjściowy skryptu **userlist** i przekształci go w następujący sposób:
* Format wejściowy:
wartosc1
wartosc2
wartosc3
wartosc4
* Format wyjściowy:
-------------------------------------------
dana1: wartosc1
dana2: wartosc2
dana3: wartosc3
dana4: wartosc4
-------------------------------------------
* Przykład:
* Dla wejścia:
Jan
Kowalski
jkowalski
1
1
/home/users/jkowalski
/bin/bash
Kraków
* Skrypt powinien wygenerować wyjście:
-------------------------------------------
imie: Jan
nazwisko: Kowalski
login: jkowalski
uid: 1
gid: 1
home: /home/users/jkowalski
shell: /bin/bash
miasto: Kraków
-------------------------------------------
\\
** 8-) 8-) 8-) Zadanie 2** \\
\\
**BibTeX** to narzędzie służące do formatowania bibliografii.
Operuje ono na danych zawartych w plikach o rozszerzeniu "bib"
zawierających dane bibliograficzne.
Przykład pliku: {{:pl:dydaktyka:unix:publikacje.bib.txt|}}.
Poszczególne wpisy bibliograficzne mają następującą postać:
@rodzaj{klucz,
author = {wartość},
title = {wartość},
year = wartość,
other = {wartość}
}
Zadanie polega na stworzeniu skryptu ''bash'',
który przy użyciu ''awk'' wybierze z pliku tylko te wpisy bibliograficzne,
które odpowiadają zapytaniu użytkownika.
Tzn. skrypt zapisany w pliku ''szukaj'' powinien obsługiwać
następujące opcje (-a, -t, -k):
* ''./szukaj -a Nalepa'' - wyszuka wszystkie publikacje autorstwa Nalepy (te wpisy bibtexowe, w których polu ''author'' występuje ''Nalepa''),
* ''./szukaj -t slowo'' - wyszuka wszystkie publikacje zawierające w tytule ciąg ''slowo'',
* ''./szukaj -k slowo'' - wyszuka wszystkie publikacje zawierające ciąg ''slowo'' w dowolnym polu.
\\
** 8-) 8-) 8-) Zadanie 3** \\
\\
Napisz skrypt programu awk który policzy i wyświetli średnią ocen dla każdego studenta.
Lista studentów oraz ocen jest zapisana w pliku, którego nazwę podajemy jako parametr uruchomienia programu awk (nazwa pliku nie może być zakodowana wewnątrz skryptu).
Format pliku zawierającego listę studentów oraz ocen jest następujący:
login_1:ocena_1,ocena_2,ocena_3
login_2:ocena_1,ocena_2,ocena_3,ocena_4
Należy przyjąć następujące założenia:
- ''login_n'' - jest loginem danego studenta.
- ''login_n'' - istnieje w pliku ''/etc/passwd''.
- Liczba studentów nie jest określona, definiuje ją tylko i wyłącznie liczba linii w pliku.
- Plik zawiera tylko linie w powyższym formacie - przyjmujemy jako aksjomat i nie weryfikujemy tej kwestii.
- ''ocena_n'' - oznacza ocenę, liczbę ze zbioru ''{2.0, 3.0, 3.5, 4.0, 4.5, 5.0}'' (nie ma przymusu sprawdzania poprawności - przyjmujemy że oceny są wpisane poprawnie).
- Liczba ocen dla każdego studenta nie jest określona i może być różna.
- Spacje w pliku nie wpływają na sposób jego przetwarzania.
Jako rezultat, skrypt powinien wyświetlić informację o uzyskanej średniej ocenie przez każdego studenta w następującym formacie:Srednia ocena dla Imie Nazwisko wynosi: X
gdzie:
- ''Imie Nazwisko'' - oznaczają odpowiednio imię i nazwisko studenta pobrane z pliku ''/etc/passwd'' (uwaga: nie login jak to jest w pliku wejściowym).
- ''X'' - wartość średniej oceny z dokładnością do dwóch miejsc po przecinku.
Napisany skrypt nie może używać żadnych poleceń zewnętrznych.\\
Przykłady plików: {{:pl:dydaktyka:unix:input.txt|wejściowego}} oraz {{:pl:dydaktyka:unix:output.txt|wyjściowego}}.
===== Dla zainteresowanych =====
* Artykuł o //sed//: [[http://www.ibm.com/developerworks/linux/library/l-sed1.html|część 1]], [[http://www.ibm.com/developerworks/linux/library/l-sed2.html|część 2]], [[http://www.ibm.com/developerworks/linux/library/l-sed3.html|część 3]].
* Artykuł o //awk//: [[http://www.ibm.com/developerworks/linux/library/l-awk1.html|część 1]], [[http://www.ibm.com/developerworks/linux/library/l-awk2.html|część 2]], [[http://www.ibm.com/developerworks/linux/library/l-awk3.html|część 3]].