Embed Size (px)
Citation preview
Introducción a los Filtros
Programas de UNIX que leen una entrada, realizan una
transformación y escriben una salida.
Ejemplos: grep y tail Seleccionan parte de una entrada
sort Clasifica la entrada
wc Cuenta la entrada.
etc.
Filtros de Datos o Filtros Programables sed Editor de Flujo
awk Filtro programable con sintaxis similar al C
Grep
$ grep patrón archivos.... El comando grep examina los archivos nombrados (o la entrada estándar) e
imprime cada línea que contenga un caso de patrón. Ejemplos:
grep –n variable *.[ch] Localiza “variable” en archivos
fuentes de C grep –y mary $HOME/lib/agenda Encontrar el número de teléfono de
Mary who | grep mary Comprobar si mary inicio sesión ls | grep –v .c Archivos que no sean fuentes de C
-n Imprime lo números de línea - v Invierte el sentido de la prueba -y Hace indistinto el patrón en mayúsculas o minúsculas
Expresiones Regulares
Grep (y todos los filtros) manejan patrones mucho más intricados
denominados Expresiones Regulares. Las expresiones regulares se especifican dando un significado especial
a ciertos caracteres. Algunos metacaracteres:
^ Ancla el patrón al inicio de la línea $ Ancla el patrón al final de la línea. [a-z] Rango (cualquier minúscula)
Ojo!!: [^0-9] Complemento del Rango (cualquier caracter menos un dígito) . Se acopla con cualquier caracter (Similar al ? para el Shell)
Algunos ejemplos: $ ls –l | grep ‘^d’ Lista los nombres de directorios $ ls –l | grep ‘^.......rw’ Lista los archivos que otros pueden leer y
escribir.
Expresiones Regulares (cont.) Operador cerradura ‘*’
Se aplica al caracter o metacaracter anterior (incluyendo un rango), y en conjunto concuerdan con cualquier número de acomplamientos sucesivos del caracter o metacaracter.
Ejemplos: x* Concuerda con una secuencia de x lo más larga posible. [a-zA-Z]* Concuerda con una cadena alfabética de cualquier longitud .* Concuerda con cualquier cosa hasta una nueva línea .*x Concuerda con cualquier cosa hasta la última x del renglón
Advertencias: * Se aplica exclusivamente a un caracter. fg* reconoce a una f seguida de varias g, y no
una secuencia como fgfgfgfg. * Reconoce cero, una o varias concordancias del caracter. Si queremos que reconozca
por lo menos un caracter tendremos que duplicarlo. Por ejemplo para reconocer una cadena de letras la expresión correcta será [a-zA-Z][a-zA-Z]*
Ninguna expresión regular de grep reconoce el caracter nueva línea.
La Familia Grep
grep es en realidad el más antiguo de su familia. fgrep
Permite buscas muchas cadenas literales simultáneamente
egrep Busca expresiones regulares verdaderas (Igual que grep pero adiciona el
operador “o” y paréntesis para agrupar expresiones. Los paréntesis se utilizan para agrupar de manera que:
(xy)* concuerda con la cadena vacía, xy, xyxy,xyxyxy, y así sucesivamente. La barra vertical | es un operador “o”. Egrep agrega otros dos operadores de cerradura: + y ?.
x+ reconoce una o más x x? reconoce cero o una x (no varias)
Ejemplos Complejos
^[^aeiou]*a[^aeiou]*e[^aeiou]*i[^aeiou]*o[^aeiou]*u[^aeiou]*$
Encuentra palabras que contengan las 5 vocales en orden alfabético.
egrep ‘^a?b?c?d?e?f?g?h?i?j?k?l?m?n?o?p?q?r?s?t?u?v?w?x?y?z?$’
archivo | grep ‘. . . . . .’
Encuentra palabras de 6 letras que tengan todas sus letras (distintas) en
orden alfabético.
¿Por qué 3 programas?
fgrep no interpreta ningún metacaracter, pero permite la
búsqueda eficiente de miles de palabras en paralelo. El
tamaño de los patrones típicos de fgrep rebasa la
capacidad de los algoritmos usados en grep y egrep.La distinción entre grep y egrep es más difícil de
justificar. Simplemente grep es más antiguo (aunque
más difundido).
Sort
Por default, clasifica su entrada por renglones en orden ASCII. Algunas
de sus opciones: -f Vuelve equivalentes mayúsculas y minúsculas. -d Orden de diccionario. Ignora todos los caracteres
excepto letras, dígitos y blancos. -n Comparación numérica -r Revierte el sentido de la comparación -o Especifica un nombre de archivo para la salida -u Suprime las líneas repetidas
Ejemplos: ls | sort –f Clasifica los archivos por orden alfabético ls –s | sort –n Clasifica los archivos más pequeños primero ls –s | sort –nr Clasifica los archivos más grandes primero
Sort (Campos)
Se le puede indicar a sort que dirija solo su atención a
campos específicos. La notación +m significa que la
comparación omite los primeros m campos; +0 es el
inicio de la línea. Así por ejemplo: ls –l | sort +3nr Clasifica por conteo de bytes
(primero el más grande)who | sort +4n Clasifica por tiempo desde inicio de sesión
(primero el más antiguo)
Más filtros
El comando tr translitera los caracteres de su entrada.
Uno de los usos más comunes es la conversión de mayúsculas y
minúsculas. $ tr a-z A-Z Convierte minúsculas en mayúsculas $ tr A-Z a-z Convierte mayúsculas en minúsculas
Uniq Elimina renglones duplicados
dd Bastante distinto a lo visto hasta ahora. Suele emplearse para manejar
datos en bruto y sin formato. Posee recursos para transformar de ASCII a
EBCDIC y para manejar datos binarios.
Sed
Lee un renglón a la vez a partir de los archivos de entrada, aplica los comandos de
la lista, por orden a cada renglón y escribe su forma editada en la salida estándar. Sintaxis: sed ‘lista de comandos’ archivo ... Por ejemplo:
sed ‘s/UNIX/UNIX (TM)/g’ archivos ... > output
Advertencia: sed no altera los contenidos de sus archivos de entrada. Escribe
sobre la salida estándar por lo que archivos originales permanecen intactos. Otro ejemplo:
who | sed ‘s/ .* / /’’
Trae solo los nombres de usuarios y la hora de inicio de sesión. sed ‘s/^/->/’ o sed ‘/./s/^/->/’ $*
Pone un tabulador al inicio de cada línea. La segunda versión solo lo hace en aquellos
renglones que no sean sólo un caracter nueva línea.
Sed (Cont.)
Por defecto realiza la impresión automática de la salida. La opción –n desactiva
la salida la cuál debe ser explicitada mediante el comando p. Por ejemplo: $ sed –n ‘/patrón/p’ hace lo mismo que grep $ sed –n ‘/patrón/!p’ hace lo mismo que grep –v
Otros ejemplos: $ sed ‘s/$/\ Agrega un caracter nueva línea al final de cada renglon
> /’ haciendo que la salida tenga doble espacio. $ sed ‘s/[ ->][ ->]*/\ Reemplaza cada cadena de blancos o tabs por un nueva línea
> /’ por lo que divide cada palabra de la entrada en un renglón. $ sed –n ’20,30p’ Imprime sólo las líneas 20 a 30. $ sed ‘1,10d’ Borras las líneas 1 a 10 (= a tail +11) $ sed ‘1,/^$/d’ Borra hasta la primera línea en blanco inclusive $ sed ‘$d’ Borra la última línea
awk
Awk es parecido al sed pero con una sintaxis más similar al lenguaje C.
Sintaxis: $ awk ‘programa’ archivos...
La sintaxis del programa es:
patrón { acción}
patrón { acción} Awk lee la entrada en los nombres de archivo un renglón a la vez. Cada renglón
se compara con cada patrón en orden, para cada patrón que concuerde con el
renglón se efectúa la acción correspondiente. Al igual que sed, awk no altera los archivos de entrada. Los patrones pueden ser expresiones regulares exactamente como en egrep,
aunque también pueden ser condiciones más complejas que recuerdan más al
lenguaje C.
awk (cont.)
Ejemplos: awk ‘/expresion regular/ { print }’ archivos Hace lo que egrep
El patrón y la acción son opcionales. Si se omite la acción, la acción por default es imprimir la línea. Si se omite el patrón, la parte de acción se hace para todas la líneas de la
entrada.
Al igual que en sed los comandos de awk pueden estar en un
archivos separado mediante la siguiente sintaxis: $ awk –f cmdfile archivo ...
awk - Campos
Awk divide cada renglón de entrada automáticamente en campos (cadenas de
caracteres que no sean blancos, separados por blancos o tabuladores.) Por ejemplo la salida de who tiene 5 campos:
$ who
carlos tty2 Sep 14 11:53
maria tty3 Sep 14 11:27
Awk llama a los campos $1, $2,..., $NF. NF es una variable cuyo valor es igual al
número de campos. En este caso NF = 5 en ambos renglones. Notese la diferencia
entre NF –número de campos- y $NF –el último campo del renglón-.
En awk, a diferencia del Shell, sólo los campos empiezan con $, las variables no tienen
‘adornos’. Por ejemplo:
$ du –a | awk ‘{ print $2 }’ Excluye los tamaños deja sólo los nombres de
archivos.
awk – Campos (cont.)
Awk normalmente supone que el espacio en blanco (cualquier
número de blancos y tabuladores) separa los campos, pero el
separador puede cambiarse a cualquier caracter. Una manera de
hacerlo es recurrir a la opción –F (mayúscula) de la línea de
comandos. Por ejemplo: $ awk –F: ‘{ print $1 }’ /etc/passwd Imprime sólo los nombres de
usuarios del /etc/passwd
awk – Impresión
La variable NR es el número del “registro” o línea actual.
$ awk ‘{ print NR $0 }’
Imprime el número de línea seguido de la línea completa. El campo $0 es la
línea entera, sin cambios. En una acción print, los elementos separados por comas se imprimen
separados por el separador de salida (Por default el blanco.) La proposición printf permite un control completo sobre la salida. (similar al C)
$ awk ‘{ printf “%4d %s\n”, NR, $0}’
%4d especifica un entero decimal (NR) en un campo de 4 dígitos de ancho,
%s especifica una cadena de caracteres ($0) y
\n un caracter nueva línea. (Printf no imprime ni blancos, ni nuevas líneas por
default).
awk – Patrones
$ awk –F: ‘ $2 == “” ’ /etc/passwd
Busca los usuarios sin contraseña. Otras formas de obtener el mismo resultado:
$2 ~ /^$/ El segundo campo concuerda con la cadena vacía. $2 !~ /./ El segundo campo no concuerda con cualquier caracter. length($2) = = 0 La longitud del segundo campo es cero.
El símbolo ~ indica concordancia con una expresión regular y !~ significa “no corresponde”.
La expresión regular debe estar encerrada entre diagonales. Awk se vale de la misma convención que el Shell para los comentarios. El símbolo # indica el
inicio de un comentario. La función substr(s,m,n) produce la subcadena se s que comienza en la posición m y mide n
caracteres de largo. El Awk proporciona dos Patrones especiales BEGIN y END. Las acciones de BEGIN se realizan
antes del primer renglón, y las acciones de END se efectúan luego de ser procesado el último
renglón.
awk – Ejemplos
$ awk ‘NF % 2 != 0{ print}’ Despliega si hay un número par de campos $ awk ‘length($0) > 72 { print “Renglón”, NR, “muy largo:”, substr ($0,1,50)}’ $ date
Thu Aug 29 12:17:01 EDT 2005
$ date | awk ‘{ print substr($4, 1, 5)}’
12:17 $ awk ‘BEGIN {FS = “:”} Nuevamente Busca usuarios sin
contraseña
> $2 == “” ‘ /etc/passwd awk ‘END { print NR }’ ... Idem wc –l
awk – Operaciones Aritméticas awk también puede realizar cálculos sobre los datos de entrada. Es muy sencillo contar cosas,
hacer sumas, sacar promedios y otras operaciones afines. Por ejemplo, para sumar todos los
números de la primera columna:
{ s = s + $1 }
END { print s }
Si modificamos la última línea del programa por
END { print s, s/NR }
Imprime la suma y el promedio. La variables se inicializan a cero por default. Awk ofrece además los mismos operadores aritméticos abreviados que el lenguaje C. Por
ejemplo: s += $1 es lo mismo que s = s + $1 Ejemplo: # Versión de wc hecha en awk.
{ nc += length ($0) + 1 # número de caracteres
nw += NF }
END { print NR, nw, nc}
awk – Variables
Las variables también pueden guardar cadenas de caracteres.
Las variables de cadena se inicializan con la cadena vacía.
Variables predefinidas en awk FILENAME Nombre del archivo de entrada actual
FS Caracter separador de campo (blanco y tab por default)
NF Número de campos del registro de entrada
NR Número del registro de entrada
OFMT Formato de salida para números (%g por default)
OFS Cadena separadora de campo de salida (blanco por default)
ORS Cadena separadora de registro de salida (Nueva línea por default)
RS Caracter separador de registro de entrada (Nueva línea por default)
awk – Operadores
Operadores de awk (por orden creciente de precedencia) = += -= *= /= %= Asignación || O lógico && Y lógico ! Niega el valor de la expresión > >= < <= = = != ~ !~ Operadores relacionales
~ y !~ equivalen a correspondencia y no
correspondencia nada Concatenación de cadenas + - más, menos * / % multiplicar, dividir, resto ++ - - Incrementar, decrementar (prefijo o postfijo)
awk – Control de Flujo
IF (Exactamente igual a la instrucción del lenguaje C). Sintaxis:if (condición)
proposición 1else
proposición 2 FOR (Exactamente igual a la del lenguaje C). Sintaxis:
for (expresión 1; condición ; expresión 2)proposición
WHILE (equivalente al for anterior)expresión 1while (condición ) {
proposiciónexpresión 2
} La proposición next hace que se lea la siguiente línea de entrada y que se comparen los
patrones para reanudar la ejecución al inicio del programa. La proposición exit origina una transferencia inmediata al patrón END.
Otro ejemplo
El siguiente programa detecta palabras duplicadas sucesivas.
awk ‘FILENAME != prevfile { # Nuevo archivo
NR = 1 # Restablecer número de renglónprevfile = FILENAME
}NF > 0 {
if ($1 == ultimapalabra) printf “ duplicación %s, archivo %s, línea %d\n”, $1, FILENAME, NRfor ( i=2; i <= NF; i++ ) if ( $i == $(i-1) ) printf “ duplicación %s, archivo %s, línea %d\n”, $i, FILENAME, NRultimapalabra = $NF
}’ $* $
Otro ejemplo
El siguiente programa invierte el contenido de todos los renglones
awk ‘ { for ( i = NF; i >= 2; i - - )
printf “%s “, $iprintf “\n“
}’ $* $
Arreglos Awk también proporciona arreglos. Ejemplo trivial: Invierte los renglones.
$ cat backwards# backwards: despliega la entrada en dirección contraria awk ‘ { linea[NR] = $0 }
END { for ( i = NR; i > 0; i - -) print linea[ i ] } ‘ $*$
Los arreglos no necesitan ser declarados. El tamaño del arreglo está limitado únicamente por la memoria disponible. Awk soporta arreglos asociativos. Por lo general concebimos subíndices de arreglos como
enteros, pero en awk cualquier valor puede servir de subíndice. Por ejemplo, para sumarizar por nombre 2 columnas del tipo:
Carlos 1000Martin 2000Carlos 500 ... ...Sandra 800
{ sum [ $1 ] += $2 }END { for (name in sum) print name, sum [name] )
Otro ejemplo
$ cat frecuencia
# frecuencia: muestra todas las palabras utilizadas y su frecuencia
awk ‘ { for ( i = 1; i <= NF ; i++ ) num[$i]++ }
END { for ( palabra in num) print palabra, num[palabra] } ‘ $* | sort +1 -nr
$
Funciones predefinidas de awk
cos (expr)Coseno de expr
exp (expr)Exponencia de expr: e elevado a exp
getline( ) lee la siguiente linea de entrada; devuelve 0 si es fin de archivo,
1 de lo contrario
index (s1,s2) Posición de la cadena s2 en s1; devuelve 1 si no está.
int (expr) Parte entera de expr, truncar hacia 0.
length (s=longitud de la cadena s
log (expr) Logaritmo natural de expr
sin (expr) Seno de expr
split (s,a,c) Divide s en a[1] ... a[n] en el carácter c; devuelve n
sprintf (fmt, ...) Da formato a ... según la especificación de fmt
substr (s,m,n) Subcadena de n caracteres de s, comenzando en la posición n
Interacción con el Shell
Supongamos que el usuario quiere escribir un programa campo n
que imprime el campo n-esimo de cada renglón de la entrada.
Por ejemplo: $ who | campo 1
Debería desplegar sólo el nombre de los usuarios que iniciaron
sesión. Para poder resolver esto pasando un parámetro del shell
al awk:
awk ‘{ print $’$1’ }’
Otra forma de hacerlo (aunque es preferible la anterior):
awk “{ printf \$$1 }”
Preguntas
?
Ejercicios
4.1. Crear un archivo diccionario.txt, con todas las palabras (una por línea) tomadas de archivos de datos (en castellano) de su Home Directory. El archivo diccionario.txt debe quedar ordenado, no contener duplicados y todas las letras deberán estar en minúsculas. a) Extraer todas las palabras que empiecen y terminen con vocal.b) Mostrar el archivo eliminando todas las vocales, estén acentuadas o no. c) Un diptongo está formado por dos vocales, una fuerte y una débil, o dos débiles. Las vocales fuertes son a, e, o; las vocales débiles son i, u. La acentuación de u o i destruye el diptongo. i) mostrar todas las palabras con diptongo formado por dos vocales débiles, ii) mostrar todos los diptongos con a; iii) buscar una expresión regular mínima que despliegue todos los diptongos. d) Mostrar todas las palabras de 3 letras o más que sean palíndromos.
Ejercicios
4.2. El archivo acceso.log registra el acceso de los usuarios a un sistema UNIX. Este archivo cuenta con un renglón por cada uno de los accesos y posee la siguiente estructura de campos separados por “:”- Usuario- Fecha de Ingreso (Formato: ddmmyyyy)- Hora de Ingreso (Formato: hhmmss –24 horas-)- Dirección IPDesarrollar comandos que:a) Muestren el nombre de cada usuario y la cantidad total de accesos registrados, en orden alfabético. b) Extraer del archivo las líneas correspondientes a un usuario particular que se recibirá como parámetro.
c) Agregar dos parámetros opcionales que permitan extraer sólo los registros correspondientes a cierto mes o cierto año.d) Extraer del archivo acceso.log las líneas que correspondan al usuario jperez o al usuario elopez.
