Escaneando un servidor FTP
Para hacer una araña que explore un servidor FTP se puede aprovechar el_ftplib de_python... solo tiene un impedimento, que cuando se pide la lista de archivos en un directorio se devuelve por stdout, lo que es bastante molesto para algo como esto.
La solución más sencilla es substituir la salida estándar ( sys.stdout ) por un objeto que almacene los datos, el único método que hace falta en el objeto es objeto.write(string) , el que se usa para mostrar strings por la pantalla, esto puede servir:
class catcher():
def clean(self):
self.trap = ""
def readlines(self):
return self.trap.split("\n")
def readline(self):
l = self.readlines()
res = l.pop(0)
self.trap = "\n".join(l).strip()
return res
def init(self):
self.clean()
def write(self, s):
self.trap += s
Después de dar el cambiazo por stdout y de que recoja los string, este queda en catcher.trap, además se pueden utilizar los siguientes métodos:
catcher.readlines() Devuelve lo recojido como un array de strings (una por línea).
catcher.readline() Devuelve una línea de lo recojido y la elimina.
catcher.clean() Elimina lo recojido
Después hace falta convertir las líneas en algo útil, esto se puede hacer con:
import sys, re
Elimina los dobles espacios
def smash(s):
b = ""
while b != s:
b = s
s = s.replace(" ", " ")
return s
Convierte las líneas de ls en algo útil
def parseLs(sa, cdir = None):
d = []
cd = (cdir != None)
for s in sa: # Por cada línea
s = smash(s.strip()) # Se elimina lo que sobra
if (len(s) < 1): # Si aún queda algo
continue
o = {} # Aquí se guardarán los datos
sld = s.split(" ") # Se separan por los espacios
# "Si para solucionar un problema se te ocurre
# 'esto lo puedo hacer con expresiones regulares!'
# ...ya tienes dos problemas" -- No me acuerdo xD
if (re.match(".{10}\ [0-9]{1,9}\ [a-z,A-Z,0-9]{1,50}\ " +
"[a-z,A-Z,0-9]{1,50}\ [0-9]{1,1000}\ [a-z,A-Z,0-9]{3}\ " +
"[0-9]{2}\ [0-9]{2}\:[0-9]{2}\ .{1,255}", s) != None):
# Lee la información
if (len(sld) < 5) or not(":" in s):
print >>sys.stderr, "-|>", s
continue
o['perm' ] = sld[0]
o['num' ] = sld[1]
o['user' ] = sld[2]
o['group'] = sld[3]
o['size' ] = sld[4]
o['mon' ] = sld[5]
o['day' ] = sld[6]
o['hour' ] = sld[7]
if (cd):
o['pwd'] = cdir
n = s.index(":")
# Obtiene el resto y se guarda como el nombre
o['name' ] = s[ (s[n : ].index(" ") + n + 1) : ].strip()
d.append(o) # Se añade a la lista
# Otra opción de formateado
elif(re.match(".{10}\ [0-9]{1,9}\ [a-z,A-Z,0-9]{1,50}\ " +
"[a-z,A-Z,0-9]{1,50}\ [0-9]{1,1000}\ [a-z,A-Z,0-9]{3}\ " +
"[0-9]{2}\ [0-9]{4}\ .{1,255}",s) != None):
# Lo mismo
o['perm' ] = sld[0]
l = len(sld[0])
o['num' ] = sld[1]
l += len(sld[1])
o['user' ] = sld[2]
l += len(sld[2])
o['group'] = sld[3]
l += len(sld[3])
o['size' ] = sld[4]
l += len(sld[4])
o['mon' ] = sld[5]
l += len(sld[5])
o['year' ] = sld[6]
l += len(sld[6])
o['name' ] = s[ s[ 7 + l : ].index(" ") + 8 + l : ]
if (cd):
o['pwd'] = cdir
d.append(o) # Se añade a la lista
# Si falla
else:
print >>sys.stderr, "--->", s, "<---"
raw_input("")
return d
Solo hay que alimentar la función parseLs con el array de líneas (desde catcher.readlines() por ejemplo) y opcionalmente con el directorio actual (solo se añade como parámetro) y devuelve un array de diccionarios con al menos las entradas 'perm' (permisos), 'num', 'user', 'group', 'size' y 'mon' (mes).
Nota: parseLs() funciona con los formateados que me he encontrado, que seguramente no sean todos.
A partir de ahí el resto es parecido a una araña normal, por ejemplo [ ftp_crawler.py ], si quieres guardar los datos en un PostgreSQL, hay que descomentar las líneas 8, 41 (aquí esta la query, el nombre de la tabla es nu, cambiala por la que quieras) a 45 y 124 (en esta se define el nombre de la base de datos). La tabla usa estas columnas: 'permisos', 'numero', 'usuario', 'grupo', 'tamanho', 'path' (varchar y pista)
Nos vemos
[Referencia] http://docs.python.org/library/ftplib.html