::   ::   ::   ::   ::
 
 

Foros de discusión HispaSeti
Unión de los grupos Hispanos de [email protected]
 
 RegistrarseRegistrarse 
 FAQFAQ   BuscarBuscar   MiembrosMiembros   Grupos de UsuariosGrupos de Usuarios   RegistrarseRegistrarse   Volver a la Web principalVolver a HispaSeti.org
 PerfilPerfil   Entre para ver sus mensajes privadosEntre para ver sus mensajes privados   LoginLogin 

Visita al superordenador MareNostrum. El flatoreportaje.

 
Publicar nuevo tema   Responder al tema    Foros de discusión -> Informática y Ordenadores
Ver tema anterior :: Ver tema siguiente  
Autor Mensaje
saphojuice
Extraterrestre
Extraterrestre


Registrado: 04 Feb 2004
Mensajes: 642
Ubicación: Long: 2º 06' E Lat: 41º 33' N (más o menos) Adivinar el planeta ya es cosa tuya

MensajePublicado: Mie 12 Dic 2007 22:05:54    Asunto: Visita al superordenador MareNostrum. El flatoreportaje. Responder citando

Bueno, he tardado un poco, pero ahora que ya sé hacer con GIMP prácticamente todo lo que hacía con Paint (Laughing), hoy me he puesto a preparar las fotos. Ahí va eso.

El 23 de Noviembre pasado, los compañeros del equipo SETI.cat organizaron una visita al MareNostrum, el superordenador instalado al lado del campus norte de la Universidad Politécnica de Catalunya, y hasta hace unos meses, el más potente de Europa. No dejé escapar la oportunidad. Razz

Poco después de las 5 de la tarde de ese viernes, nos acercamos tranquilamente a las instalaciones en las que se encuentra el MareNostrum.

A nuestra espalda quedaba el campus.

A nuestra derecha había un estanque que tuvimos que rodear para llegar a la entrada de las instalaciones del superordenador. (Aquí el flash perjudica en vez de ayudar, pero la cámara era nueva y aún no sabía cómo quitarlo. Aprendí como hacerlo algunas fotos más adelante, para cuando vino la chicha de verdad. Very Happy)

Un edificio y un poco de vegetación ocultaban parcialmente el lugar en el que se encuentra el MareNostrum.

Pues eso, una iglesia. Supongo que bastantes ya conocíais este hecho, el MareNostrum está instalado en la nave principal de una iglesia construida alrededor de 1920.


E aquí el Marenostrum. Hoy en día, y gracias a la miniaturización, sólo se necesita un bloque compacto de 500 metros cúbicos de espacio libre para poner uno de estos. Laughing Normalmente, montar un superordenador implica la construcción del edificio que lo contendrá (Shocked) porque es difícil encontrar construcciones con “habitaciones” tan grandes, o de existir estas, conseguir hacer tanto hueco. Además, aún y siendo “compacto”, el espacio debe cumplir otro requisito, y es que este debe tener una altura de como mínimo 4 metros, esto es, 2 metros para los racks (los armarios grises que hacen de soporte físico a los distintos componentes del superordenador), 1 metro de espacio por encima de los racks para permitir una cierta circulación de aire, y otro metro por debajo del suelo que soporta los racks, el llamado (si no recuerdo mal) “suelo técnico”. Este suelo es el espacio por el que pasan las distintas redes y se hace llegar la electricidad, aire y “agua” a cada rack o punto pertinente del espacio dentro del cubículo de cristal. Los encargados elegir la ubicación del superordenador dedicaron bastante tiempo a encontrar un espacio en condiciones (o al menos acondicionable) para el superordenador en las instalaciones de la UPC, hasta que esta les propuso, pensando que era una mala opción, esta iglesia. Cuando los responsables de ubicar la máquina vieron la altura de la nave, parece que quedaron encantados.

Sólo son un responsable y cuatro asistentes los que tienen autorización para atravesar esa puerta. Cool

Esta primera fila de racks que se ve en la foto, contiene el alrededor de 360 Terabytes de disco duro, 270 de ellos en un solo sistema de archivos. Todos y cada uno de los procesadores del superordenador están conectados a él a través de la red Gigabit Ethernet. La comunicación entre los procesadores y ese disco duro (enorme y “lejano”) es tan ágil como la que hay entre los procesadores y los discos duros de nuestros ordenadores. Y por si 270 Terabytes no fueran bastante para alguna aplicación, este disco duro actúa de cache para otros 6 Petabytes de disco que hay ubicados en otra zona del campus y a los que está conectado mediante fibra óptica.

Vistazo de cerca al suelo técnico. Las tuberías de latón en primer plano transportan aire, la tuberías de color rojo transportan agua, las tuberías de color gris oscuro de PVC son desagües, los cables de color naranja son de fibra óptica, los amarillos son cables de la red Ethernet y/o Ethernet Gigabit, y creo que los cables de color verde son la alimentación eléctrica. Con todo esto, y teniendo en cuenta que conviene que ahí debajo pueda entrar una persona y trabajar con una cierta comodidad sin tener que desmontar nada que no esté dando problemas, se ve por que es necesario disponer de un espacio bastante alto, también debajo de un superordenador.


Estas estructuras de, creo, metacrilato se añadieron el pasado verano para hacer que el aire frío pasara primero por los blades (placas base en las que se montan los procesadores, la RAM y que se conectan a las diferentes redes) y después de salir de estos se repartiera por la sala. El rendimiento del equipo de frío aumentó un 20%.
La refrigeración es otro aspecto relevante en los centros de computación. Hay instalados unos 800 kW de electrónica en el superordenador. Y otros 850 kW en equipos de refrigeración dedicados exclusivamente a esa electrónica. Si al instalar un superordenador no se invierte también en serio en refrigeración, es fácil que una parte significativa de la electrónica que se ha comprado no se pueda usar o no sea estable durante los períodos calurosos del año.


Esta es la zona del superordenador donde se concentran los nodos de la red Myrinet (fibra óptica) que conecta a los procesadores entre ellos y que los convierte realmente en un superordenador. Como ya he dicho, también hay una red Ethernet Gigabit que conecta a los procesadores con el disco duro. Y existe una tercera red, de tipo Ethernet “a secas” Smile, a la que también están conectados todos los blades, que sirve para monitorear el sistema y detectar problemas de funcionamiento locales.


En esta foto hay un par de detalles que se pueden comentar, rojos los dos. En primer lugar están las placas del techo. Ya llevábamos un buen rato de visita cuando, al subir a la pasarela que hay encima del superordenador, preguntamos por las placas. Antes de hacer la pregunta, y después de que se nos hiciera notar la importancia de aspectos que de entrada podían pasar desapercibidos, como la altura de un superordenador de este tipo, o cuanto hay que invertir en refrigeración, algunos nos habíamos preguntado y especulado sobre la función que cumplían en relación al superordenador y la lógica aplastante en la que se basaría su presencia allí... Resultó que esas placas formaban parte del auditorio que había sido la nave principal de la iglesia antes de albergar el MareNostrum, y unos problemas impidieron sacarlas antes de montar el superordenador. Luego, los proyectos presentados hasta el momento para sacar las placas, garantizando la integridad del superordenador y la no interferencia con su funcionamiento, estaban fuera de las posibilidades de la universidad, por lo que la función en relación al superordenador no existía, y la lógica aplastante en la se se basaba su presencia allí venía a ser: “están aquí porque aún no las hemos quitado”. Laughing
El otro detalle rojo es el tubo que avanza junto a la viga y por encima de los racks que hay en los laterales del habitáculo de cristal. Estas tuberías forman parte del sistema contra incendios y su función es, en caso de incendio, echar agua . . . sobre los 5.000 blades, 10.000 procesadores y 20.000 módulos de memoria RAM en funcionamiento . . . A primera vista, este parece un sistema redundante, no en el mantenimiento de la integridad del superordenador, junto a las tomas de tierra, filtrado de aire, control de acceso de personal, etc, sino en asegurar su destrucción en caso de incendio, es decir, aquello que no acabe consumido por la llamas acabará cortocircuitado. En realidad, pero, los aspersores generan una mezcla de aire y agua que enfría el aire del interior del habitáculo y le da un calor específico bastante alto como para inhibir las reacciones de combustión que se puedan dar ahí dentro, pero no estropea los blades (aunque puede estropear algún que otro disco duro). No se usa dióxido de carbono o halones porque al desplazar el oxígeno, y en caso de sorprender a alguien dentro, podrían hacer que este se quedara ahí.
Acabo de fijarme que en la foto hay un tercer detalle rojo, la alfombra de la pasarela, pero esta no fue sujeto de especulaciones, ni pareció que su funcionamiento pudiera representar ningún riesgo para la integridad de la máquina, por lo que no me extenderé más en su comentario.


Esto es un blade de los que había antes de la última ampliación. A la derecha están los disipadores de calor debajo de los cuales van los procesadores (no hay ventilados como en los ordenadores que tenemos en casa, porque aquí corriente de aire se fuerza desde el sistema de refrigeración). Este blade está preparado para albergar 2 procesadores, los usados ahora albergan 4 procesadores cada uno. Luego, arriba, van los 4 módulos de memoria RAM, que se conectan apaisados, no en perpendicular a la placa, para ahorrar espacio. En la parte baja y un poco más a la izquierda hay un soporte de plástico negro, que en condiciones normales aloja un disco duro de 40 Gigabytes, pero que no se usa (ni se contabiliza en los 360 TB mencionados anteriormente).
Y a la izquierda se ven los conectores de la red de fibra óptica y Gigabit Ethernet. No recuerdo y no estoy seguro si la conexión a la red Ethernet está junto a la de Ethernet Gigabit.

También se comentaron los tiempos de arranque, rendimiento de la máquina, sistema operativo, criterios de asignación de tiempo de cálculo a proyectos, procedimientos de utilización, tipos de proyectos en los que se usa, comparaciones a varios niveles con otros superordenadores, capacidades deseables en las aplicaciones que se ejecuten en el mismo, futuras ampliaciones y alguna que otra cosa, pero, si acaso, lo dejo para más adelante.

Ta otra.


Ultima edición por saphojuice el Mar 19 Feb 2008 17:15:51, editado 2 veces
Volver arriba
Ver perfil de usuario Enviar mensaje privado MSN Messenger
Oldno7
Administrador del Foro
Administrador del Foro


Registrado: 22 Mar 2002
Mensajes: 1829

MensajePublicado: Jue 13 Dic 2007 09:27:02    Asunto: Responder citando

creo que se me ha rizado y puesto pelirroja una ceja de envidia y "espeluznamiento".... que pasada!!!!

gracias por tu reportaje!!!!

dices que
"También se comentaron los tiempos de arranque, rendimiento de la máquina, sistema operativo, criterios de asignación de tiempo de cálculo a proyectos, procedimientos de utilización, tipos de proyectos en los que se usa, comparaciones a varios niveles con otros superordenadores, capacidades deseables en las aplicaciones que se ejecuten en el mismo, futuras ampliaciones y alguna que otra cosa, pero, si acaso, lo dejo para más adelante."


si! si! minteresa!!! mucho!
no lo dejes para muy lejos, que se te quitaran las ganas (y la memoria es evanescente)

GRACIAS!

P.S.: al revisar las imagenes, no puedo mas que felicitar a los de imageshack... te ponen directamente dos formas de colgar la imagen en el foro, basta con copiar y pegar, y el resultado, con el subtitulo de tamaño y resolucion, cojonudo, tu.
_________________
Ojala vivas en tiempos interesantes.
(antigua maldicion china)
Volver arriba
Ver perfil de usuario Enviar mensaje privado Enviar email Visitar sitio web del autor Yahoo Messenger
Zerjillo
Extraterrestre
Extraterrestre


Registrado: 26 Abr 2003
Mensajes: 1398
Ubicación: España

MensajePublicado: Jue 13 Dic 2007 11:43:06    Asunto: Responder citando

Hombreeee, el mare nostrum... de esos tenía yo uno debajo de la cama, pero lo tiré porque se mabia quedao antiguo... luego me dijeron que algún norteño lo vio en el cubo de la basura y decidió meterlo en una iglesia... tan locos estos norteños! :-P

Fuera coñas, muchas gracias por las fotos. A mi siempre me han encantado las visitas donde ves de cerca la tecnología más puntera, y el Mare Nostrum es un claro ejemplo de tecnología punta.

Como dice OldNo7, cuenta un poco más sobre los detalles especificas de aplicaciones, etc. Menos mal que no funciona con Wasura, que si no, el tiempo de arranque podría ser acojonante. Vale, si, no es un UNIX 100% lo que tiene instalao el bicharraco, pero se parece (va por OldNo7) :-P

Un abrazo

Zerjillo
Volver arriba
Ver perfil de usuario Enviar mensaje privado Visitar sitio web del autor
Tucker
Extraterrestre
Extraterrestre


Registrado: 29 Ago 2002
Mensajes: 1877
Ubicación: Torremolinos (MA), España

MensajePublicado: Jue 13 Dic 2007 20:05:38    Asunto: jeje Responder citando

Oldno, quizás habría que abrir un subforo llamado "Reportajes Hispasetianos" Razz

Gran reportaje, me trae a la memoria lo que hicimos Zerji, Edmon y yo en el Radio Telescopio del Veleta. Ah, que tiempos...
_________________
* El sentido común es el menos común de los sentidos.
* No importa cuántas veces se ha demostrado que una mentira es falsa; siempre habrá un porcentaje de gente dispuesta a creérsela.
Volver arriba
Ver perfil de usuario Enviar mensaje privado Visitar sitio web del autor MSN Messenger
Willaert
Gaussian
Gaussian


Registrado: 06 Ene 2003
Mensajes: 420
Ubicación: Granada

MensajePublicado: Jue 13 Dic 2007 20:38:22    Asunto: Responder citando

Sí, qué recuerdos Very Happy

A ver si este verano preparamos algo. Por mí estaría encantado si diéramos una vuelta (nunca mejor dicho) por el LHC, por ejemplo. O un día de playa, o de montaña Wink

Por otra parte, gracias por el reportaje, saphojuice. No sé a vosotros, pero me recuerda enormemente a la película Nivel 13 roll

Saludos
_________________
¿Puede estar involucionando la especie humana?

Teóricamente la involución no existe, dado que eso presupondría que un estadío evolutivo es “mejor” que otro. Teóricamente. Pero luego pones la televisión y la teoría se derrumba (J.A.Pérez)

La gente se está pegando porque las antenas de los móviles le dan cáncer al niño y luego se compran una crema que, dicen, les regenera el ADN.
(Javier Armentia)
Volver arriba
Ver perfil de usuario Enviar mensaje privado Visitar sitio web del autor
Cabezón
Extraterrestre
Extraterrestre


Registrado: 28 Mar 2004
Mensajes: 532
Ubicación: Aguere-Achinech-Tierra-Supercúmulo de Virgo

MensajePublicado: Vie 14 Dic 2007 23:35:08    Asunto: Responder citando

¡Me muero de envidia! Y ¡cómo me recuerda el IBM 1130 con el que trabajé en la Universidad! roll roll roll roll
De verdad, al leer que dispone de 6 Petabytes de memoria en disco, pro si los 360 TB no bastan, se me ponen los pocos pelos que tengo en el cráneo como escarpias. Igualico que los 5 MB del disco del IBM que he mentado...

Por cierto, ¿qué tal se juega al Counter-Strike dentro de esa red? Wink
_________________
"Probablemente... no, seguro que Dios no existe. Así que pasa de la religión y disfruta de la vida."

Visita mi web personal
Volver arriba
Ver perfil de usuario Enviar mensaje privado Enviar email
saphojuice
Extraterrestre
Extraterrestre


Registrado: 04 Feb 2004
Mensajes: 642
Ubicación: Long: 2º 06' E Lat: 41º 33' N (más o menos) Adivinar el planeta ya es cosa tuya

MensajePublicado: Mar 19 Feb 2008 19:22:59    Asunto: No hay más afotos Responder citando

Sigo, y en principio, acabo el relato de la visita al MareNostrum.


Más características del superordenador

La máquina funciona con SuSe Linux. En un momento dado acostumbra a haber 50 sistemas operativos funcionando a la vez, y el mínimo de sistemas operativos que se usa simultáneamente siguiendo disponiendo de los 10.000 procesadores es 3, aunque teóricamente se puede hacer uso de todos los procesadores a partir de una sólo sistema operativo.

En condiciones normales el tiempo de arranque del superordenador es de 30 minutos. Si el superordenador sufriera un corte de luz el tiempo de arranque puede extenderse hasta más allá de las 4 horas. Obviamente, la instalación dispone de dos conexiones redundantes a la red de eléctrica y un grupo electrógeno que con capacidad para mantener el superordenador y el equipo de frío en funcionamiento durante media hora. En esta media hora los técnicos responsables de funcionamiento del ordenador deben ser capaces de terminar normalmente todos los procesos que se estén ejecutando en el superordenador si se da un corte de luz que afecte a las dos líneas de alimentación.

El uso de la red de fibra óptica se mantiene a alrededor del 85% de la capacidad de esta. Si se supera este nivel de tráfico, la latencia de las comunicaciones entre los procesadores aumenta de forma importante y baja muy notablemente el rendimiento del superordenador.


Información sobre las aplicaciones (programas) que se ejecutan en el MareNostrum

Cualquier investigador o grupo investigador, público o privado puede solicitar tiempo de uso del superordenador. Normalmente se asigna un determinado número de procesadores por un cuatrimestre. Algunos de los criterios de selección por los que se decide proporcionar ese tiempo de uso són:

-Número de procesadores que necesita la aplicación para ser ejecutada. Cuanto más grande mejor, hasta el total de procesadores de los que dispone la máquina. Normalmente las aplicaciones que se usan requieren entre miles y centenares de procesadores. Aunque se hace alguna excepción en favor de algunas aplicaciones que "apenas" requieren unas decenas de procesadores, por cumplir especialmente bien con otros criterios.

-Relevancia científica, a priori, del resultado que se puede obtener de los cálculos realizados por el el MareNostrum. Es decir, una aplicación que usara todos los procesadores, pero su función fuera realizar las nóminas de una gran multinacional, no conseguiría que se le asignase tiempo.

-Posibilidad del personal a cargo del MareNostrum de prestar ayuda al investigador o grupo investigador en la puesta a punto o uso de la aplicación. Por ejemplo, interesan menos esos proyectos en los que el usuario realiza el trabajo en la máquina de forma completamente independiente del personal que se encarga de hacerla funcionar y mantener. En este caso, la aplicación podría ser muy poco innovadora, y por lo tanto no presentar ninguna posibilidad de mejora respecto a la creación de aplicaciones de supercomputación o a la forma de usar el superordenador. Por otro lado, es aquí donde una aplicación que use pocos procesadores, pero de una forma un tanto especial, puede conseguir acceso a los recursos computacionales del BSC, puesto que abre la puerta a que el personal de se enfrente a problemas que le permitan aprender a usar de mejor forma (ya sea generalmente, o en situaciones particulares) el MareNostrum.


Uso del MareNostrum

Un aspecto importante de los proyectos que se llevan a cabo con la ayuda del MareNostrum es que son públicos, es decir, se puede saber a qué se está dedicando la máquina. Mientras el superordenador aún estaba entre las diez primeras posiciones de la lista TOP500, este era el primer ordenador de esa lista del que se conocía públicamente todos los proyectos que hacían uso de su capacidad de cálculo. Esto contrasta con el uso del superordenador que entonces era, y sigue siendo ahora, el número uno de esa lista, del que se conoce la ubicación, las características técnicas y que trabaja en proyectos del Departamento de Defensa de Estados Unidos, sin más detalles. ;)

Los usuarios del superordenador no necesitan desplazarse al BSC para hacer uso de este. La máquina está conectado a una red de fibra óptica que une un buen número de universidades y centros de investigación de todo el territorio del Estado Español (llegando también a las Islas Canarias), a través del cual se pueden enviar las tareas a la red de supercomptuación del estado. Esta red dispone de otros centros de supercomputación que fueron creados con el antiguo MareNostrum, a partir de cuyos "5000" procesadores se crearon otros 5 centros de supercomputación con máquinas de 2048, dos de 1024 y otros dos de 512 procesadores. Una gran ventaja de generar una red de centros a partir del antiguo MareNostrum es que aunque la escala es diferente entre los diferentes centros de supercomputación, la arquitectura es la misma en todos ellos. Esto facilita la creación de aplicaciones, pero también la gestión de la ejecución de todas ellas conjuntamente, puesto que cuando un usuario manda su tarea, esta puede ser ejecutada en cualquiera de los centros de supercomputación de la red que esté disponible y cumpla los requisitos necesarios para ejecutarla (en cuanto a número de procesadores requeridos).
Estos centros están repartidos por varios puntos del territorio del estado.


Características de las aplicaciones

El MareNostrum también está conectado a una red europea de supercomputación, pero ahí la variedad entre superordenadores es mucho mayor y no es "tan fácil" crear las aplicaciones. Así y todo, las aplicaciones que se ejecutan en él sólo requieren que ser ejecutables en un kernel Linux 2.6.

Por otro lado, una característica que recomendaban que tuvieran las aplicaciones que fueran a ejecutarse en el superordenador era que estas fueran capaces de seguir funcionando aunque en un momento dado dispusieran de menos procesadores de los que teóricamente tenían asignados. Cuando una aplicación lleva unas horas o días usando centenares o miles de procesadores, es fácil que en algún momento alguna o algunas presenten algún problema. Si esto ocurre, la aplicación debería ser capaz de no bloquearse ni perder el trabajo realizado hasta ese momento, y seguir trabajando con el resto de procesadores, para aprovechar el tiempo que pueda pasar mientras los técnicos responsables detectan localizan y resuelven el problema.

Futuras ampliaciones

En última ampliación, se sustituyeron todos los blades de 2 procesadores por otros con capacidad para albergar 4. Además de sustituir todos los procesadores por unos ligeramente más potentes. En la próxima ampliación que se realice, se prevé que no sólo sea necesario actualizar blades y procesadores, sino también la red de fibra óptica.

También se están realizando ensayos para aún más adelante en colaboración con IBM. Estos se realizan en la parte "trasera" del superordenador, en el lado del habitáculo opuesto a los racks de los discos duros, hay más racks de los que se representan en el plano de la iglesia que enlacé en mi anterior mensaje. En esos racks extra se están realizando pruebas con procesadores Cell (usando versiones algo posteriores a los Cell que contienen las videoconsolas PS3), para adquirir experiencia en su uso en supercomputación y comprobar si en alguna de las futuras ampliaciones se pasa a usar esta nueva generación de procesadores y aprovechar el salto en capacidad de cálculo que ello proporcionaría.

En fin, creo que con esto he acabado.

Ta otra.
Volver arriba
Ver perfil de usuario Enviar mensaje privado MSN Messenger
Tucker
Extraterrestre
Extraterrestre


Registrado: 29 Ago 2002
Mensajes: 1877
Ubicación: Torremolinos (MA), España

MensajePublicado: Mar 19 Feb 2008 21:59:10    Asunto: re Responder citando

muchas gracias por compartirlo con los usuarios del foro.
_________________
* El sentido común es el menos común de los sentidos.
* No importa cuántas veces se ha demostrado que una mentira es falsa; siempre habrá un porcentaje de gente dispuesta a creérsela.
Volver arriba
Ver perfil de usuario Enviar mensaje privado Visitar sitio web del autor MSN Messenger
Cabezón
Extraterrestre
Extraterrestre


Registrado: 28 Mar 2004
Mensajes: 532
Ubicación: Aguere-Achinech-Tierra-Supercúmulo de Virgo

MensajePublicado: Mie 20 Feb 2008 00:35:09    Asunto: Responder citando

Me he quedado a cuadros
borracho Alien2 whoa
Y viva el pingüino linux
Aunque este pingüino es más bien grandote comba
_________________
"Probablemente... no, seguro que Dios no existe. Así que pasa de la religión y disfruta de la vida."

Visita mi web personal
Volver arriba
Ver perfil de usuario Enviar mensaje privado Enviar email
Borg
Administrador Técnico
Administrador Técnico


Registrado: 01 Abr 2002
Mensajes: 2954
Ubicación: Galicia, España

MensajePublicado: Mie 20 Feb 2008 02:32:14    Asunto: Responder citando

Interesante e instructivo. ¡Gracias!
_________________
Afirmaciones extraordinarias requieren pruebas extraordinarias.
Volver arriba
Ver perfil de usuario Enviar mensaje privado Visitar sitio web del autor
Mostrar mensajes de anteriores:   
Publicar nuevo tema   Responder al tema    Foros de discusión -> Informática y Ordenadores Todas las horas son GMT + 2 Horas
Página 1 de 1

 
Cambiar a:  
Puede publicar nuevos temas en este foro
Puede responder a temas en este foro
No puede editar sus mensajes en este foro
No puede borrar sus mensajes en este foro
No puede votar en encuestas en este foro


Powered by phpBB © 2001, 2004 phpBB Group
 

Página alojada en http://www.Oldno7.org


Fotomaf - Galeria de fotos de Mauro A. Fuentes