Cluster Arina

Recursos Computacionales

Información general

Resumen de recursos de cálculo

Arina consta de un total de  3.728 cores repartidos en 3.664 cores xeon y 64 cores Itanium2  con memoria RAM entre 16 y 512 GB por nodo. 4 de los servidores xeon tienen 2 tarjetas Nvidia Tesla cada uno, un  nodo con 2 Nvidia Kepler 20 y otro con 2 Nvidia Kepler 20. Existen tres sistemas de disco de alto rendimiento para scratch de cálculos basados en Lustre, uno en los itanium2 y opteron de 4.2 TB y dos en los Xeon de 22 y 40 TB. Todos los nodos de cálculo están conectados a través de una red Infiniband de alto ancho de banda y baja latencia.

Otros recursos

Arina consta de tres servidores, arina (Itanium2), Katramila y guiness (Xeon) donde se pueden conectar los usuarios desde el exterior. Estos servidores están accesibles a los usuarios como servidores de conexión, visualización, compilación y test. Todos los servidores montan el mismo directorio /home a través de NFS sobre ethernet. Todas las noches se realiza una copia de seguridad del directorio /home. Cuando un nodo escribe en /home la información ha de ser enviada al servidor a través de la red NFS (lenta). Por ello, no es recomendable hacer uso de este directorio durante el cálculo, sino lanzar los cálculos a los discos locales de cada nodo en el directorio /scratch o al almacenamiento compartido de alto rendimiento /gscratch.

Características de los nodos Xeon

  • Cluster BullX con sistema operativo Red Hat Linux AS 5 y AS6, y AS7.
  • 464 cores Xeon 5420 a 2.3 GHz, 648 cores Xeon 5645 a 2.4 GHz, 630 cores Xeon 2680v2 a 2.8 GHz y 32 cores Xeon 4620v2 a 2.6 GHz en el nodo de memoria compartida (512 GB), y 1.876 cores Xeon 2680v4 a 2.8 GHz.
  • Memoria entre 24 y 512 GB por nodo para adaptarse mejor a los trabajos.
  • Conexión infiniband QDR a 40 Gb/s y FDR a 56 Gb/s de ancho de banda y baja latencia.
  • Servidor principal para compilar Guinness y Katramila.

Nodos con GPGPUs

Los nodos con GPUs son similares a los anteriores:

  • Dos nodos con dos tarjetas Tesla 20 C2050, procesador Xeon 5420 a 2.3 GHz, 24 GB de RAM y doble tarjeta infiniband QDR.
  • Dos nodos con dos tarjetas Tesla 20 C2070, procesador Xeon 5420 a 2.3 GHz y 24 GB de RAM y doble tarjeta infiniband QDR.
  • Un nodos con dos tarjetas Kepler K20, procesador Xeon 2680v2 a 2.8 GHz y 128 GB de RAM y tarjeta infiniband FDR.
  • Un nodos con dos tarjetas Kepler K40, procesador Xeon 2680v4 a 2.8 GHz y 128 GB de RAM y tarjeta infiniband FDR.

Características específicas de los nodos:

Cantidad Nombre Tipo S.O Proc Cores Velocidad RAM (GB) Disco (GB) Etiqueta
1 Guinness Servidor RH6 2 8 2.3 GHz 12 — —
1 Katramila Servidor RH7 2 8 2.6 GHz 128 — —
1 cn3 Nodo RH6 2 8 2.3 GHz 96 250 xeon,xeon8,xeonbull
17 cn4-20 Nodo RH6 2 8 2.3 GHz 24 250 xeon,xeon8,xeonbull
36 cn21-56 Nodo RH6 2 8 2.3 GHz 48 250 xeon,xeon8,xeonbull
4 cn57-60 Nodo GPU RH6 2 8 2.3 GHz 24 450 xeon,xeon12,gpu,xeonbull
18 cn61-78 Nodo RH6 2 12 2.4 GHz 48 250 xeon,xeon12,xeonbull
1 cn79 Nodo RH6 2 12 2.4 GHz 96 250 xeon,xeon12,xeonbull
35 cn80-cn114 Nodo RH6 2 12 2.4 GHz 24 250 xeon,xeon12,xeonbull
30 nb1-nb30 Nodo RH7 2 20 2.8 GHz 128 128 xeon,xeon20rh7,xeonbull
1 nb31 Nodo RH7 2 32 2.6 GHz 512 1000 xeon,xeon32,rh7,xeonbull
1 nb32 Nodo GPU RH7 2 20 2.8 GHz 128 128 xeon,xeon20,gpu,rh7,xeonbull
67 nd1-nd14, nd16-nd67 Nodo RH7 2 28 2.8 GHz 128 400 xeon,xeon28,rh7
1 nd15 GPU Node 2 28 2.4 GHz 128 128 xeon,xeon28,rh7,gpu

Las etiquetas se usan para seleccionar nodos específicos si fuese necesario a la hora de calcular.

Características de los nodos Itanium

  • Cluster HP Integrity Server con sistema operativo Red Hat Linux AS 4.
  • 128 cores Itanium2 a 1.3 y 1.6 GHz.
  • Memoria entre 4 y 128 GB por nodo para adaptarse mejor a los trabajos.
  • Conexión infiniband SDR y DDR a 20 y 10 Gb/s de ancho de banda y baja latencia.
  • Servidor principal para compilación Arina.

Características Técnicas del cluster:

Cantidad Nombre Tipo Proc. Cores Velocidad RAM (GB) Disco (GB) Etiqueta
1 Arina Servidor 2 4 1.6 GHz 8 — —
1 Arinaz Servidor 2 2 1.3 GHz 2 — —
4 cndXX Nodo 4 8 1.6 GHz 16 550 itaniumb
10 cndXX Nodo 4 8 1.6 GHz 32 550 itaniumb
1 cnd42 Nodo 4 8 1.6 GHz 128 550 itaniumb
1 cnd43 Nodo 4 8 1.6 GHz 64 550 itaniumb

Todos los nodos de cálculo tienen además la etiqueta itanium. Las etiquetas se usan para seleccionar nodos específicos si fuese necesario a la hora de calcular.

Características de los nodos Opteron

  • Cluster DL585 Server con sistema operativo Red Hat Linux AS 4 (update 4).
  • 40 microprocesadores Opteron a 2.4 GHz.
  • Memoria entre 16 y 64 GB por nodo para adaptarse mejor a los trabajos.
  • Conexión infiniband SDR  a 10 Gb/s de ancho de banda y baja latencia.
  • Servidor principal para compilación Maiz.

Características Técnicas del cluster:

Cantidad Nombre Tipo Proc. Cores Velocidad RAM (GB) Disco (GB) Etiqueta
1 Maiz Servidor 2 4 1.8 GHz 4 — —
2 cno02-03 Nodo 4 8 2.4 GHz 16 72 opteron
1 cno05 Nodo 4 8 2.4 GHz 32 72 opteron

Conexión de red para cálculo infiniband con 10 GB/s de ancho de banda y baja latencia. Las etiquetas se usan para seleccionar nodos específicos si fuese necesario a la hora de calcular.

Sistemas de archivo de alto rendimiento

A parte de los discos locales de cada nodo (/scratch) se tienen tres sistemas de archivos global para cálculo.

  • HP-SFS de 4.7 TB de capacidad neta, de escritura y lectura paralela en discos y basado en tecnología Lustre. Alcanza los 400MB/s de ancho de banda en escritura y los 600MB/s en lectura (un disco normal anda en 30-40 MB/s).
  • Lustre de 22 TB de capacidad neta en los nodos Xeon (xeon8 y xeon12).
  • Lustre de 40 TB de capacidad neta, 6.9 GB/s de velocidad en escritura y 5.1 GB/s en lectura en los nodos Xeon (xeon20)