HPC

SMP/ccNUMA

ssh USER@login.SITE.hpc.niif.hu

ssh -i keys/szeged alice@login.szeged.hpc.niif.hu

scp USER@login.SITE.hpc.niif.hu:FILE FILE
scp FILE USER@login.SITE.hpc.niif.hu:FILE

rsync -a -e ssh DIRECTORY USER@login.budapest.hpc.niif.hu:/home/USER
rsync -a -e ssh USER@login.budapest.hpc.niif.hu:/home/USER/DIRECTORY

	              rövid CWD
	                   |
	   BUDAPEST[login] ~ (0)$
	       |      |       |
	  HPC állomás |       |
	        rövid gép név |
	              előző parancs exit kódja

module avail

module list

module load APPS

module load maple netcdf R

# a home könyvtár beállítása
# user1 user számára belépsi engedély: u:user1:x
$ setfacl -m u:user1:x $HOME
$ getfacl $HOME
# file: user2/user2
# owner: user2
# group: user2
user::rwx
user:user1:--x
group::r-x
mask::r-x
other::---
# Shared könyvtár megosztása
# user1 számára minden unix jog
$ cd
$ mkdir Shared
$ setfacl -m u:user1:rwx $HOME/Shared
$ getfacl Shared
# file: Shared
# owner: user2
# group: user2
user::rwx
user:user1:rwx
group::rwx
mask::rwx
other::r-x

$ module load python
$ pip install --user mercurial

cd; mkdir shared; ln -s /mnt/fhgfs/home/$USER shared/$USER

$NCE_SHARED

rsync -avuP $HOME/data $NCE_SHARED

rsync -avuP --delete $HOME/data $NCE_SHARED

sbalance

Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User             Usage |          Account       Usage | Account Limit   Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
alice                0 |           foobar           0 |             0           0
bob *                0 |           foobar           0 |             0           0

bob *                7 |           barfoo           7 |         1,000         993
alice                0 |           barfoo           7 |         1,000         993

sestimate -N NODES -t WALLTIME

sestimate -N 2 -t 2-10:00:00

Estimated CPU hours: 2784

scontrol show job JOBID

sacct -l -j JOBID

smemory JOBID

sdisk JOBID

Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik

squeue -l

Wed Oct 16 08:30:07 2013
     JOBID PARTITION     NAME     USER    STATE       TIME TIMELIMIT  NODES NODELIST(REASON)
591_[1-96]    normal    array    alice  PENDING       0:00     30:00      1 (None)
       589    normal      mpi      bob  RUNNING      25:55   2:00:00      4 cn[05-08]
       590    normal      omp    alice  RUNNING       0:25   1:00:00      1 cn09

smemory 430

 MaxVMSize  MaxVMSizeNode  AveVMSize     MaxRSS MaxRSSNode     AveRSS
---------- -------------- ---------- ---------- ---------- ----------
10271792K           cn06  10271792K   6544524K       cn06   6544524K
10085152K           cn07  10085152K   6538492K       cn07   6534876K

sjobcheck JOBID

Hostname                     LOAD                       CPU              Gexec
 CPUs (Procs/Total) [     1,     5, 15min] [  User,  Nice, System, Idle, Wio]
cn08    24 (   25/  529) [ 24.83, 24.84, 20.98] [  99.8,   0.0,   0.2,   0.0,   0.0] OFF
cn07    24 (   25/  529) [ 24.93, 24.88, 20.98] [  99.8,   0.0,   0.2,   0.0,   0.0] OFF
cn06    24 (   25/  529) [ 25.00, 24.90, 20.97] [  99.9,   0.0,   0.1,   0.0,   0.0] OFF
cn05    24 (   25/  544) [ 25.11, 24.96, 20.97] [  99.8,   0.0,   0.2,   0.0,   0.0] OFF

slicenses

sreservations

susage

sreport -t Hours Cluster AccountUtilizationByUser Accounts=niif Start=2014-01-01

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME

Submitted batch job JOBID

scancel JOBID

#SBATCH --no-requeue

#SBATCH --partition=test

#SBATCH --qos=fast

#SBATCH --qos=lowpri

#SBATCH --mem-per-cpu=MEMORY

#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL

#!/bin/bash
#SBATCH -A foobar
#SBATCH --time=24:00:00
#SBATCH --job-name=array
#SBATCH --array=1-96
srun envtest.sh

#!/bin/bash
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait

#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=24
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
mpirun ./a.out

#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
OMP_NUM_THREADS=$SLURM_NTASKS ./a.out

#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
mpirun $SLURM_NTASKS ./a.out

smonitor -n <JOBID>

smonitor -m <JOBID>

sinfo_uv

#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} ./a.out

#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} perfboost -ompi ./a.out

Indítási parancs: mpirun --bind-to-core --bycore

[cn05:05493] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 1 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 2 bound to socket 0[core 2]: [. . B . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 3 bound to socket 0[core 3]: [. . . B . . . . . . . .][. . . . . . . . . . . .]

Indítási parancs: mpirun --bind-to-core --bysocket

[cn05:05659] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 1 bound to socket 1[core 0]: [. . . . . . . . . . . .][B . . . . . . . . . . .]
[cn05:05659] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 3 bound to socket 1[core 1]: [. . . . . . . . . . . .][. B . . . . . . . . . .]

Indítási parancs: mpirun --bind-to-core --bynode

[cn05:05904] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05904] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 1 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 3 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]

export OMP_NUM_THREADS=10

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=24
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=24
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl

#!/bin/bash

#SBATCH -A foobar
#SBATCH --job-name="Matlab test job"
#SBATCH -n 1
#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1
#SBATCH -o slurm.out

matlab -nodisplay < job.m

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=GPU
#SBATCH --partition gpu
#SBATCH --gres gpu:4
#SBATCH --time=06:00:00

$PWD/gpu_burnout 3600

cd $HOME
mkdir local
(belépés az alklamazás könyvtárába)
./configure --prefix=$HOME/local
make; make install

ulimit -a

java -Xmx512m -version
javac -J-Xmx512m -version

export _JAVA_OPTIONS="-Xms1g -Xmx1g"

module load python numpy scipy

NCE_OFLAGS - optimalizációs kapcsolók C és Fortran
NCE_FFLAGS - Fortran kapcsolók
NCE_CFLAGS - C kapcsolók
NCE_LDFLAGS - könyvtárak C és Fortran

module load prace

FFLAGS=-openmp -I$(MKLROOT)/include
CFLAGS=-openmp -I$(MKLROOT)/include
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
  -Wl,--start-group \
  $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
  $(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
  $(MKLROOT)/lib/intel64/libmkl_core.a \
  $(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \
  -Wl,--end-group -lpthread -lm

CFLAGS=-O2 -xSSE4.2
FFLAGS=-O2 -xSSE4.2
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
 -Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
 $(MKLROOT)/lib/intel64/libmkl_sequential.a \
 $(MKLROOT)/lib/intel64/libmkl_core.a \
 $(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
 -lpthread -lm

CFLAGS=-O2 -xSSE4.2 -openmp
FFLAGS=-O2 -xSSE4.2 -openmp
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
 -Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
 $(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
 $(MKLROOT)/lib/intel64/libmkl_core.a \
 $(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
 -liomp5 -lpthread -lm -openmp

$ chmod +x slcs_unix_install.sh
$ ./slcs_unix_install.sh
$HOME/.globus/usercert.pem and $HOME/.globus/userkey.pem installed
NIIF HPC SLCS Root CA installed: $HOME/.globus/certificates/SLCSCA.pem
Default ARC client configuration created: $HOME/.arc/client.conf
NIIF Root CA 2 installed: $HOME/.globus/certificates/NIIFCA.pem
$

apt-get install nordugrid-arc-client

yum install nordugrid-arc-client

brew install nordugrid-arc

	[common]

	[computing/budapest]
	url=https://login.budapest.hpc.niif.hu:60000/arex
	infointerface=org.nordugrid.wsrfglue2
	submissioninterface=org.ogf.bes
	default=yes

	[computing/szeged]
	url=https://login.szeged.hpc.niif.hu:60000/arex
	infointerface=org.nordugrid.wsrfglue2
	submissioninterface=org.ogf.bes
	default=yes

	[computing/debrecen]
	url=https://login.debrecen.hpc.niif.hu:60000/arex
	infointerface=org.nordugrid.wsrfglue2
	submissioninterface=org.ogf.bes
	default=yes

	[computing/pecs]
	url=https://login.pecs.hpc.niif.hu:60000/arex
	infointerface=org.nordugrid.wsrfglue2
	submissioninterface=org.ogf.bes
	default=yes

	# FastestQueue – ranks targets according to their queue length
	brokername=FastestQueue

	# Random – ranks targets randomly
	#brokername=Random

	# Data – ranks targets according the amount of megabytes of the requested input files that are already
	# in the computing resources cache.
	#brokername=Data

	# PythonBroker:<module>.<class>[:arguments] – ranks targets using any user-supplied custom
	# Python broker module, optionally with broker arguments. Such module can reside anywhere in
	# user’s PYTHONPATH
	#brokername=PythonBroker

	[alias]
	pecs=computing:ARC1:https://login.pecs.hpc.niif.hu:60000/arex
	szeged=computing:ARC1:https://login.szeged.hpc.niif.hu:60000/arex
	debrecen=computing:ARC1:https://login.debrecen.hpc.niif.hu:60000/arex
	budapest=computing:ARC1:https://login.budapest.hpc.niif.hu:60000/arex
	hp=budapest szeged
	sgi=pecs debrecen

$ arcproxy
Enter pass phrase for private key:
Your identity: /C=HU/O=NIIF/OU=SLCS/L=hpcteszt/CN=joe
Proxy generation succeeded
Your proxy is valid until: 2015-03-30 05:01:09
$

$ arcinfo -c szeged
$ arcinfo -c hp -l
$ arcinfo

$ cat job.xrsl
&
(executable="matlab.sh")
(arguments="matlab.m")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="Matlab test")
(inputFiles=
("matlab.m" "")
)
(memory>="1000")
(gmlog="gm.log")
(wallTime="240")
(runTimeEnvironment="APPS/MATH/MATLAB-7.13")

$ cat matlab.sh
#!/bin/bash
echo
echo "Compute node: " `/bin/hostname -f`
echo
matlab -nodisplay < $1

$ cat matlab.m
2+3

$ cat job-openmp.xrsl
&
(executable="omp_mm")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="OpenMP test")
(queue="test")
(executables="omp_mm")
(count="10")
(countpernode="10")
(environment=("OMP_NUM_THREADS" "10"))
(queue="test")
(inputFiles=
   ("omp_mm" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")

$ arcsub job-openmp.xrsl
Job submitted with jobid: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn

$ arcstat https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Job: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
 Name: OpenMP test
 State: Finished
 Exit Code: 0

Status of 1 jobs was queried, 1 jobs returned information

$ arcget https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Results stored at: cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Jobs processed: 1, successfully retrieved: 1, successfully cleaned: 1
zion:~ joe $ cd cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ ls -l
total 16
drwx------  12 joe  staff   408 Mar 29 21:24 gm.log
-rw-------   1 joe  staff     0 Mar 29 21:24 stderr.txt
-rw-------   1 joe  staff  6362 Mar 29 21:24 stdout.txt
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $

zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ head stdout.txt
Starting matrix multiple example with 10 threads
Initializing matrices...
Thread 0 starting matrix multiply...
Thread=0 did row=0
Thread 9 starting matrix multiply...
Thread 6 starting matrix multiply...
Thread=0 did row=1
Thread 5 starting matrix multiply...
Thread=5 did row=50
Thread=5 did row=51
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe$

$ cat job-mpi.xrsl
&
(executable="mpi.sh")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="MPI test")
(executables="connectivity" "mpi.sh")
(count="10")
(inputFiles=
    ("connectivity" "")
    ("mpi.sh" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")
(runTimeEnvironment>=ENV/GCC/MPI/OPENMPI-1.4.3)

$ cat mpi.sh
#!/bin/bash
mpirun -np 10 ./connectivity -v

Egy 10 alkalmas, angol nyelvű Xeon Phi programozás tutoriál videóanyaggal és példaprogrammal elérhető a [Colfax oldalán](http://colfaxresearch.com/how-16-04/)

icpc -o hello-MIC -mmic hello.cc

export SINK_LD_LIBRARY_PATH=/opt/intel/composerxe-<verzió>/compiler/lib/mic

micnativeloadex hello-MIC

BUDAPEST2[cn10] phi (0)$ export SINK_LD_LIBRARY_PATH=/opt/intel/composerxe-2011.4.191/compiler/lib/mic
BUDAPEST2[cn10] phi (0)$ micnativeloadex hello-MIC
Hello world! I have 244 logical cores.
BUDAPEST2[cn10] phi (0)$

intelhome=/opt/intel/compilers_and_libraries_2016.1.150/linux
export SINK_LD_LIBRARY_PATH=$intelhome/compiler/lib/mic:$intelhome/mkl/lib/mic

#include <stdio.h>
int main(int argc, char * argv[]) {
	printf("Hello world from host!\n");
#pragma offload target(mic)
	{
		printf("Hello world from coprocessor!\n"); fflush(stdout);
	}
	printf("Bye\n");
}

//A változók felmásolásra kerülnek a Xeon Phi-re
#pragma offload_attribute(push, target(mic))
	double* A;
	void MatrixVector(double *b, double *c, double m, double n) {
		...
		c[= A[..](])*b[]
	}
// felmásolt objektumok visszamásolása
#pragma offload_attribute(pop)

int main() {
	...
#pragma offload target(mic) in(A[0:n*m])
// így is meg lehetne adni: #pragma offload target(mic:0) in(A : length(n*m))
	{
		MatrixVector(b, c, m, n);
	}
	...
}

export OFFLOAD_REPORT=3

Hello world from host!
[[MIC 0](Offload]) [File]                    hello_offload.cc
[[MIC 0](Offload]) [Line]                    5
[[MIC 0](Offload]) [Tag]                     Tag 0
Hello world from coprocessor!
[[HOST](Offload])  [0](Tag) [Time](CPU)        0.554653(seconds)
[[MIC 0](Offload]) [0](Tag) [Data](CPU->MIC)   0 (bytes)
[[MIC 0](Offload]) [0](Tag) [Time](MIC)        0.000140(seconds)
[[MIC 0](Offload]) [0](Tag) [Data](MIC->CPU)   0 (bytes)
Bye

#include <omp.h>

#pragma offload_attribute(push, target(mic))
void multiply(int n, int m, double* A, double* b, double* c){
	const int nCPUs = omp_get_max_threads();   //240
	omp_set_num_threads(nCPUs);
#pragma omp parallel for schedule(dynamic, 1)
	for ( int i = 0 ; i < m ; i++)
		 for ( int j = 0 ; j < n ; j++)
			 c[+= A[i*n+j](i]) * b[j];
}
#pragma offload_attribute(pop)

int main(){
	double * A = (double*) malloc(sizeof(double)*n*m);
	...
#pragma offload target(mic) in(A:length(n*m))
		 multiply(n, m, A, b, c);

icpc -o matrix-CPU -qopenmp matrix.cc

$ cat slurm_job_openmp_phi

#!/bin/bash
#SBATCH -A <PROJECT NEVE>
#SBATCH --job-name=<JOB NEVE>
#SBATCH --gres mic:2
#SBATCH --time=1:00:00
#SBATCH --partition=prod
#SBATCH -o slurm-%A.out
export OMP_NUM_THREADS=2
./runme_openmp_2phi

srun ./slurm_job_openmp_phi

export MIC_ENV_PREFIX=XEONPHI
export OMP_NUM_THREADS=12
export XEONPHI_OMP_NUM_THREADS=240

icpc autovec.cc -mmic -qopt-report=5 -opt-report-file=vectorization.oMIC.optrpt -qopt-report-phase:vec

pragma simd
or (int i = 0; i < n; i++)
A[+= B[i](i]);

pragma omp parallel for simd
or (int i = 0; i < n; i++)
DoSomeWork(A[i]);

struct MyStructure {
	float x, y, z;
}

void My_Function(cons int nItem, MyStructure* const Items, const float delta) {
	for (int i = 0; i < nItem; i++) {
		...
		for (int j = 0; j < nItem; j++) {
			const float dx = Items[- Items[i](j].x).x;
			const float dy = Items[- Items[i](j].y).y;
			const float dz = Items[- Items[i](j].z).z;
			...
		}
	}
	...
}

struct MyStructureSet {
	float *x, *y, *z;
}

void My_Function(cons int nItem, MyStructure* const Items, const float delta) {
	const int tileSize = 16;
#pragma omp parallel for schedule(guided)
	for (int ii = 0; ii < nItem; ii+= tileSize) {
		...
#pragma unroll(tileSize)
		for (int j = 0; j < nItem; j++) {
#pragma unroll(tileSize)
			for (int i = ii; i < ii + tileSize; i++) {
				const float dx = Items.x[- Items.x[i](j]);
				const float dy = Items.y[- Items.y[i](j]);
				const float dz = Items.z[- Items.z[i](j]);
				...
			}
		}
	}
	...
}

// n%16 != 0
float* A = _mm_malloc(sizeof(float)*n*n, 64);

int lda=n;
if (n % 16 != 0) lda += (16 - n%16); // most lda%16==0
float* A = _mm_malloc(sizeof(float)*n*lda, 64);

// használat
for (int i = 0; i < n; i++)
	for (int j = 0; j < n; j++)
		A[+ j](i*lda) = ...

#pragma vector aligned
	for (int j = 0; j < n; j++)
		A[+ j](i*lda) -= ...

for (int i = 0; i<n; i++)
	A[i]=...

for (int b=0; b<n; b++) {
	const int jStart = b- b%16; // mindig osztható 16-val
	...
#pragma simd
	for (int j = jStart; j<n; j++)
		A[j]=...

export OMP_NUM_THREADS=5

#pragma omp parallel for              	//külső for szálak párhuzamosítása
for (int i = 0; i < n; i++)
#pragma simd				// vektorizáció a belső cikluson
	for (int j = 0; j < m; j++)
		My_Function(A[i][j]);

#pragma omp parallel for simd
for (int i = 0; i < n; i++)
		My_Function(A[i]);

int A, B, C;

#pragma omp parallel private(A) shared(B)
{...}

#pragma omp parallel [schedule (<mode>,<chunk>) {...}

#pragma omp parallel for
for (int i = 0; i < n; i++) {
#pragma omp critical
	{ // kritikus szekció, csak egy szál hajthatja végre
		total = total + i;
	}
}

#pragma omp parallel for
for (int i = 0; i < n; i++) {
#pragma omp atomic
	 total += i;
}

int sum = 0;
#pragma omp parallel for reduction(+: sum)
for (int i = 0; i < n; i++) {
	sum = sum + i;
}

int sum = 0;
#pragma omp parallel
{
	int sum_thr = 0;
#pragma omp for
	for (int i=0; i<n; i++)
		sum_thr += i;

#pragma omp atomic
	sum += sum_thr;
}

#pragma omp parallel
{
	// Az itt definiált forrást minden szál esetén végre fog hajtani
	...
#pragma omp for [schedule (<mode>,<chunk>)
	for (int i = 0; i < n; i++) {
		// Ez a kódrész lesz párhuzamosítva
		...
	}
	// ... és ez a köd is minden szál esetén végrehajtódik
	...
}

for (int i = 0; i < n; i++) {...}

int STRIP=1024;
for (int ii = 0; ii < n; ii += STRIP)
 for (int i = ii; i < ii+STRIP; i++) {...}

// ha még van maradék elem, akkor azokon is végrehajtjuk a számításokat
if (n%STRIP != 0) {
	for (i=n-(n%STRIP)+1; i<n; i++) {...}
}

#pragma omp parallel for collaps(2)
for (int i=0; i<n; i++)
	for( int j=0; j<m; j++){...}

#pragma omp parallel for
for (int c=0; c < n*m; c++) {
	int i = c/n;
	int j = c%n;
	...
}

% ssh-keygen -t rsa -b 4096

$HOME/.ssh/id_rsa.pub
$HOME/.ssh/id_rsa

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAACAQDHsxSQuT8q5uSS8PhtlylPWkoEvP
2KGAwhai/mBcs6xCYmMv0/tW9z6UmK7+zVqUNIUXgTOoTVtFwL6JJxSY3phNgUQfAtkjebJ
0qVLR0xcaMysSzhMptdyRST4g/E75FyePPiCj38Z2QUv4zGEABWHe/emwD566YhIEjHrST6
flRohsDWJU4lgkargrfI4mcv5pUgxbXIWyaCIJqAFAnxcGRhUCfCBmCKXhJw1XOL9uEA1Fv
c2Te13gUUHgSBv/9M8eaKwAsOdykd6fGAXSwA0tqqG6iJfJ1LxhGpUKNCFzOjHdN3hBGkW1
VxxhvLMF0fS8/Dr7Xy+Zm84smtvJWJS4ghlLRAnCsGcEVwhPaBwHCR5r2YCajKbgLt/ibmU
hkq3ULgwq6pZWm9OTbQ2uBad/Ao5Hc+BQ8G+8C0a73HvBcy1Ta4zeU13FMcaA3veskPeqHm
CQodmMkyhM0XnaWlF/xzPxnzuEFfFxe3lkenio7AnrA0WTU9Cq3mpLFgZS8kAUerjW42qoZ
yMI3ewJeqi1Llqi7UysXG6N5785kQ3xo3RNjz6FiNO5W1iNqDraTh+mIfYqWYpf744HIXib
GsWyhLEOgoJyDmMXpl11uN0fk+0oWkKrtkfMYv9J9U9aMpzdgFDPbw/qCgYmL+XZJBZAoUs
8Vb8PL2DqWDFC+/Aw== user@host

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAACAQDHsxSQuT8q5uSS8PhtlylPWkoEvP
2KGAwhai/mBcs6xCYmMv0/tW9z6UmK7+zVqUNIUXgTOoTVtFwL6JJxSY3phNgUQfAtkjebJ
0qVLR0xcaMysSzhMptdyRST4g/E75FyePPiCj38Z2QUv4zGEABWHe/emwD566YhIEjHrST6
flRohsDWJU4lgkargrfI4mcv5pUgxbXIWyaCIJqAFAnxcGRhUCfCBmCKXhJw1XOL9uEA1Fv
c2Te13gUUHgSBv/9M8eaKwAsOdykd6fGAXSwA0tqqG6iJfJ1LxhGpUKNCFzOjHdN3hBGkW1
VxxhvLMF0fS8/Dr7Xy+Zm84smtvJWJS4ghlLRAnCsGcEVwhPaBwHCR5r2YCajKbgLt/ibmU
hkq3ULgwq6pZWm9OTbQ2uBad/Ao5Hc+BQ8G+8C0a73HvBcy1Ta4zeU13FMcaA3veskPeqHm
CQodmMkyhM0XnaWlF/xzPxnzuEFfFxe3lkenio7AnrA0WTU9Cq3mpLFgZS8kAUerjW42qoZ
yMI3ewJeqi1Llqi7UysXG6N5785kQ3xo3RNjz6FiNO5W1iNqDraTh+mIfYqWYpf744HIXib
GsWyhLEOgoJyDmMXpl11uN0fk+0oWkKrtkfMYv9J9U9aMpzdgFDPbw/qCgYmL+XZJBZAoUs
8Vb8PL2DqWDFC+/Aw== user@host

grid-proxy-init

arcproxy

arcproxy -c validityPeriod=86400

grid-proxy-init -hours 24

gsissh -p 2222 prace-login.sc.niif.hu

globus-url-copy [options] sourceURL destinationURL

file://path

protocol://host[:port]/path

globus-url-copy file://task/myfile.c gsiftp://prace-login.sc.niif.hu/home/prace/pr1hrocz/myfile.c

sbalance

Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User             Usage |          Account       Usage | Account Limit   Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
alice                0 |           foobar           0 |             0           0
bob *                0 |           foobar           0 |             0           0

bob *                7 |           barfoo           7 |         1,000         993
alice                0 |           barfoo           7 |         1,000         993

sestimate -N NODES -t WALLTIME

sestimate -N 2 -t 2-10:00:00

Estimated CPU hours: 2784

sacct -l -j JOBID

smemory JOBID

sdisk JOBID

squeue -l

Wed Oct 16 08:30:07 2013
     JOBID PARTITION     NAME     USER    STATE       TIME TIMELIMIT  NODES NODELIST(REASON)
591_[1-96]    normal    array    alice  PENDING       0:00     30:00      1 (None)
       589    normal      mpi      bob  RUNNING      25:55   2:00:00      4 cn[05-08]
       590    normal      omp    alice  RUNNING       0:25   1:00:00      1 cn09

smemory 430

 MaxVMSize  MaxVMSizeNode  AveVMSize     MaxRSS MaxRSSNode     AveRSS
---------- -------------- ---------- ---------- ---------- ----------
10271792K           cn06  10271792K   6544524K       cn06   6544524K
10085152K           cn07  10085152K   6538492K       cn07   6534876K

sjobcheck JOBID

Hostname                     LOAD                       CPU              Gexec
 CPUs (Procs/Total) [    1,     5, 15min]() [ User,  Nice, System, Idle, Wio]()
cn08    24 (   25/  529) [24.83, 24.84, 20.98]() [ 99.8,   0.0,   0.2,   0.0,   0.0]() OFF
cn07    24 (   25/  529) [24.93, 24.88, 20.98]() [ 99.8,   0.0,   0.2,   0.0,   0.0]() OFF
cn06    24 (   25/  529) [25.00, 24.90, 20.97]() [ 99.9,   0.0,   0.1,   0.0,   0.0]() OFF
cn05    24 (   25/  544) [25.11, 24.96, 20.97]() [ 99.8,   0.0,   0.2,   0.0,   0.0]() OFF

slicenses

sreservations

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME

sbatch jobscript.sh

Submitted batch job JOBID

scancel JOBID

#SBATCH --partition=test

#SBATCH --qos=lowpri

#SBATCH --mem-per-cpu=MEMORY

#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL

#!/bin/bash
#SBATCH -A foobar
#SBATCH --time=24:00:00
#SBATCH --job-name=array
#SBATCH --array=1-96
srun envtest.sh

#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=24
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
mpirun ./a.out

Command to run: mpirun --bind-to-core --bycore

[cn05:05493] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 1 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 2 bound to socket 0[core 2]: [. . B . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 3 bound to socket 0[core 3]: [. . . B . . . . . . . .][. . . . . . . . . . . .]

Command to run: mpirun --bind-to-core --bysocket

[cn05:05659] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 1 bound to socket 1[core 0]: [. . . . . . . . . . . .][B . . . . . . . . . . .]
[cn05:05659] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 3 bound to socket 1[core 1]: [. . . . . . . . . . . .][. B . . . . . . . . . .]

Command to run: mpirun --bind-to-core --bynode

[cn05:05904] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05904] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 1 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 3 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]

export OMP_NUM_THREADS=24

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH -N 1
OMP_NUM_THREADS=24 ./a.out

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH -N 2
#SBATCH --time=08:00:00
#SBATCH --ntasks-per-node=1
#SBATCH -o slurm.out
export OMP_NUM_THREADS=24
mpirun ./a.out

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=24
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=GPU
#SBATCH --partition gpu
#SBATCH --gres gpu:4
#SBATCH --time=06:00:00

$PWD/gpu_burnout 3600

ssh USER@login.budapest2.hpc.niif.hu

Fel:  scp FILE USER@login.budapest2.hpc.niif.hu:FILE
Le :  scp USER@login.budapest2.hpc.niif.hu:FILE FILE

Fel:  rsync -a -e ssh DIRECTORY USER@login.budapest2.hpc.niif.hu:/home/USER
Le :  rsync -a -e ssh USER@login.budapest2.hpc.niif.hu:/home/USER/DIRECTORY

               rövid CWD
                     |
    BUDAPEST2[login] ~ (0)$
        |       |       |
   HPC állomás  |       |
         rövid gép név  |
               előző parancs exit kódja

module avail

module list

module load APP

setfacl -m u:OTHER:rx $HOME

setfacl -m u:OTHER:rxw $HOME/DIRECTORY

getfacl $HOME/DIRECTORY

/mnt/fhgfs/home/$USER

rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER

sbalance

Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User             Usage |          Account       Usage | Account Limit   Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob *                7 |           foobar           7 |         1,000         993
alice                0 |           foobar           7 |         1,000         993

sestimate -N NODES -t WALLTIME

scontrol show job JOBID

sacct -l -j JOBID

smemory JOBID

sdisk JOBID

Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik

slicenses

sreservations

susage

sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME

#SBATCH --gres=mic:N

sbatch slurm.sh

Submitted batch job JOBID

scancel JOBID

#SBATCH --no-requeue

#SBATCH --partition=test

#SBATCH --qos=fast

#SBATCH --qos=lowpri

#SBATCH --mem-per-cpu=MEMORY

ulimit -v unlimited

#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh

#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out

ssh USER@login.miskolc.hpc.niif.hu

Fel:  scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le :  scp USER@login.miskolc.hpc.niif.hu:FILE FILE

Fel:  rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le :  rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY

               rövid CWD
                     |
      MISKOLC[login] ~ (0)$
        |       |       |
   HPC állomás  |       |
         rövid gép név  |
               előző parancs exit kódja

module avail

module list

module load APP

setfacl -m u:OTHER:rx $HOME

setfacl -m u:OTHER:rxw $HOME/DIRECTORY

getfacl $HOME/DIRECTORY

sbalance

Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User             Usage |          Account       Usage | Account Limit   Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob *                7 |           foobar           7 |         1,000         993
alice                0 |           foobar           7 |         1,000         993

sestimate -c CORES -t WALLTIME

scontrol show job JOBID

sacct -l -j JOBID

smemory JOBID

sdisk JOBID

Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik

slicenses

sreservations

susage

sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME

sbatch slurm.sh

Submitted batch job JOBID

scancel JOBID

#SBATCH --no-requeue

sacctmgr show qos

#SBATCH --qos=lowpri

#SBATCH --qos=fast

#SBATCH --qos=test

#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL

#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
OMP_NUM_THREADS=$SLURM_NTASKS ./a.out

#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
mpirun $SLURM_NTASKS ./a.out

A CPU idő igénylésekor egy olyan rövid indoklást várunk a HPC projekt vezetőktől, amiből kiderül, hogy a futtatandó alkalmazás képes MIC-et használni (ez alól kivétel, ha a felhasználás célja a gépen elérhető licenszelt szoftver használata, amennyiben az nem képes Phi-t használni (pl. Gaussian, Maple)). Erre azért van szükség, mert az erőforrás teljesítményének nagyobbik része Phi gyorsításból származik, egy gyorsítás nélküli program a CPU-kat lefoglalja, korlátozva ezzel a Phi-k használatát, ami kihasználatlansághoz vezet. Az Intel  [közzétett egy listát](https://software.intel.com/en-us/xeonphionlinecatalog) arról, hogy melyik alkalmazás rendelkezik jelenleg hivatalosan Intel Xeon Phi támogatással, de természetesen egyéb, Phi-t használó program is nagy valószínűséggel jól fut a gépen.

ssh USER@login.debrecen2.hpc.niif.hu

Fel:  scp FILE USER@login.debrecen2.hpc.niif.hu:FILE
Le :  scp USER@login.debrecen2.hpc.niif.hu:FILE FILE

Fel:  rsync -a -e ssh DIRECTORY USER@login.debrecen2.hpc.niif.hu:/home/USER
Le :  rsync -a -e ssh USER@login.debrecen2.hpc.niif.hu:/home/USER/DIRECTORY

               rövid CWD
                     |
    DEBRECEN2[login] ~ (0)$
        |       |       |
   HPC állomás  |       |
         rövid gép név  |
               előző parancs exit kódja

module avail

module list

module load APP

setfacl -m u:OTHER:rx $HOME

setfacl -m u:OTHER:rxw $HOME/DIRECTORY

getfacl $HOME/DIRECTORY

/mnt/fhgfs/home/$USER

rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER

sbalance

Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User             Usage |          Account       Usage | Account Limit   Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob *                7 |           foobar           7 |         1,000         993
alice                0 |           foobar           7 |         1,000         993

sestimate -N NODES -t WALLTIME

scontrol show job JOBID

sacct -l -j JOBID

smemory JOBID

sdisk JOBID

Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik

slicenses

sreservations

susage

sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME

#SBATCH --gres=mic:N

srun -l -n 1 -t TIME --gres=mic:1 -A ACCOUNT APP

A Xeon Phi gyorsítók használatról, programozásáról és optimalizálásról [készítettünk egy wiki oldalt](https://help.edu.hu/books/hpc/page/intel-xeon-phi)

sbatch slurm.sh

Submitted batch job JOBID

scancel JOBID

#SBATCH --no-requeue

#SBATCH --partition=prod-phi

#SBATCH --qos=fast

#SBATCH --qos=lowpri

#SBATCH --mem-per-cpu=MEMORY

#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=8
#SBATCH --time=12:00:00
mpirun --report-pid ${TMPDIR}/mpirun.pid PROGRAM

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=8
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=8
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=16
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl

 When applying for CPU time, we expect a brief justification from the HPC project managers stating that the application to be run is capable of using a GPU (except when the purpose is to use licensed software – available on the machine – that is unable to use a GPU, e.g. Gaussian, Maple). This is necessary because most of the HPC resource performance comes from GPU acceleration, so a program without acceleration that allocates CPUs, would be limiting the use of GPUs leading to underutilization. NVIDIA released [**a list**](http://www.nvidia.com/object/gpu-applications.html) of applications officially supported by NVIDIA GPUs but of course other programs that use GPUs are also likely to perform well on the machine.

* For those who are interested in GPU programming we held a workshop the video materials of which are available here: [GPU programming workshop (videotorium)](http://videotorium.hu/hu/events/details/1864,GPU_programozas_workshop)

ssh USER@login.debrecen2.hpc.niif.hu

Up: scp FILE USER@login.debrecen2.hpc.niif.hu: FILE
Down: scp USER@login.debrecen2.hpc.niif.hu: FILE FILE

Up: rsync -a -e ssh DIRECTORY USER@login.debrecen2.hpc.niif.hu:/home/USER
Down: rsync -a -e ssh USER@login.debrecen2.hpc.niif.hu:/home/USER/DIRECTORY

               short form of CWD
                     |
    DEBRECEN2[login] ~ (0)$
        |       |       |
   HPC station  |       |
    short machine name  |
               exit code of the previous command

module avail

module list

module load APP

setfacl -m u:OTHER:rx $HOME

setfacl -m u:OTHER:rxw $HOME/DIRECTORY

getfacl $HOME/DIRECTORY

/mnt/fhgfs/home/$USER

rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER

sbalance

Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User             Usage |          Account       Usage | Account Limit   Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob *                7 |           foobar           7 |         1,000         993
alice                0 |           foobar           7 |         1,000         993

sestimate -N NODES -t WALLTIME

scontrol show job JOBID

sacct -l -j JOBID

smemory JOBID

sdisk JOBID

Resources / AssociationResourceLimit - Waiting for a resource
AssociationJobLimit / QOSJobLimit - Not enough CPU time or maximum CPU number is reserved
Priority - Waiting due to low priority

slicenses

sreservations

susage

sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME

#SBATCH --gres=gpu:N

srun -l -n 1 -t TIME --gres=gpu:1 -A ACCOUNT APP

sbatch slurm.sh

Submitted batch job JOBID

scancel JOBID

#SBATCH --no-requeue

#SBATCH --partition=prod-gpu-k40

#SBATCH --qos=fast

#SBATCH --qos=lowpri

#SBATCH --mem-per-cpu=MEMORY

#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=8
#SBATCH --time=12:00:00
mpirun --report-pid ${TMPDIR}/mpirun.pid PROGRAM

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=8
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=8
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=16
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl

A CPU idő igénylésekor egy olyan rövid indoklást várunk a HPC projekt vezetőktől, amiből kiderül, hogy a futtatandó alkalmazás képes GPU-t használni (ez alól kivétel, ha a felhasználás célja a gépen elérhető licenszelt szoftver használata, amennyiben az nem képes GPU-t használni (pl. Gaussian, Maple)). Erre azért van szükség, mert az erőforrás teljesítményének nagyobbik része GPU gyorsításból származik, egy gyorsítás nélküli program a CPU-kat lefoglalja, korlátozva ezzel a GPU-k használatát, ami kihasználatlansághoz vezet. Az NVidia  [közzétett egy listát](http://www.nvidia.com/object/gpu-applications.html) arról, hogy melyik alkalmazás rendelkezik jelenleg hivatalosan NVidia GPU támogatással, de természetesen egyéb, GPU-t használó program is nagy valószínűséggel jól fut a gépen.

* A GPU programozás iránt érdeklődőknek tartottunk egy workshopot, amelynek video anyagai elérhetőek itt:  [GPU programozás workshop (videotorium)](http://videotorium.hu/hu/events/details/1864,GPU_programozas_workshop)

ssh USER@login.debrecen2.hpc.niif.hu

Fel:  scp FILE USER@login.debrecen2.hpc.niif.hu:FILE
Le :  scp USER@login.debrecen2.hpc.niif.hu:FILE FILE

Fel:  rsync -a -e ssh DIRECTORY USER@login.debrecen2.hpc.niif.hu:/home/USER
Le :  rsync -a -e ssh USER@login.debrecen2.hpc.niif.hu:/home/USER/DIRECTORY

               rövid CWD
                     |
    DEBRECEN2[login] ~ (0)$
        |       |       |
   HPC állomás  |       |
         rövid gép név  |
               előző parancs exit kódja

module avail

module list

module load APP

setfacl -m u:OTHER:rx $HOME

setfacl -m u:OTHER:rxw $HOME/DIRECTORY

getfacl $HOME/DIRECTORY

/mnt/fhgfs/home/$USER

rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER

sbalance

Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User             Usage |          Account       Usage | Account Limit   Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob *                7 |           foobar           7 |         1,000         993
alice                0 |           foobar           7 |         1,000         993

sestimate -N NODES -t WALLTIME

scontrol show job JOBID

sacct -l -j JOBID

smemory JOBID

sdisk JOBID

Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik

slicenses

sreservations

susage

sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME

#SBATCH --gres=gpu:N

srun -l -n 1 -t TIME --gres=gpu:1 -A ACCOUNT APP

sbatch slurm.sh

Submitted batch job JOBID

scancel JOBID

#SBATCH --no-requeue

#SBATCH --partition=prod-gpu-k40

#SBATCH --qos=fast

#SBATCH --qos=lowpri

#SBATCH --mem-per-cpu=MEMORY

#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh

#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=8
#SBATCH --time=12:00:00
mpirun --report-pid ${TMPDIR}/mpirun.pid PROGRAM

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=8
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=8
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out

#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=16
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl

Forító	Soros	Párhuzamos
Intel Fortran	ifort	mpiif90
Intel C	icc	mpiicc
GNU Fortran	gfotran	mpif90
GNU C	gcc	mpicc

CPU	threads/Core	max threads	CPU Freq	Memória	L1 cache	L2 cache	Interfész	Ptot	Számítási kapacitás
61	4 Hardver	244	1238 GHz	16GB GDDR5	32KB/core	512KB/core	PCIe	300W	1,2 TFlop/s dupla pontosság
		OpenMP-nél csak 240		~100 cycles ~174 GB/s	~3 cycles	~10 cycles	~7 GB/s ~1 microsecond		2,4 TFlop/s egyszeres pontosság

1.organizationalUnitName	= Organizational Unit Name
1.organizationalUnitName_default	= GRID # For example: GRID, HBONE, General Purpose
2.organizationalUnitName	= Second Organizational Unit Name
2.organizationalUnitName_default	= NIIF # For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...
commonName	= Common Name (YOUR name) # User Name.
commonName_max	= 64A

Klaszter	Budapest2
Típus	HP SL250s
core / node	10 × 2 Xeon E5-2680v2 2.80GHz
Intel Xeon Phi / node	2 × Intel(R) Xeon Phi(TM) MIC SE10/7120P
Compute node-ok	14 db
Max Walltime	7-00:00:00
Max core-ok / projekt	140 (7db node)
Max mem / core	3000 MB

ccNUMA	Miskolc
Típus	SGI UV 2000
CPU / node	44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
Compute node-ok	1 db
Max Walltime	7-00:00:00
Max mem / core	3750 MB

Klaszter	Debrecen3 Phi (Apollo)
Típus	HP Apollo 8000
core / node	12 × 2 Intel Xeon E5-2670 v3 @ 2.30GHz
MIC / node	44 x 2 Intel(R) Xeon Phi(TM) MIC SE10/7120D
Compute node-ok	44 db
Max Walltime	7-00:00:00
Max core-ok / projekt	336
Max mem / core	5000 MB

Software component	Debrecen	Pécs	Szeged	Budapest	Budapest2	Debrecen2,3 (Leo, Apollo)	Miskolc
Compiler environment (compiler, debugger, profiler)
AMD compilers (opencc, openf90, openf95)	-	-	-	Available	Available	-	-
Math. Library (AMD) ACML	-	-	-	4.2.4	-	-	-
GDB	7	7	7.0.1	7.2	-	-	7.5
GNU compilers (gcc, g++, gfortran)	4.3	4.1.2	4.1.2, 4.4.4	4.4.7	-	4.8.5	-
Gprof	2.2	2.17	2.20	2.26.1	-	-	-
Intel compilers (icc, ifort), MKL, Linking	12.1.5 (composerxe-2011 Update 11)	-	-	-	-	16.0	-
Oprofile	-	-	-	0.9.4	-	-	-
Libraries supporting parallel development
LAM-MPI	-	-	-	7.1.2	-	-	-
MPICH2	1.4	1.4	1.2	-	-	-	-
OpenMP	2.5 (GNU), 3.0 (Intel)	2.5 (GNU), 2.5 (AMD)	-	2.5 (GNU), 3.0 (Intel)	-	-	-
OpenMPI	1.4.2	1.3.2	1.4.3	1.8.5	-	1.6.3	-
PVM	-	-	-	3.4.5	-	-	-
SGI Perf. Suite	Available	-	-	-	Available	-	Available
SGI-MPI (MPT)	2.04	-	-	-	-	2.13	-
PGI Compiler and Tools	-	-	-	-	15.10	-	-
Libraries supporting scientific work
AmberTool	16	-	-	-	-	-	-
Atlas	3.8.3	-	-	-	-	-	-
BLACS	1.1 (OpenMPI, MPICH2)	1.1 (OpenMPI Intel)	-	3.1.3	-	-	-
BLAS	3.2.2	3	3.6.1	-	-	-	3
Boost	1.36	-	-	-	-	-	-
FFTW	3.1.2	3.2.2	3.3.5	3.3.4	3.3.3	-	-
Gromacs	4.5.4	4.5.5	-	5.1.4	4.6.2	-	-
GUILE	1.8.5	-	-	-	-	1.8.8	-
HDF5	1.8.7	-	1.8.14	-	-	-	-
LAMMPS	-	-	16.05.14 (Phi)	16.05.14 (GPU, Phi)	-	-	-
Lapack	3.2.2	3	3.6.1	-	-	-	-
Maple	-	18	-	2015	-	-	-
Matlab	7.13.0 (R2011b)	-	-	R2015b	-	-	-
NetCDF	4.1.3	-	4.2.1.1	4.4.1	4.3.3.1	-	-
NumPy	1.3	1.7.1	1.11.2	-	-	-	1.7.0
PETSc	-	-	3.7.4 Intel	-	-	-	-
Python	2.7.5	-	-	3.5.2	-	-	-
Octave	3.4	3.0.5	-	-	-	-	-
Qt	3.3.8b, 4.6.2	-	3.3.6	-	-	-	-
R	2.8.1, 3.2.0, 3.2.5(Intel)	2.8.1	-	-	-	3.0.1	-
Scalapack	1.7.5	-	2.0.2	-	-	-	-
Scilab	5.3.2	-	-	-	-	-	-
Scipy	0.12.0	0.18.1	-	-	-	-	-
Sun JRE	1.6	-	-	1.8	1.7	-	-
Gaussian	09_REV_C.01	-	-	-	-	09_REV_D.01	-
Middleware
ARC grid middleware	4.1.0 (A-REX, ARIS, clients)	-	-	-	-	-	-
Miscellaneous software
Emacs	22.3	21.4	-	23.1.1	22.3.1	-	-
GNU Plot	4.2.3	4	-	-	-	-	-
ImageMagick	6.4.3	6.2.8	-	-	-	-	-
Turbo VNC	1.1	-	-	2	-	-	-
Blender	2.49	-	-	2.49	-	-	-
VirtualGL	2.3.2	-	-	2.4	-	-	-
Paraview	3.14.1	-	-	-	3.14.1	-	-
ffmpeg	-	-	0.4.9	-	-	-	-

Cluster	Debrecen2 (Leo)
Type	HP SL250s
Core / node	8 × 2 Xeon E5-2650v2 2.60GHz
GPU / node	68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
# of compute nodes	84
Max Walltime	7-00:00:00
Max core / project	336
Max mem / core	7000 MB

Helyszín	Budapest	Budapest2	Szeged	Debrecen	Debrecen2-GPU (Leo)	Debrecen3-Phi (Apollo)	Pécs	Miskolc
Típus	HP CP4000SL	HP SL250s	HP CP4000BL	SGI ICE8400EX	HP SL250s	HP Apollo 8000	SGI UV 1000	SGI UV 2000
CPU-k / node	2	2	4	2	2	2	192	44
Core-ok / CPU	12	10	12	6	8	12	6	8
Memória / node	66 GB	63 GB	132 GB	47 GB	125 GB	125 GB	6 TB	1.4 TB
Memória / core	2.6 GB	3 GB	2.6 GB	2.6 GB	7 GB	5 GB	5 GB	3.75 GB
CPU	AMD Opteron 6174 @ 2.2GHz	Intel Xeon E5-2680 v2 @ 2.80GHz	AMD Opteron 6174 @ 2.2GHz	Intel Xeon X5680 @ 3.33 GHz	Intel Xeon E5-2650 v2 @ 2.60GHz	Intel Xeon E5-2670 v3 @ 2.30GHz	Intel Xeon X7542 @ 2.66 GHz	Intel Xeon E5-4627 v2 @ 3.33 GHz
GPU	-	-	2 * 6 Nvidia M2070	-	68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x	-	-	-
Intel Xeon Phi (KNC)	-	14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120	-	-	-	45 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120	-	-
Linpack teljesítmény (Rmax)	5 Tflops	27 Tflops	20 Tflops	18 Tlops	254 Tflops	~106 Tflops	10 Tflops	8 Tflops
Compute node-ok száma	32	14	50	128	84	45	1	1
Dedikált storage	50 TB	500 TB	250 TB	500 TB	585 TB (Phi-vel közös)	585 TB (GPU-val közös)	500 TB	240 TB
Interconnect	IB QDR	IB NB FDR	IB QDR	IB QDR	IB NB FDR	IB NB FDR	Numalink 5	Numalink 6
Scheduler	SLURM	SLURM	SLURM	SLURM	SLURM	SLURM	SLURM	SLURM
MPI	OpenMPI (ompi)	IntelMPI (impi)	OpenMPI (ompi)	SGI MPT (mpt)	OpenMPI (ompi)	OpenMPI (ompi)	SGI MPT (mpt)	SGI MPT (mpt)

HPC

NIIF_szuperszámítógép_szolgáltatás

Általános ismertető

Üzemeltetés

A felhasználás alapelvei

Témaszám igénylés

Regisztráció

Access_Policy

Summary of acceptable use policy

User accountability

Resource use

Account usage

Software and data

Contact information

Changes to the acceptable use policy

HPC-GYIK

Ki használhatja a szuperszámítógépet?

Mire használható a szuperszámítógép-rendszer?

Hogyan lehet a szuperszámítógépekhez hozzáférni?

Melyek a felhasználás feltételei?

Hogyan kerülnek elosztásra az erőforrások?

Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?

Milyen felhasználói támogatás/segítség vehető igénybe?

Mennyit kell fizetni a szuperszámítógépek használatáért?

A köszönetnyilvánítást milyen formában javasolt megtenni a publikációban?

NIIF_szuperszámítógépek_használata

A szuperszámítógépekről

Köszönetnyilvánítás

Hozzáférés a szuperszámítógépekhez

SSH belépés

Fájl másolás SCP segítségével

Adatátvitel rsync segítségével

Felhasználói felület

Modul környezet

Példa

Adatok megosztása projekt tagok számára

Python csomag telepítése a saját home könyvtárunkba

Közös home könyvtár használata

Biztonsági mentés, adatmegosztás

Alkalmazások lefordítása

SLURM ütemező használata

A gépidő becslése

Állapotinformációk

Slurm figyelmeztető üzenetek

CPU felhasználás ellenőrzése

Licenszek ellenőrzése

Karbantartás ellenőrzése

Összesített felhasználás

Teljes fogyasztás

Feladatok futtatása

Kötelező paraméterek

Nem újrainduló jobok

Feladat sorok

A szolgáltatás minősége (QOS)

Magas prioritás

Alacsony prioritás

Memória foglalás

Email értesítés

Tömbfeladatok (arrayjob)

Soros (serial) jobok

OpenMPI feladatok

SGI ccNUMA UV 1000 (Pécs)

OMP Példa

SGI MPT MPI Példa

Jobok monitorozása

SGI MPT MPI feladatok (Debrecen)

SGI PerfBoost egyéb MPI feladatokra (Debrecen)

CPU binding

Kötés CPU magonként

Kötés CPU foglalat szerint

Kötés node-ok szerint

OpenMP (OMP) feladatok

Hibrid MPI-OMP feladatok

Maple Grid feladatok

Matlab feladatok

GPU-k használata

Alkalmazások beállításai

Saját programok telepítése

Java JVM heap méret

Python Numpy és Scipy használat