Difference: LocalJobs (1 vs. 7)

Revision 72012-04-12 - EnricoFattibene

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Accounting dei job locali in IGI

Line: 9 to 9
  La decisione se accountare o meno i job locali (oltre a quelli Grid) tramite DGAS e' lasciata al sito. Il Support Team di IGI ritiene che, nel caso in cui tra i job locali ci sia una parte di job di utenti di VO di Grid, e' auspicabile che questi vengano accountati.
Changed:
<
<
Se i job locali sono esclusivamente di utenti che non usano la grid e non appartengono quindi a VO, in tal caso si possono non accountare.
>
>
Se i job locali sono esclusivamente di utenti che non usano la Grid e non appartengono quindi a VO, in tal caso si possono non accountare.
 

Come DGAS stabilisce se un job è locale o di Grid

Revision 62012-04-12 - EnricoFattibene

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Accounting dei job locali in IGI

Line: 17 to 17
  Se non è possibile recuperare informazioni sul job dal log di BLAH, DGAS controlla se il job è stato sottomesso tramite pool account. In caso affermativo, il campo voOrigin è settato a pool e il job è considerato Grid.
Changed:
<
<
Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti o i gruppi locali su una VO (il percorso di questo file è indicato come valore della variabile localUserGroup2VOMap nel file /opt/glite/etc/dgas_sensors.conf). Se questo file esiste e l'utente o il gruppo locale è presente nel file, è possibile ricavare la VO. Il campo voOrigin viene settato a map e il job è considerato locale.
>
>
Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti o i gruppi locali su una VO (il percorso di questo file è indicato come valore della variabile localUserGroup2VOMap nel file /opt/glite/etc/dgas_sensors.conf, o /etc/dgas/dgas_sensors.conf nella versione 4.0.x dei sensori). Se questo file esiste e l'utente o il gruppo locale è presente nel file, è possibile ricavare la VO. Il campo voOrigin viene settato a map e il job è considerato locale.
 
Changed:
<
<
Se il file di mapping tra utenti o gruppi locali e VO non esiste o se l'utente o gruppo locale non è presente nel file, non è possibile individuare la VO dell'utente che ha sottomesso il job, il campo voOrigin è settato a ..... e il job è considerato locale. HLRmon mostra questi job come job locali con VO unknown.
>
>
Se il file di mapping tra utenti o gruppi locali e VO non esiste o se l'utente o gruppo locale non è presente nel file, non è possibile individuare la VO dell'utente che ha sottomesso il job, il campo voOrigin è lasciato vuoto e il job è considerato locale. HLRmon mostra questi job come job locali con VO unknown.
 

Procedura per accountare job locali

Nel caso in cui il sito abbia un solo CE:

Changed:
<
<
Sul CE, nel file di configurazione dei sensori di DGAS /opt/glite/etc/dgas_sensors.conf, settare la variabile jobsToProcess = all
>
>
Sul CE, nel file di configurazione dei sensori di DGAS /opt/glite/etc/dgas_sensors.conf (/etc/dgas/dgas_sensors.conf nella versione 4.0.x dei sensori), settare la variabile jobsToProcess = all
  Tenere aggiornato il file di configurazione indicato nel dgas_sensors.conf come valore della variabile localUserGroup2VOMap con il mapping tra gli utenti locali e le VO.
Line: 72 to 72
 ps -ef | grep urcollector

  • Cambiare la data limite dalla quale far riprocessare i log
Changed:
<
<
modificando il valore della variabile ignoreJobsLoggedBefore in /opt/glite/etc/dgas_sensors.conf
>
>
modificando il valore della variabile ignoreJobsLoggedBefore in /opt/glite/etc/dgas_sensors.conf (/etc/dgas/dgas_sensors.conf nella versione 4.0.x dei sensori)
  (formato YYYY-MM-DD), es.:
ignoreJobsLoggedBefore = "2011-01-01"

  • Rinominare il file che contiene il buffer, indicato come valore della variabile collectorBufferFileName nel dgas_sensors.conf
Changed:
<
<
(/opt/glite/var/dgasCollectorBuffer.lsf oppure /opt/glite/var/dgasCollectorBuffer.pbs rispettivamente se si usa LSF o Torque).
>
>
(/opt/glite/var/dgasCollectorBuffer.lsf oppure /opt/glite/var/dgasCollectorBuffer.pbs rispettivamente se si usa LSF o Torque per sensori di versione precedente alla 4).
  Ad es. per LSF:
mv /opt/glite/var/dgasCollectorBuffer.lsf /opt/glite/var/dgasCollectorBuffer.lsf.20120322
Line: 89 to 89
 service glite-dgas-urcollector start

  • Controllare il log glite-dgas-urcollector:
Changed:
<
<
tail -f /opt/glite/var/log/dgas_urcollector.log
>
>
tail -f /opt/glite/var/log/dgas_urcollector.log (/var/log/dgas/dgas_urcollector.log nella versione 4.0.x dei sensori)
 
  • Controllare la directory /opt/glite/var/dgasURBox/ERR directory; non dovrebbe essere piena di file.

Revision 52012-04-05 - EnricoFattibene

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Accounting dei job locali in IGI

Changed:
<
<
Non esiste al momento una regola che stabilisca se un sito debba o meno accountare i job locali (oltre a quelli Grid) tramite DGAS.
>
>
Questa pagina e' rivolta agli amministratori dei siti di IGI ed ha lo scopo di documentare la procedura da seguire per accountare correttamente i job locali eseguiti nell'infrastruttura di IGI. Prima di questa procedura e' riportata la logica usata da DGAS per definire un job locale o Grid. Viene anche descritto come i job locali vengono visualizzati in HLRmon.
 
Changed:
<
<
Il CMT ritiene che, nel caso in cui tra i job locali ci sia una parte di job di utenti di VO di Grid, e' auspicabile che questi vengano accountati.
>
>
La decisione se accountare o meno i job locali (oltre a quelli Grid) tramite DGAS e' lasciata al sito. Il Support Team di IGI ritiene che, nel caso in cui tra i job locali ci sia una parte di job di utenti di VO di Grid, e' auspicabile che questi vengano accountati.
 Se i job locali sono esclusivamente di utenti che non usano la grid e non appartengono quindi a VO, in tal caso si possono non accountare.
Deleted:
<
<
La decisione ultima è comunque lasciata al sito.
 

Come DGAS stabilisce se un job è locale o di Grid

Changed:
<
<
Se per un dato job, identificato dal proprio LRMS id, esiste un riferimento nei log di BLAH, allora al job possono essere associate le informazioni sulle estensioni VOMS (DN del certificato, VO, FQAN). In questo caso il campo voOrigin della tabella jobTransSummary del DB dell'HLR è settato a fqan e il job è considerato Grid.
>
>
Se per un dato job, identificato dal proprio LRMS id, esiste un riferimento nei log di BLAH, allora al job possono essere associate le informazioni sulle estensioni VOMS (DN del certificato, VO, FQAN). In questo caso il campo voOrigin della tabella jobTransSummary del DB dell'HLR è settato a fqan e il job è considerato Grid.
 
Changed:
<
<
Se non è possibile recuperare informazioni sul job dal log di BLAH, DGAS controlla se il job è stato sottomesso tramite pool account. In caso affermativo, il campo voOrigin è settato a pool e il job è considerato Grid.
>
>
Se non è possibile recuperare informazioni sul job dal log di BLAH, DGAS controlla se il job è stato sottomesso tramite pool account. In caso affermativo, il campo voOrigin è settato a pool e il job è considerato Grid.
 
Changed:
<
<
Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti o i gruppi locali su una VO (il percorso di questo file è indicato come valore della variabile localUserGroup2VOMap nel file /opt/glite/etc/dgas_sensors.conf). Se questo file esiste e l'utente o il gruppo locale è presente nel file, è possibile ricavare la VO. Il campo voOrigin viene settato a map e il job è considerato locale.
>
>
Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti o i gruppi locali su una VO (il percorso di questo file è indicato come valore della variabile localUserGroup2VOMap nel file /opt/glite/etc/dgas_sensors.conf). Se questo file esiste e l'utente o il gruppo locale è presente nel file, è possibile ricavare la VO. Il campo voOrigin viene settato a map e il job è considerato locale.
 
Changed:
<
<
Se il file di mapping tra utenti o gruppi locali e VO non esiste o se l'utente o gruppo locale non è presente nel file, non è possibile individuare la VO dell'utente che ha sottomesso il job, il campo voOrigin è settato a ..... e il job è considerato locale. HLRmon mostra questi job come job locali con VO unknown.
>
>
Se il file di mapping tra utenti o gruppi locali e VO non esiste o se l'utente o gruppo locale non è presente nel file, non è possibile individuare la VO dell'utente che ha sottomesso il job, il campo voOrigin è settato a ..... e il job è considerato locale. HLRmon mostra questi job come job locali con VO unknown.
 

Procedura per accountare job locali

Nel caso in cui il sito abbia un solo CE:

Changed:
<
<
Sul CE, nel file di configurazione dei sensori di DGAS /opt/glite/etc/dgas_sensors.conf, settare la variabile jobsToProcess = all
>
>
Sul CE, nel file di configurazione dei sensori di DGAS /opt/glite/etc/dgas_sensors.conf, settare la variabile jobsToProcess = all
 
Changed:
<
<
Tenere aggiornato il file di configurazione indicato nel dgas_sensors.conf come valore della variabile localUserGroup2VOMap con il mapping tra gli utenti locali e le VO.
>
>
Tenere aggiornato il file di configurazione indicato nel dgas_sensors.conf come valore della variabile localUserGroup2VOMap con il mapping tra gli utenti locali e le VO.
  Ogni riga di questo file deve avere uno dei seguenti formati:
Changed:
<
<
>
>
 
  • group <GRUPPO-LOCALE-UNIX> <NOME-VO>

  • user <UTENTE-LOCALE-UNIX> <NOME-VO>
Changed:
<
<
>
>
 

Nel caso di sito con più CE:

I log del Batch system vengono processati da tutti i CE.
Il CE master è l'unico che crea un record per ogni job (Grid o locale) presente nei log del Batch system, mentre gli altri CE processano solo quei job per cui posseggono le informazioni Grid. I record per i quali non si trovano informazioni Grid nei log di BLAH di nessuno dei CE sono classificati locali.

Changed:
<
<
Se un record è già presente nell'HLR con informazioni provenienti esclusivamente dai log del Batch system (informazioni prese dal CE master), tale record può essere aggiornato con le informazioni Grid se queste vengono trovate sui log di BLAH di uno dei CE. Per questo motivo, la variabile useCEHostName deve avere lo stesso valore in tutti i CE, per permettere di identificare il record da aggiornare (DGAS infatti fa un controllo, tra gli altri, sul campo che contiene il valore di useCEHostName).
>
>
Se un record è già presente nell'HLR con informazioni provenienti esclusivamente dai log del Batch system (informazioni prese dal CE master), tale record può essere aggiornato con le informazioni Grid se queste vengono trovate sui log di BLAH di uno dei CE. Per questo motivo, la variabile useCEHostName deve avere lo stesso valore in tutti i CE, per permettere di identificare il record da aggiornare (DGAS infatti fa un controllo, tra gli altri, sul campo che contiene il valore di useCEHostName).
  La configurazione nel dgas_sensors.conf deve essere la seguente:
Changed:
<
<
CE 1 (master):
jobsToProcess = all
useCEHostName = <ce1.yourdomain.org>
localHostNameAsCEHostName = no
localUserGroup2VOMap = <MAPPING-FILE-PATH>

CE 2 -- CE N:
jobsToProcess = grid
useCEHostName = <ce1.yourdomain.org>
localHostNameAsCEHostName = no

>
>
CE 1 (master):
jobsToProcess = all
useCEHostName = <ce1.yourdomain.org>
localHostNameAsCEHostName = no
localUserGroup2VOMap = <MAPPING-FILE-PATH>

CE 2 -- CE N:

jobsToProcess = grid
useCEHostName = <ce1.yourdomain.org>
localHostNameAsCEHostName = no
  Il CE 1 (master) deve avere il file di mapping aggiornato.
Line: 61 to 66
 Se si vogliono recuperare job che non sono stati accountati in passato si può forzare DGAS a riprocessare i vecchi log seguendo questi passi:

  • Stoppare il servizio DGAS Urcollector:
Changed:
<
<
service glite-dgas-urcollector stop
>
>
service glite-dgas-urcollector stop
 
  • Verificare che sia realmente giù:
Changed:
<
<
ps -ef | grep urcollector
>
>
ps -ef | grep urcollector
 
  • Cambiare la data limite dalla quale far riprocessare i log
Changed:
<
<
modificando il valore della variabile ignoreJobsLoggedBefore in /opt/glite/etc/dgas_sensors.conf
>
>
modificando il valore della variabile ignoreJobsLoggedBefore in /opt/glite/etc/dgas_sensors.conf
  (formato YYYY-MM-DD), es.:
Changed:
<
<
ignoreJobsLoggedBefore = "2011-01-01"
>
>
ignoreJobsLoggedBefore = "2011-01-01"
 
Changed:
<
<
  • Rinominare il file che contiene il buffer, indicato come valore della variabile collectorBufferFileName nel dgas_sensors.conf (/opt/glite/var/dgasCollectorBuffer.lsf oppure /opt/glite/var/dgasCollectorBuffer.pbs rispettivamente se si usa LSF o Torque).
>
>
  • Rinominare il file che contiene il buffer, indicato come valore della variabile collectorBufferFileName nel dgas_sensors.conf (/opt/glite/var/dgasCollectorBuffer.lsf oppure /opt/glite/var/dgasCollectorBuffer.pbs rispettivamente se si usa LSF o Torque).
  Ad es. per LSF:
Changed:
<
<
mv /opt/glite/var/dgasCollectorBuffer.lsf /opt/glite/var/dgasCollectorBuffer.lsf.20120322
>
>
mv /opt/glite/var/dgasCollectorBuffer.lsf /opt/glite/var/dgasCollectorBuffer.lsf.20120322
 
Changed:
<
<
  • Spostare i file presenti in /opt/glite/var/dgasURBox/ERR nella directory
>
>
  • Spostare i file presenti in /opt/glite/var/dgasURBox/ERR nella directory
  superiore (solo nel caso di sensori di versione precedente alla 4):
Changed:
<
<
mv /opt/glite/var/dgasURBox/ERR/* /opt/glite/var/dgasURBox/
>
>
mv /opt/glite/var/dgasURBox/ERR/* /opt/glite/var/dgasURBox/
 
  • Far partire il servizio DGAS Urcollector:
Changed:
<
<
service glite-dgas-urcollector start
>
>
service glite-dgas-urcollector start
 
Changed:
<
<
  • Controllare il log glite-dgas-urcollector:
tail -f /opt/glite/var/log/dgas_urcollector.log
>
>
  • Controllare il log glite-dgas-urcollector:
tail -f /opt/glite/var/log/dgas_urcollector.log
 
  • Controllare la directory /opt/glite/var/dgasURBox/ERR directory; non dovrebbe essere piena di file.
Line: 92 to 97
 

Visualizzazione job locali in HLRmon

Attualmente HLRmon offre la possibilità di visualizzare job locali, di Grid o entrambe le categorie grazie al menù di selezione sulla sinistra

Changed:
<
<
Select job type
>
>
Select job type

L'ultimo grafico in basso a destra, per ognuno dei set di grafici selezionabili con il menù a tendina Chart set in alto, mostra l'andamento temporale dei job locali rispetto a quelli Grid.

I job locali a cui DGAS non riesce ad assegnare la VO, sono mostrati da HLRmon con VO unknown. Questa VO è selezionabile tra le altre VO nel menù sulla sinistra Select VOs. Nel prossimo futuro ci sarà la possibilità di poter visualizzare o meno i job locali con VO unknown spuntando un'apposita voce nel menù Select job type, in modo da poterli escludere/includere più facilmente.

 
Deleted:
<
<
L'ultimo grafico in basso a destra, per ognuno dei set di grafici selezionabili con il menù a tendina Chart set in alto, mostra l'andamento temporale dei job locali rispetto a quelli Grid.
 
Changed:
<
<
I job locali a cui DGAS non riesce ad assegnare la VO, sono mostrati da HLRmon con VO unknown. Questa VO è selezionabile tra le altre VO nel menù sulla sinistra Select VOs. Nel prossimo futuro ci sarà la possibilità di poter visualizzare o meno i job locali con VO unknown spuntando un'apposita voce nel menù Select job type, in modo da poterli escludere/includere più facilmente.
>
>

Riferimenti

 
Added:
>
>
DGAS Reference Manual

 

-- EnricoFattibene - 2012-03-21 \ No newline at end of file

Revision 42012-04-02 - PaoloVeronesi

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Accounting dei job locali in IGI

Line: 23 to 23
 

Nel caso in cui il sito abbia un solo CE:

Changed:
<
<
Sul CE, nel file di configurazione dei sensori di DGAS /opt/glite/etc/dgas_sensors.conf, settare la variabile jobsToProcess = all
>
>
Sul CE, nel file di configurazione dei sensori di DGAS /opt/glite/etc/dgas_sensors.conf, settare la variabile jobsToProcess = all
  Tenere aggiornato il file di configurazione indicato nel dgas_sensors.conf come valore della variabile localUserGroup2VOMap con il mapping tra gli utenti locali e le VO.

Revision 32012-03-22 - EnricoFattibene

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Accounting dei job locali in IGI

Line: 14 to 14
  Se non è possibile recuperare informazioni sul job dal log di BLAH, DGAS controlla se il job è stato sottomesso tramite pool account. In caso affermativo, il campo voOrigin è settato a pool e il job è considerato Grid.
Changed:
<
<
Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti o i gruppi locali su una VO (il percorso di questo file è indicato come valore della variabile localUserGroup2VOMap nel file /opt/glite/etc/dgas_sensors.conf). Se questo file esiste e l'utente locale è presente nel file, è possibile ricavare la VO. Il campo voOrigin viene settato a map e il job è considerato locale.
>
>
Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti o i gruppi locali su una VO (il percorso di questo file è indicato come valore della variabile localUserGroup2VOMap nel file /opt/glite/etc/dgas_sensors.conf). Se questo file esiste e l'utente o il gruppo locale è presente nel file, è possibile ricavare la VO. Il campo voOrigin viene settato a map e il job è considerato locale.
  Se il file di mapping tra utenti o gruppi locali e VO non esiste o se l'utente o gruppo locale non è presente nel file, non è possibile individuare la VO dell'utente che ha sottomesso il job, il campo voOrigin è settato a ..... e il job è considerato locale. HLRmon mostra questi job come job locali con VO unknown.
Line: 35 to 35
 

Nel caso di sito con più CE:

Changed:
<
<
I log del Batch system possono essere processati da uno solo dei CE, che reperirà le informazioni per tutti i job passati da quel Batch system, anche se hanno usato CE diversi. Ogni CE deve processare i propri log di BLAH, contenenti le informazioni Grid dei job.
>
>
I log del Batch system vengono processati da tutti i CE.
Il CE master è l'unico che crea un record per ogni job (Grid o locale) presente nei log del Batch system, mentre gli altri CE processano solo quei job per cui posseggono le informazioni Grid. I record per i quali non si trovano informazioni Grid nei log di BLAH di nessuno dei CE sono classificati locali.
Se un record è già presente nell'HLR con informazioni provenienti esclusivamente dai log del Batch system (informazioni prese dal CE master), tale record può essere aggiornato con le informazioni Grid se queste vengono trovate sui log di BLAH di uno dei CE. Per questo motivo, la variabile useCEHostName deve avere lo stesso valore in tutti i CE, per permettere di identificare il record da aggiornare (DGAS infatti fa un controllo, tra gli altri, sul campo che contiene il valore di useCEHostName).
  La configurazione nel dgas_sensors.conf deve essere la seguente:
Changed:
<
<
CE 1 (master):

jobsToProcess = all

siteName = <GLUE-SITENAME-HERE>

useCEHostName = <ce1.yourdomain.org>

localHostNameAsCEHostName = no

localUserGroup2VOMap = <MAPPING-FILE-PATH>

CE 2 -- CE N:

jobsToProcess = grid

siteName =

useCEHostName = <ce1.yourdomain.org>

localHostNameAsCEHostName = no

>
>
CE 1 (master):
jobsToProcess = all
useCEHostName = <ce1.yourdomain.org>
localHostNameAsCEHostName = no
localUserGroup2VOMap = <MAPPING-FILE-PATH>

CE 2 -- CE N:
jobsToProcess = grid
useCEHostName = <ce1.yourdomain.org>
localHostNameAsCEHostName = no

  Il CE 1 (master) deve avere il file di mapping aggiornato.
Line: 70 to 60
  Se si vogliono recuperare job che non sono stati accountati in passato si può forzare DGAS a riprocessare i vecchi log seguendo questi passi:
Changed:
<
<
  • Stoppare il servizio DGAS Urcollector:
>
>
  • Stoppare il servizio DGAS Urcollector:
 service glite-dgas-urcollector stop
Changed:
<
<
  • Verificare che sia realmente giù:
>
>
  • Verificare che sia realmente giù:
 ps -ef | grep urcollector

  • Cambiare la data limite dalla quale far riprocessare i log modificando il valore della variabile ignoreJobsLoggedBefore in /opt/glite/etc/dgas_sensors.conf
Changed:
<
<
(formato YYYY-MM-DD), es.:
>
>
(formato YYYY-MM-DD), es.:
 ignoreJobsLoggedBefore = "2011-01-01"

  • Rinominare il file che contiene il buffer, indicato come valore della variabile collectorBufferFileName nel dgas_sensors.conf (/opt/glite/var/dgasCollectorBuffer.lsf oppure /opt/glite/var/dgasCollectorBuffer.pbs rispettivamente se si usa LSF o Torque).
Changed:
<
<
Ad es. per LSF:
>
>
Ad es. per LSF:
 mv /opt/glite/var/dgasCollectorBuffer.lsf /opt/glite/var/dgasCollectorBuffer.lsf.20120322

  • Spostare i file presenti in /opt/glite/var/dgasURBox/ERR nella directory
Changed:
<
<
superiore:
>
>
superiore (solo nel caso di sensori di versione precedente alla 4):
 mv /opt/glite/var/dgasURBox/ERR/* /opt/glite/var/dgasURBox/
Changed:
<
<
  • Far partire il servizio DGAS Urcollector:
>
>
  • Far partire il servizio DGAS Urcollector:
 service glite-dgas-urcollector start
Changed:
<
<
  • Controllare il log glite-dgas-urcollector:
>
>
  • Controllare il log glite-dgas-urcollector:
 tail -f /opt/glite/var/log/dgas_urcollector.log

  • Controllare la directory /opt/glite/var/dgasURBox/ERR directory; non dovrebbe essere piena di file.
Line: 108 to 91
 

Visualizzazione job locali in HLRmon

Changed:
<
<
Attualmente HLRmon https://dgas.cnaf.infn.it/hlrmon/report/charts.php offre la possibilità di visualizzare job locali, di Grid o entrambe le categorie grazie al menù di selezione sulla sinistra
>
>
Attualmente HLRmon offre la possibilità di visualizzare job locali, di Grid o entrambe le categorie grazie al menù di selezione sulla sinistra
 Select job type

L'ultimo grafico in basso a destra, per ognuno dei set di grafici selezionabili con il menù a tendina Chart set in alto, mostra l'andamento temporale dei job locali rispetto a quelli Grid.

Revision 22012-03-22 - EnricoFattibene

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Accounting dei job locali in IGI

Line: 14 to 14
  Se non è possibile recuperare informazioni sul job dal log di BLAH, DGAS controlla se il job è stato sottomesso tramite pool account. In caso affermativo, il campo voOrigin è settato a pool e il job è considerato Grid.
Changed:
<
<
Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti locali su una VO. Se questo file esiste e l'utente locale è presente nel file, è possibile ricavare la VO. Il campo voOrigin viene settato a map e il job è considerato locale.
>
>
Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti o i gruppi locali su una VO (il percorso di questo file è indicato come valore della variabile localUserGroup2VOMap nel file /opt/glite/etc/dgas_sensors.conf). Se questo file esiste e l'utente locale è presente nel file, è possibile ricavare la VO. Il campo voOrigin viene settato a map e il job è considerato locale.
 
Changed:
<
<
Se il file di mapping tra utenti e VO non esiste o se l'utente locale non è presente nel file, non è possibile individuare la VO dell'utente che ha sottomesso il job, il campo voOrigin è settato a ..... e il job è considerato locale. HLRmon mostra questi job come job locali con VO unknown.
>
>
Se il file di mapping tra utenti o gruppi locali e VO non esiste o se l'utente o gruppo locale non è presente nel file, non è possibile individuare la VO dell'utente che ha sottomesso il job, il campo voOrigin è settato a ..... e il job è considerato locale. HLRmon mostra questi job come job locali con VO unknown.
 

Procedura per accountare job locali

Changed:
<
<
Sul CE, nel file di configurazione dei sensori di DGAS dgas_sensors.conf, settare ...
>
>

Nel caso in cui il sito abbia un solo CE:

 
Changed:
<
<
Tenere aggiornato il file ... con il mapping tra gli utenti locali e le VO....
>
>
Sul CE, nel file di configurazione dei sensori di DGAS /opt/glite/etc/dgas_sensors.conf, settare la variabile jobsToProcess = all
 
Added:
>
>
Tenere aggiornato il file di configurazione indicato nel dgas_sensors.conf come valore della variabile localUserGroup2VOMap con il mapping tra gli utenti locali e le VO.

Ogni riga di questo file deve avere uno dei seguenti formati:

  • group <GRUPPO-LOCALE-UNIX> <NOME-VO>

  • user <UTENTE-LOCALE-UNIX> <NOME-VO>

Nel caso di sito con più CE:

I log del Batch system possono essere processati da uno solo dei CE, che reperirà le informazioni per tutti i job passati da quel Batch system, anche se hanno usato CE diversi. Ogni CE deve processare i propri log di BLAH, contenenti le informazioni Grid dei job.

La configurazione nel dgas_sensors.conf deve essere la seguente:

CE 1 (master):

jobsToProcess = all

siteName = <GLUE-SITENAME-HERE>

useCEHostName = <ce1.yourdomain.org>

localHostNameAsCEHostName = no

localUserGroup2VOMap = <MAPPING-FILE-PATH>

CE 2 -- CE N:

jobsToProcess = grid

siteName =

useCEHostName = <ce1.yourdomain.org>

localHostNameAsCEHostName = no

Il CE 1 (master) deve avere il file di mapping aggiornato.

Riprocessamento vecchi log

Se si vogliono recuperare job che non sono stati accountati in passato si può forzare DGAS a riprocessare i vecchi log seguendo questi passi:

  • Stoppare il servizio DGAS Urcollector:

service glite-dgas-urcollector stop

  • Verificare che sia realmente giù:

ps -ef | grep urcollector

  • Cambiare la data limite dalla quale far riprocessare i log modificando il valore della variabile ignoreJobsLoggedBefore in /opt/glite/etc/dgas_sensors.conf (formato YYYY-MM-DD), es.:

ignoreJobsLoggedBefore = "2011-01-01"

  • Rinominare il file che contiene il buffer, indicato come valore della variabile collectorBufferFileName nel dgas_sensors.conf (/opt/glite/var/dgasCollectorBuffer.lsf oppure /opt/glite/var/dgasCollectorBuffer.pbs rispettivamente se si usa LSF o Torque). Ad es. per LSF:

mv /opt/glite/var/dgasCollectorBuffer.lsf /opt/glite/var/dgasCollectorBuffer.lsf.20120322

  • Spostare i file presenti in /opt/glite/var/dgasURBox/ERR nella directory superiore:

mv /opt/glite/var/dgasURBox/ERR/* /opt/glite/var/dgasURBox/

  • Far partire il servizio DGAS Urcollector:

service glite-dgas-urcollector start

  • Controllare il log glite-dgas-urcollector:

tail -f /opt/glite/var/log/dgas_urcollector.log

  • Controllare la directory /opt/glite/var/dgasURBox/ERR directory; non dovrebbe essere piena di file.

Visualizzazione job locali in HLRmon

Attualmente HLRmon https://dgas.cnaf.infn.it/hlrmon/report/charts.php offre la possibilità di visualizzare job locali, di Grid o entrambe le categorie grazie al menù di selezione sulla sinistra Select job type

L'ultimo grafico in basso a destra, per ognuno dei set di grafici selezionabili con il menù a tendina Chart set in alto, mostra l'andamento temporale dei job locali rispetto a quelli Grid.

I job locali a cui DGAS non riesce ad assegnare la VO, sono mostrati da HLRmon con VO unknown. Questa VO è selezionabile tra le altre VO nel menù sulla sinistra Select VOs. Nel prossimo futuro ci sarà la possibilità di poter visualizzare o meno i job locali con VO unknown spuntando un'apposita voce nel menù Select job type, in modo da poterli escludere/includere più facilmente.

 
Deleted:
<
<
LAVORI IN CORSO
 

-- EnricoFattibene - 2012-03-21

Revision 12012-03-21 - EnricoFattibene

Line: 1 to 1
Added:
>
>
META TOPICPARENT name="WebHome"

Accounting dei job locali in IGI

Non esiste al momento una regola che stabilisca se un sito debba o meno accountare i job locali (oltre a quelli Grid) tramite DGAS.

Il CMT ritiene che, nel caso in cui tra i job locali ci sia una parte di job di utenti di VO di Grid, e' auspicabile che questi vengano accountati. Se i job locali sono esclusivamente di utenti che non usano la grid e non appartengono quindi a VO, in tal caso si possono non accountare. La decisione ultima è comunque lasciata al sito.

Come DGAS stabilisce se un job è locale o di Grid

Se per un dato job, identificato dal proprio LRMS id, esiste un riferimento nei log di BLAH, allora al job possono essere associate le informazioni sulle estensioni VOMS (DN del certificato, VO, FQAN). In questo caso il campo voOrigin della tabella jobTransSummary del DB dell'HLR è settato a fqan e il job è considerato Grid.

Se non è possibile recuperare informazioni sul job dal log di BLAH, DGAS controlla se il job è stato sottomesso tramite pool account. In caso affermativo, il campo voOrigin è settato a pool e il job è considerato Grid.

Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti locali su una VO. Se questo file esiste e l'utente locale è presente nel file, è possibile ricavare la VO. Il campo voOrigin viene settato a map e il job è considerato locale.

Se il file di mapping tra utenti e VO non esiste o se l'utente locale non è presente nel file, non è possibile individuare la VO dell'utente che ha sottomesso il job, il campo voOrigin è settato a ..... e il job è considerato locale. HLRmon mostra questi job come job locali con VO unknown.

Procedura per accountare job locali

Sul CE, nel file di configurazione dei sensori di DGAS dgas_sensors.conf, settare ...

Tenere aggiornato il file ... con il mapping tra gli utenti locali e le VO....

LAVORI IN CORSO

-- EnricoFattibene - 2012-03-21

 
This site is powered by the TWiki collaboration platformCopyright © 2008-2024 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback