Message-ID: <478F1D25.2080207@iap.fr>
Date: Thu, 17 Jan 2008 10:17:25 +0100
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 10/01 au 16/01/2008
Content-Type: text/plain; charset=windows-1252; format=flowed
Content-Transfer-Encoding: 8bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici la synthese finale des activites couvrant la periode du 10/01
au 16/01 a partir des bilans de Yannick, Mathias S., Henry Joy,
Mathias M., Patrick et Fred.

Par ordre arbitraire:

Operations MEGACAM (Fred, Mathias)
- Mathias S. compte venir a TERAPIX les 28 et 29 janvier (il y une
chambre a l'IAP de libre). Il aimerait en profiter pour analyser les
nouvelles images du Wide avec les nouveaux flats et souhaiterait donc
que les QFITSin, le stacking et les catalogues soient prets pour ces dates.
- Fred a lance en parallele la nouvelle version de QualityFITS sur les 519
images de test, en utilisant condor_transfert.pl.

Operations MEGACAM PI (Henry Joy)
- Une requete emane de Patrick Petijean concernant le format du fichier
HE0940_g_refchi2.cat. Henry suppose que le fichier a ete processe par
Mireille, mais il n'a pas pu trouver le fichier sur mix7. *Henry
demande: s'agit-il des donnees processees pour Frederic Coppolani?*.

Operations WIRCAM PI (Henry Joy)
- Un test d'ingestion a ete mene par Henry sur des donnees WIRCAM et
VIRCAM. Les donnees VIRCAM ne sont passees en raison du champ QRUNID
manquant. Les cubes de donnees et les images slicees WIRCAM ont tous
deux ete ingeres avec succes. *Question de Henry Joy: doit-on slicer les
cubes avant de les ingerer?*.
- Donnees Lise Deharveng: la soustraction de fond de ciel a ete
effectuee sur le premier jeu de donnees avec les parametres par defaut.
Le stacking est en cours. Il semblerait qu'une grande partie des
problemes rencontres precedemment ait ete causee par une
non-reinitialisation des listes d'entree (un second script est cense
etre lance avant les etapes de soustraction du ciel).
- Chiara a repondu au message concernant les artefacts presents dans les
images. Cela semble plus ou moins normal, ces artefacts sont en fait
retires a la fin du stacking a l'aide du flat.reg. Henry Joy est en
train de tester.
- Un long mail a ete envoye par Jerome Bouvier a propos de problemes sur
les images WIRCAM ("trous" dans les etoiles les plus satures). Henry n'a
pas encore la reponse a la question.

Developpements T05 (Mathias M., Emmanuel, Fred)
- Mathias M. a modifie l'adresse email de l'enveloppe de l'expéditeur de
root@iap.fr à condor-tpx@iap.fr à la demande de Fred. Cette adresse est
en effet plus explicite.
- Un champ 'Condor job id' a été ajouté à la page de post-validation du
formulaire pour indiquer le numero du job qui va s'éxécuter sur Condor.
- Le script d'ingestion envoyé sur le cluster est beaucoup plus
'fault-tolerant' dans la mesure où il ne termine plus en erreur dans le
cas d'une image FITS avec des headers peu conventionnels. Si l'image n'a
pas pu être ingérée, le script expose le problème rencontré dans le mail
envoyé en fin d'ingestion.
- Pour palier aux éventuels problèmes de serveur de mail (quand le smtp
de l'iap est cassé par exemple), une variable globale USE_MAIL a ete
ajoutee au script d'ingestion. Quand elle vaut 1, le rapport est envoye
par email, sinon (USE_EMAIL=0) le mail n'est pas envoyé et le contenudu
rapport est envoyé sur stdout et loggé par Condor dans le fichier .out
spécifié dans le Condor Submission File (CSF).
- Un mecanisme d'aide en ligne a été implémenté et permet - lorsque le
curseur de la souris passe sur une icone représentant un point
d'interrogation - d'afficher une bulle d'aide contextuelle (tooltip)
- Le nom de domaine de la machine du cluster sur laquelle on désire
lancer des jobs a été modifié (.iap.fr vers .clic.iap.fr) dans le CSF de
manière à ce que les jobs ne restent plus Idle et démarrent normalement
(bug notamment rencontre par Emmanuel et Yannick en fin de semaine
derniere).
- L'ingestion multiple d'une même image fonctionne selon l'état du
checkbox 'Allow images to be ingested several times'. S'il est coché
(par défaut), le nom de l'image déjà ingérée est suivi (l'extension
.fits est supprimée) d'un underscore '_' et d'un nombre entier >= 1.
Plus généralement, on a

Ingestion step                Name
       1                      image
       2                      image_1
                   ...
       n                      image_(n-1)

- Le contenu du rapport envoyé par email fait maintenant état des
   options choisies lors de l'ingestion.
- Une commande d'initialisation (DATABASE_OPTIONS) a ete ajoutee dans le
fichier de configuration de spica pour forcer Django à utiliser le
moteur InnoDB de MySQL, seul apte à garantir l'intégrité des données
dans la base (au moyen des contraintes d'intégrités et des transactions)
- Ajout d'un champ 'absorption' dans la table 'spica2_image'
- Ajout d'un champ 'ingestion_date' (date+time) dans la table 'spica2_image'
- Ajout de la table 'spica2_ingestion' qui contient des informations
relatives au processus d'ingestion et contenant les champs suivants:
	- 'start_ingestion_date'
	- 'end_ingestion_date'
	- 'email'
	- 'exit_code'
Et ceux relatifs aux options choisies, pour garder une trace:
	- 'check_fitsverify'
	- 'check_QSO_status'
	- 'check_multiple_ingestion'
Grâce à cette table, il sera par exemple possible de supprimer toutes
les images (pouvant appartenir à plusieurs runs) relatives à une
ingestion à une date donnée. Elle permet aussi d'obtenir un historique
des ingestions, ce qui peut s'avérer très pratique..
- Une nouvelle version de PSFEx a ete releasee en interne. Cette version
accelere et simplifie son usage au sein de QualityFITS en ajoutant un
mode (par defaut) PIXEL_AUTO qui n'active le traitement par
super-resolution qu'en cas de FWHM (flux_radius) < 3 pixels. Le travail
en cours sur PSFEx porte sur l'homogeneisation de PSF variable.
- Fred a modifie QFITS pour prendre en compte les nouvelles mesures de PSF
faites par PSFEx. *Emmanuel demande: as-tu ajoute les mesures au XML QFITS de
sortie?*.

Autres Developpements (Emmanuel, Patrick)
- Plusieurs bugs (mineurs) ont ete corriges et mis sur SVN par Emmanuel
dans les packages SCAMP (blindage contre les NaN en entree), SExtractor
(Segfault rarissime au sein du moteur de detection) et SWarp (typo pour
les polynomes d'ordre 6).
- Patrick a termine une premiere version d'un ensemble de scripts mod_python,
javascripts et ajax pour faire un check plus rapide des images WIRCAM par une
interface web. On peut y selectionner un run parmi une liste, creer par
l'interface web les images png binnees des chips et afficher une page par image
qui contient les images binnees des chips (avec lien vers une sous images full
resolution de la partie centrale) et les imagettes de sortie de PSFex. On
attribue alors un rating et on passe a l image suivante. Les rating sont envoyes
dans un fichier. Reste a faire :
    - ecriture dans le fichier de sortie
    - ajout d un champs de commentaire pour les images avec rating mauvais
*Emmanuel demande: pourrais-tu placer tes developpements sur le SVN (private ou
public?) de TERAPIX?*.
Pour les prochains jours Patrick va utiliser cette version pour finir le run
de Hudson et avancer sur les 3 autres RUN commences (check des premiers
QFits et soustraction de fond de ciel). Il reprendra l'amelioration des script
de check apres avoir fait diminuer la pression sur la queue de reduction WIRCAM.

Documentation (Yannick, Mathias)
- Yannick a complete le rapport de Mathias sur la photometrie du Wide
(ajout de tables decrivant les statistiques elementaires qui ont servis
a produire les figures, l'analyse par quadrant et evaluation
quantitative de l'amplitude du gradient des differences CFHTLS/SDSS le
long de la seconde diagional du detecteur, reorganisation des
Appendices). L'anglais a ete corrige *Emmanuel signale: il y a encore
quelques typos, genre SDSS->SDDS)*. Mathias a place l'ensemble sous SVN.

Misc. (Yannick, Emmanuel):
- L'equipe du DES semble avoir repere un pb de comportement des MAG_AUTO
sur les images Chi2; la non-linearite des images serait prejudiciable a
un calcul correct des ellipses d'integration sur les sources faibles.
- Emmanuel confirme que les nouvelles machines desktop permettent de
generer du code binaire parfaitement compatible avec les machines AMD du
cluster, meme avec les compilateur INTEL et les librairies ATLAS.
- Yannick a regle "definitivement" la prime de Mathias M. pour janvier.
- Le remboursement du train de Patrick Hudelot est quasi-termine (avant
le 31 janvier, soit un mois de retard par rapport a la promesse de Yannick).
- Eric Slezak a transmis a France-VO la demande de soutien pour Olivier
Ricou en 2008 (de quoi payer une mission).
- Henry Joy participera probablement au UltraVISTA kickoff meeting de
Leiden en mars.

Amicalement,
			Emmanuel.