Message-ID: <46C8B153.5010701@iap.fr>
Date: Sun, 19 Aug 2007 23:08:35 +0200
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese des semaines du 31/07/2007 au 19/08/2007
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici une synthese partielle des activites TERAPIX sur la periode du 31/07 au
19/08/07! A noter qu'il n'y a pas eu de retour de Fred et Mathias.

MEGACAM P.I. (Mireille, Yannick, Chiara, Emmanuel):
- Les donnees PI de G Soucail (06BF26) ont ete traitees par Mireille, verifiees 
par Yannick, et  livrees le 13 aout.
- Mireille a redige une checklist de la reduction des donnees PI. Yannick l'a 
teste sur 06BF26. *Mireille aimerait mettre a l'ordre du jour si on a le temps: 
comment trier des images par champ , par filtre ou par qualite en dehors du 
pipeline. Chiara lui a explique sa solution et l'on peut rebondir a partir de la.*
- Chiara et Emmanuel ont fourni a Albert Bijaoui de petits cutouts issus 
d'images du CFHTLS Deep T04 et des catalogues SExtractor locaux comme references 
pour un projet d'analyse d'image.

Developpements T05 (Gregory, Chiara):
- Base de donnees: Gregory a effectue des tests sur la base concernant les 
relations entre les tables IMAGE,INSTRUMENT,RUN,CHANNEL. L'architecture des 
relations entre ces tables sont fiables. Les tests par ingestion des headers des 
images (scripting Python,module MySQLdb, et test sur MySQL 5.1.20-beta) 
fonctionnent, et l'ingestion est assez rapide (2.5 images/sec avant buffering). 
A ce stade, si l'on donne un repertoire d'images FITS au script, les champs 
definis dans la base sont remplis, les index de reference aux autres tables Run, 
Instrument, Channel sont correctement affectes et les informations generales 
concernant les differents Run, Instrument et channel sont remplis au fur et a 
mesure que les informations correspondantes dans les headers des images sont 
presentes. En cours : ecriture des scripts correspondant a l'ingestion des 
tables Coaddition, AstroPhotoCalibration,image_has_coaddition et 
image_has_AstroPhotoCalibration. Chiara a prepare un jeu de test d'images, 
calibrations astro-photometriques et coadditions pour les test de Gregory.
- QualityFITS: Chiara a teste la compatibilite de qualityFITS avec son lancement 
sous Condor. Deux problemes sont apparus: a) condor copie l'executable dans un 
script condor.exe: QualityFITS etant un script, l'array $ENV{} est lu comme s'il 
s'agissait d'une variable condor (qui a par contre une syntaxe differente), cela 
genere des comportements varies et un peu antipathiques. Elle a reduit les 
degats en modifiant QualityFITS et en rajoutant certaines options (suggerees par 
Olivier) dans le fichier de soumission. b) QualityFITS ecrit ses fichiers de 
sortie dans un repertoire: les repertoires ne sont pas transmis automatiquement 
par condor et elle n'a pas encore compris s'il y a une facon simple de les 
transmettre.

Developpements software (Chiara, Emmanuel)
- SExtractor: Chiara a rajoute les parametres de configuration GAIN_KEY et 
SATUR_KEY; la saturation et le gain peuvent desormais etre lus dans le header de 
l'image, finalisant ainsi la gestion automatique des niveaux de saturation 
commencee avec SWarp. Chiara a egalement cree un modele XSLT pour le catalogue 
(optionnel) en format VOTable. Meme si le catalogue n'est pas demande dans le 
fichier XML de sortie les parametres de mesure sont presents, elle a donc 
egalement ajoute une table "parametres d'extraction" dans la feuille xslt.
- MissFITS: Chiara a finalise la sortie XML au format VOTable et sa feuille de
style XSLT, et mis a jour la documentation. On peut desormais afficher dans un 
browser une table avec le contenu de mots-cles FITS arbitraires. La version 
2.2.5 a ete releasee publiquement. La transformation en BITPIX 16 dans MissFITS 
est beaucoup plus compliquee que ce auquel elle s'attendait (architecture 
complexe). *Chiara demande: Emmanuel, ce serait peut-etre plus interessant de 
l'inserer en option de WeightWatcher?*
- Chiara a installe  MissFITS 2.2.5 et WeightWatcher 1.8.5 sur le cluster 
'terapix' + clix.
- XSLT: Chiara a rendu la visualisation des parametres de configuration 
automatique pour : MissFITS, PSFEx, SCAMP, SExtractor, SWarp et WeightWatcher.
- RPMisation de liVOTable foireuse, pas d'installation sur le cluster. Chiara a 
quand meme installe le .tar.gz de Jean-Christophe sur mix10 pour l'utiliser dans 
la lecture du XML de MissFITS.
- SWarp: la visualisation du header_flag dans le XML n'etait pas correcte, 
Chiara l'a corrigee.
- SCAMP: un pb est apparu fin Juillet avec le catalogue 2MASS (changement de 
format de requete des coordonnees). Emmanuel a produit une nouvelle version 
interne (1.3.12), mais pas encore releasee officiellement.
- PSFEx: pour les besoins de son article, Emmanuel a reecrit certaines parties 
de PSFEx. La selection des etoiles est desormais plus performante et ne sacrifie 
plus d'etoiles brillantes sur l'autel du chi2. L'analyse en super-resolution a 
ete rendue plus modulaire, et inclue desormais une option de decomposition en 
shapelettes, qui s'avere complementaire de l'approche d'origine. Les 
performances sont comparables.
- SExtractor "morphologie" (SExfigi): deux estimateurs de shear (lineaire et 
quadratique) ont ete ajoutes. Les tests de base sur simulations semblent 
indiquer un bon fonctionnement.
- Un utilisateur du forum (capak) a mentionne a juste titre un pb de coherence 
dans l'usage de stdout et stderr dans les logiciels TERAPIX. Ce point devra etre 
pris en compte dans les futures versions.

Systeme/hardware (Fred, Emmanuel)
- Emmanuel a change un disque "souffrant" sur efigix.
- Fred a reconstruit avec succes le RAID2 de mix3 qui etait degrade, et ajoute 
mix10 dans la liste 3ware de l'intranet.
- Fred a realise une importante mise-a-jour du forum. Un petit bug dans le 
numerotage des posts s'en est suivi, qui a ete immediatement corrige.
- Chiara signale que clix n'est defini dans aucun des deux clusters utilisables 
pour les commandes c3. Le soft installes par cexec ne sont donc pas installes 
sur clix (cf. mail du 31/7/2007). *Est-ce normal / pratique?*
- Emmanuel a constate dans les logs que certaines machines pratiquaient toujours 
le long test smart le samedi: mix2,mix4,mix6,fcix,fcix2 et mix10, et que le pb 
d'efigix de la fin juillet etait probablement du a une interaction de ce test 
avec la charge Condor. Un reboot semble necessaire pour activer la suppression 
effectuee par Fred plusieurs mois auparavant.
- Le master Condor etait a nouveau mort sur clix. Emmanuel l'a relance. mix8 a 
plante a la suite d'un job Condor. Emmanuel a du la rebooter.
- le fonctionnement de la teralist reste erratique (delais jusqu'a plusieurs 
heures).

Web (Emmanuel)
- 15 mois apres le demarrage du forum, nous avons depasse la barre des 200 
utilisateurs enregistres dans le forum TERAPIX. On recense plus de 80 instituts. 
190 sujets ont ete lances et l'on depasse les 650 messages.

Misc (Yannick)
- Yannick a mis en place avec Nicole Blondin, la Delegation Paris A et l'INSU le 
poste IE CNRS pour Gregory.

WIRCAM (Chiara)
- Chiara a redige le cookbook detaillant le traitement WIRCam 
http://terapix.iap.fr/spip_redirect.php?id_article=730
- Procedure de soustraction de fond-ciel : les images pour lesquelles il n'y a 
pas de flat ou de Bad Pixel Mask sont skippees et signalees dans le mail de 
notification final. Certaines procedures "de service" ont ete rajoutees a la 
distribution SVN: tous ce qui est utilise dans l'article sur le traitement 
WIRCam est disponible sur SVN. Le programme C qui parse le XML de MissFITS est 
termine et lui aussi dans la distribution SVN.
- Donnees Bouvier-Moraux: Estelle Moraux a fait parvenir ses commentaires sur 
les images soustraites du fond-ciel. Il s'agissait de comprendre quels 
parametres optimisent la soustraction au moment de la coaddition finale dans le 
cas d'images avec presence de nebulosites. Le retraitement des vielles donnees a 
ete demande a Loic et en consequence le retraitement a TERAPIX aussi. La liste 
des priorites:
a) RUNID 07AF22 et 07AF99 (IC4665)
b) RUNID 06BF23 (IC348)
c) RUNID 06AF01 (Ophiucus) a retraiter
- Chiara a prevenu les PI WIRCam en priorite et Loic, qu'elle sera en vacances 
du 21/08 au 3/09.
- Henry et Herve ont calcule les solutions astrometriques et photometriques et 
SWarpe des donnees WIRCAM 06+07a pour COSMOS.

Amicalement,
			Emmanuel.