Message-ID: <463E6B16.6050104@iap.fr>
Date: Mon, 07 May 2007 01:56:06 +0200
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese des semaines du 30/04 au 06/05
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici une synthese partielle et partiale des activites couvrant cette
longue periode du 30/04 au 06/05!

Processing T04 (Yannick, Henry, Emmanuel, Fred, Mireille, Mathias):

- Yannick rapporte que le transfert des data STEP1 (le cartes de poids 
des images individuelles principalement) suit son cours.  Compte tenu du 
taux de transfert, le CADC table sur un une reception complete dans 8 jours.

- La production de T0004-STEP2 suit son cours. Avec les 4 champs wide et 
les 4x2 champs deep, il y a au total 523 stacks a produire. A cette 
heure, 403 sont termines. Tous les W1, W2 et W4 sont construits, 34/151 
W3 sont produits.  3 D1-25% sont faits, mais l'ensemble sera sans doute 
a refaire car la selection des champs et la production des .head est 
incorrecte/incomplete (a voir avec Fred et Henry).

- CFHTLS Wide:
-* Les evaluations des stacks fondees sur les QFITs-out, les diagrammes 
couleur-couleur des etoiles, les images couleurs de STIFF, les 
statistiques sur les seeing et l'astrometrie sont en cours.  Dans 
l'ensemble les resultats sont acceptables, bons, voire tres bons. Le 
points le plus critique reste l'offset en bande u. L'analyse combinee 
des 7 champs W4 comparee au SDSS permet de reduire les fluctuations 
statistiques et revelent l'erreur systematique avec une bonne precision. 
En bande u il y a clairement un offset de 0.21+/-0.01.  Il y a un petit 
offset en bande z de 0.03 mag.  Les premieres analyses de W3 montrent 
qu'il est vraisemblablement present sur W3 aussi. Maleureusement comme 
nous n'avions aucun champ en bande u pour W3 et W4 , T0001/T0002/T0003 , 
on ne peut pas  savoir si cet effet est nouveau. La seule reference que 
nous ayions est un seul champ W1 commun au SDSS et CFHTLS.  Ce champ ne 
montre pas l'offset en u.  Ceci laisse donc penser que l'effet affecte 
les donnees uniquement apres janvier 2006.  Il sera important de faire 
une comparaison SDDS-CFHTLS W3 (si cela etait possible): si l'offset est 
rigoureusement le meme que W4, alors il sera facile de le corriger, meme 
si l'explication reste a etre trouvee.
-* Mathias a commance a regarder les offsets photometriques pour les 
galaxies dans W4. Mais le resultat n'est "pas conclusif"(?). Il a par 
ailleurs calcule E(B-v) pour quelques champs de W4.
-* Actuellement, les diagramme couleur-couleur qui sont termines ne 
concernent que les champs qui disposent de donnees ugriz. Cette priorite 
est motivee par l'imminence du CFHT users meeting de facon a pouvoir y 
montrer et discuter des donnees concerant l'ensemble des filtres.  Les 
champs ne disposant que de 4 ou 3 filtres restent a faire.
-* Les cartes l'etat du releve Wide, pas champ et par filtre montrent 
l'etat d'avancement du releve delivre aux utilisateurs de T0004. Les 
bandes u et z sont, comme prevu, les moins avancees.  Il y a aussi 
quelques "trous" dans les bandes g,r et i.  ce sont des champs dont les 
donnees etaient hors specifications a la suite des selections Terapix. 
Comme ces "trous" different entre filtres, l'ensemble de la couverture 
panchromatique en souffre.  Ce sont ces champs qu'il faudrait observer 
en priorite a l'avenir.
-* Il reste a etablir les offsets de l'astrometrie entre les champs 
commun T0003 et T0004. Les premiers sont construits avec USNO-B1, les 
seconds avec 2MASS.  Il faut que nous delivrions cette information aux 
utilisateurs des diverses releases.
- Fred mentionne un stack W3 en erreur et donc a refaire, suite a un 
plantage de mix6, et un stack W1 CFHTLS_W_*_022929_070000 dont il manque 
l'image chi2.

- CFHTLS Deep:
-* Le stacking du Deep D1 a souffert cette semaine de deux problemes: 
l'un du a une confusion dans la limite de seeing imposee par Henry pour 
le SCAMP ("inferieur" au lieu de "inferieur ou egal", regenere depuis), 
et l'autre du au pb du rcp manquant de ports libres. Fred a remplace les 
rcp par scp.
-* A part ca le facteur limitant pour les Deep reste la disponibilite de 
l'espace disque. C'est ridicule, mais surtout frustrant car sans ce 
problement, les deep-25 et 85% seraient vraisemblablement termines.

- Un bilan de l'etat du releve le vendredi 4 mai a ete envoyee au CADC 
et au DOG , en alertant le CFHT sur l'offset en u.  Dans ce petit 
rapport, compte tenu de la progression de T0004, le CADC est averti que 
T0004 devrait etre termine et delivrable totalement au CADC vers le 20 
mai (2007!).

MEGACAM P.I. (Yannick)
- Fred indique que les donnees PI Tully (06AH44 et 06BH11, 100 images en 
tout) ont ete transferees et sont cours de QF-in sur pix7.
- *Yannick mentionnait un mail de Tully envoye vendredi pour savoir si 
le transfert des data vers terapix est ok. Yannick as-tu repondu?*

Developpement software (Chiara, Gregory, Emmanuel):
- Controle qualite automatique:
-* Il ressort du travail avec Gregory que malgre l'implementation du 
nouveau parametre "Asymmetry" dans PSFEx, les mesures disponibles ne 
permettent pas d'identifier beaucoup des images deja classees mauvaises. 
Dans le cas de MEGACAM, la raison est que la majorite des defauts se 
manifestent a plus grande echelle: pbs d'electronique de lecture, 
certains objets avec trainees, dedoublement a longue distance angulaire, 
pbs de flat-fields. En revanche, PSFEx identifie avec succes des images 
pourtant classees "bonnes", essentiellement celles legerement 
defocalisees. Le test des performances de PSFEx necessite donc un 
travail de reclassification visuelle base exclusivement sur l'apparence 
de la PSF.
-* Chiara de son cote a analyse Asymmetry, Elongation et Residuals sur 
un jeu d'un millier d'images WIRCAM. Les mesures detecteur par detecteur 
sont assez bruitees et refletent l'heterogeneite de la qualite de la PSF 
WIRCam. Les mesures moyennes sont les moins bruitees et semblent isoler 
dans certaines zones les mauvaises images, mais ces zones sont partagees 
avec des images que Chiara a considerees 'acceptables'.
La population de la 'mauvaise' partie du plot ne semble pas dependre du 
seeing estime. Certaines images 'bonnes' ont une elongation exageree: il 
s'agit souvent d'images qui ont un assez bon seeing et un nombre 
d'etoiles utilise pour l'analyse plus petit que 20. L'analyse PSFEx sur 
WIRCam est fortement dependante des parametres d'entree des objects 
selectionnes; Chiara considere ce travail comme toujours "en cours".
-* Chiara a mis a jour la feuille de style XSLT de PSFEx (rajout des 
mesures d'asymetrie).
-* L'impression d'Emmanuel sur le sujet est que PSFEx est desormais 
a-meme de detecter la plupart des mauvaises PSFs (si cela affecte toutes 
les etoiles a une echelle max de quelques arcsec), mais que dans 
certains cas il identifie a tort de mauvaises images pour des raison de 
confusion avec des defauts en grand nombre (WIRCAM). Les quelques tests 
faits avec les images MEGACAM laissent penser que la classification 
visuelle est fausse pour au moins 1% des images.
-* Gregory s'attaque aux defauts plus etendus, a partir des images 
rebinnees calculees pendant les QualityFITS. Il investigue en ce moment 
la librairie OpenCV.

- WeightWatcher: les bugs trouves par Henry sur le comportement du soft 
avec des tres grandes images ont ete corriges par Chiara. Les tests de 
vitesse entre compilation gcc et compilation icc montrent que  gcc reste 
plus interessant. Enfin le fichier d'autoconfiguration et la 
documentation ont ete mises a jour pour la release publique (1.8.0) 
effectuee vendredi dernier; voir 
http://terapix.iap.fr/soft/weightwatcher et 
ftp://pipeline:grostuyau@kiravix.iap.fr/weightwatcher/

- QualityFITS: *Chiara demande s'il serait possible d'y ajouter le 
calcul correct de la surface, en tenant compte de la partie du champ 
flaguee (ou pesee a zero)?*

- Morphologie des galaxies: Emmanuel travaille a plein sur les mesures 
morphologiques des galaxies, et en particulier cette semaine sur 
l'ajustement des bras et barres aux images de galaxies.

Hardware/systeme (Chiara, Henry, Fred, Emmanuel)
- Fred a receptionne cette semaine la machine SL2S (Alard et al.).
- DS9: *Chiara et Henry demandent s'il serait possible d'installer la 
verion de ds9 signalee par Henry, capable d'afficher des tres grandes 
images, sur tout le cluster? cf. mail de Henry
"/data/mix7/raid1/hjmcc/scratch/ds9.linux64old.4.12.tar.gz binary in 
/home/nis/hjmcc/bin/ds9"*
- Fred a retire, puis remis l'option d'auto-activation (par e-mail) des 
comptes du forum, apres qu'il ait trouve comment desactiver l'envoi de 
mail par ce biais. Emmanuel signale que la version actuelle du forum est 
en retard de 2 mises-a-jour de securite importantes.

Misc. (Yannick, Emmanuel, Chiara)
- Apres moult discussions Jean-Marie Hameury nous a prevenu vendredi 
dernier qu'il met a disposition de Terapix un poste AI ou IE . Le poste 
peut etre immediatemement pourvu et donc il faut que nous trouvions 
rapidement des candidats.  Nous devons discuter des meilleures options 
pour le profil et le niveau... mais on n'aura peut etre a etre plutot 
opportunistes compte tenu des chances qui se presenteront a nous...
- Rapport Terapix pour IAP, Rapport Terapix pour le SAC du CFHT: Yannick 
n'a pas eu le temps de s'en occuper, aucun des deux rapport n'est 
acheve. Le SAC du CFHT est prevenu et connait la raison (200% du tmeps 
et de l'energie pour produire cette T0004); l'IAP est prevenu et connait 
la raison (idem + depart Laurent). Emmanuel suggere de distribuer le 
travail de redaction aux membres de l'equipe.
- Apres reconduction du contrat d'Anthony jusqu'a decembre 2007 et 
quelques savants calculs, EFIGI devra environ 25 keuro a TERAPIX, qui 
serviront a financer une ou plusieurs machines du cluster.
- Finalement pour Marseille, Chiara et Gregory prendront sur une ligne 
TERAPIX, et Emmanuel sur EFIGI.
- Chiara prepare le concours IR des universites.

WIRCAM P.I. (Chiara)
- Chiara a mis a jour la doc sur le traitement qui WIRCAM qui a ete 
envoyee pour l'instant a Pascale Hibon (etudiante de Cuby). La toute 
derniere version est disponible a la page 
http://terapix.iap.fr/article_intranet.php?id_article=565 . Chiara 
attend toujours des commentaires de l'equipe.
- Donnees Willott (WIRDS): Chris Willott a demande a Chiara de voir la 
derniere image produite avec les donnees corrigees par Loic, elle les 
lui a mises a disposition sur ftpix. Une demande officielle de 
traitement des RUNIDs 07AC20 (PI Willott) et 07AF34 (PI Kneib) a ete 
recue. Avec ces deux derniers RUNIDs les observations en Ks du champ D3 
sont completes: il faudra traiter toutes les donnees ensemble
- Donnees Cuby: elles ont finalement ete recuperees par Pascal Hibon.
- Henry n'a finalement pas effectue les mesures MAG_APER pour le test 
des points-zero relatifs comme il s'y etait engage deja 3 ou 4 fois.

Amicalement,
			Emmanuel.