Message-ID: <4622B287.7030402@iap.fr>
Date: Mon, 16 Apr 2007 01:17:27 +0200
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese des semaines du 02/04 au 15/04
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici une synthese partielle et partiale des activites couvrant cette 
longue periode du 02/04 au 15/04!
Par ordre arbitraire:


Processing T04 (Yannick, Henry, Emmanuel, Fred, Mireille, Mathias):

- Mode operatoire:  le lancement du test en vrai grandeur de T0004 des 
deux dernieres semaines est fonde sur (1) les scripts dits "SPICA-malin" 
que Fred a mis en place (contournement des multiples relances de Scamp 
de SPICA pour chaque stack, insertion du more postspica qui gere les 
images et catalogues chi2) , (2) les nouveaux fichiers W1, W2, W3, W4 
sans les PreW selectionnes par Yannick, (3) les .ahead construits par 
Henry en utilisant les labels "P" uniquement, (4) le scamp global qui 
utilise tous les champs de chaque Wide pour construire la solution 
astrometrique et en se calibrant sur 2MASS.

- Calibration Astrometrique:
-* Fred et Henry ont fourni les .ahead a Emmanuel pour W1 et W4 (voir 
plus bas) afin qu'il calcule les solutions astrometriques/photometriques 
et les .head avec SCAMP. Les controles visuels ne montrent pas de 
probleme; la seule fausse alerte etait du a un cafouillage de la 
selection des champs dans SPICA qui a conduit a SWarper des poses 
non-astrometrees. Jeudi Yannick a refait la selection, qui a ete 
astrometree par Emmanuel; on attend depuis le retour de Fred pour 
relancer le stacking. A ce propos: *Emmanuel souhaiterait que l'on 
profite de cette occasion pour utiliser 2MASS dans la comparaison 
astrometrique et que l'on ajuste le niveau de saturation (~9000-10000, 
voire moins) mentionne par Chiara dans QFITSout*.
-* Mathias a controle l'astrometrie de stacks du Wide de T03 et T04 
ayant un recouvrement avec le SDSS, et trouve des offsets bien plus 
faibles lorsque 2MASS est utilise en reference (T04) que l'USNO-B1 
(T03): les offsets typiques passent de ~200 a ~50 mas ou moins. Les 
differences astrometriques entre les deux releases revelees par Henry 
sembleraient donc a priori incriminer plutot T03.
-* En revanche l'astrometrie du Deep est plus difficile a mettre en 
place; 32Go ne suffisent pas a faire tenir tous les champs des Deep et 
leur peripherie. Deux solutions sont envisagees par Henry: 1) faire 
tourner SCAMP avec les 25% de poses Deep de meilleur seeing + 9 zones de 
Wide autour (en cours); 2) modifier SCAMP de sorte a lui faire ecrire un 
catalogue de reference "moyen" a l'issue de la calibration des donnees i 
par exemple (ce qui evite de passer par SWarp; cette etape n'a 
malheureusement pas ete implementee).
-* Un certain nombre de stacks z montre d'importants residus de franges. 
Le CFHT est prevenu et il demande la liste de champs z pour verifier 
*Yannick, Henry: avez-vous transmis cette liste a Kanoa?*.

- Calibration photometrique:
-* Fred rapporte que 4 criteres interviennent dans SPICA pour decider si 
un champ est photometrique ou pas: presence du keyword photometrique 
dans le header CFHT; valeur du skyprobe < 0.05, metadonnees photom CFHT 
P ou A, et enfin PHOT_C != 0. Les histogrammes des valeurs d'attenuation 
issues de Skyprobe realises par Henry semblent mettre en evidence le 
fait que cette mesure n'est guere fiable qu'au niveau de ~0.1 mag; il a 
donc ete decide de s'en tenir au critere du flag photometrique decide 
par le CFHT. Le PHOT_C ne s'avere nul qu'en l'absence de flag 
photometrique, donc il n'est pas corrige; la seule consequence est un 
graphe ZP_CORR avec des valeurs excessives pour ces champs.
-* Mathias detient enfin la relation u_MEGACAM et u_SDSS:
   u_M - u_SDSS = -0.214(0.001) * (u_SDSS - g_SDSS)
-* Les plots (diagrammes couleur-couleur et comparaisons SDSS) realises 
par Mireille, Yannick et Mathias trahissent des offsets de magnitude de 
0.1 a 0.3 mag dans certaines bandes (u et z en particulier). Plusieurs 
hypotheses ont ete emises:
-** 1) variabilite de MAG_AUTO avec le seeing et/ou le rapport 
signal/bruit (avance par Emmanuel, mais defavorise par Henry): au niveau 
des stacks les tests de Yannick indiquent un possible effet, mais ceux 
de Mathias ne montrent aucun changement; s'il existe, cet effet se 
produirait donc uniquement au moment de la calibration sur les poses 
individuelles. Pour le tester, Emmanuel doit modifier SCAMP pour 
accepter les vecteurs d'ouverture de QualityFITS. Les derniers tests de 
Mathias semblent cependant montrer que les offsets sont parfois negatifs 
(r, z), parfois positifs (u,i). 2)
-** 2) non-prise en compte de l'extinction (mais cela n'explique pas 
l'intensite des effets en z et la difference avec le SDSS egalement 
donne sans extinction). *Mathias et Henry doivent fournir les E(B-V) 
dans les champs Wide*
-** 3) un pb de calibration de certaines poses au CFHT (optique sale). 
C'est actuellement l'option qui semble la plus plausible (corrobore par 
les mesures de l'evolution des points-zero de Yannick entre 2005 et 
2006, et les explications de Jean-Charles).
-* -> Il faudra relancer W4.

- Fonctionnement du pipeline et autres:
-* Yannick a "nettoye" la base de donnee et refait de la place sur les 
disques afin de preparer le relancement de W1.
-* Le changement de la magnitude brillante de 12 a 17 dans le calcul de 
completude suggere par Henry a permis de gagner ~15 minutes (~15%) par 
stack.
-* Pb des "e" minuscules dans les cartes de poids: Fred a ecrit le 
script mais ne l'a pas encore lance. Chiara confirme que le pb provient 
bien des flats.
-* Yannick signale un bug de trace sur un plot QFITSout des sub-images.
-* Le pb du post_spica.pl sur mix4 a ete identifie par Fred comme 
provenant d'un forkmanager manquant sur cette machine. *Chiara mentionne 
que forkmanager manque egalement sur mix3*
-* Mathias n'a pas reussi a acceder aux catalogues multicouleurs Deep de 
T03 au CADC. Yannick a envoye un e-mail au DOG *Yannick, une reponse?*.
-* Concernant le passage des weightmaps en 16 bits, la decision prise 
lors de la derniere teleconference avec le CADC est d'attendre la 
release T0005 car normalement toutes les weightmaps seront a refaire 
puisque le CFHT refait tous les masters.  Si tout se deroule 
normalement, QFITS devrait alors etre installe au CFHT, et donc elles 
seront creees sur place. Mais inutile de prendre du temps sur ce pb pour 
T0004.
-* JJ demande a ce que l'on depose une partie des stacks W4-T0004 sur 
les zones d'acces du CADC pour qu'ils puissent tester rapidement que 
tout est nominal (notamment du cote de fitsverify).
-* Le CADC va envoyer une liste de champs qui concernent notre DB et 
dont ils ont besoin pour leur propre BD. La liste (courte) sera envoyee 
a Fred
-* Attention, les noms des images CFHT ont atteint 920000 et l'on va 
donc depasser 999999 bientot. Le CFHT souhaite continuer au-dela du 
million... il faut etre sur qu'a aucun endroit cela pourrait conduire a 
un blocage.
-* Les stacks Deep 25% et 85% devront etre nommes CFHTLS-D-25**** et 
CFHTLS-D-85***


MEGACAM P.I. (Yannick, Mathias, Emmanuel)

- Programme PI Brent Tully: "Nous" avons recu une requete de Brent Tully 
qui prolonge le travaille deja effectue pour lui par Mireille. 
Ci-dessous le suivi. On doit donc effectuer le transfert puis lancer 
QFITS-in. Ceci est moins urgent que la release.
-* Requete ransmise a Yannick qui a transmis a Mireille, Fred, Henry
"We are asking that you process the data received in the second half of 
06AH44 (data obtained during the months of May and June on that program) 
and during all of 06BH11. "  La requete contient un petit rapport 
positif sur les data prececentes. *Yannick: pourquoi les P.I. te 
contactent en prive et n'utilisent pas (plus) l'adresse terapix@iap.fr 
prevue a cet effet?*
-* Demande acces aux data du CFHT: Done (Yannick le 12/04/07)
-* Accord, Elixirisation des data et lien d'acces aux data pour Terapix 
faits par Kanoa: (Kanoa le 14/04/07)
-* Transmis a Fred pour transfert: (Yannick le 13/04/07)

- Mathias et Emmanuel ont regarde ensemble la possibilite de mesurer les 
mouvements propres a partir de 2 epoques d'un champ 04AF09/05AF14): on 
peut mesurer des deplacements individuels de quelques dizaines de 
mas/an, mais 2 epoques sont insuffisantes pour isoler les veritables 
mouvements propres de glitches dus a l'encombrement du champ.


Developpement software (Chiara, Gregory, Emmanuel, Yannick, Mireille):

- Chiara rappelle que les dernieres versions de Weightwatcher sont 
capables de sortir l'aire effective reelle. L'utilisation de cartes de 
flag issues des masques WW dans le SExtractor de sortie serait une 
formule plus generique et plus precise que l'approche actuelle basee sur 
les catalogues. Par contre WW ne fonctionne qu'en coordonnees pixel; il 
faudrait donc eventuellement prevoir de petites modification a WW pour 
s'adapter aux masques en alpha,delta.

- Gregory, Chiara et Emmanuel ont travaille sur la caracterisation 
automatique des PSFs defectueuses de MEGACAM et WIRCAM a partir de 
statistiques sur les mesures de PSFEx.
-* Plusieurs bugs/manques de robustesse ont ete corriges dans PSFEx, et 
de nouvelles fonctionnalites (gestion de donnees en nombre 
insuffisantes, statistiques sur les extensions, acceleration des calculs 
par la librairie ATLAS) ont ete ajoutees. Certains points ont emerge:
-** le parametre "residuals" (qu'il s'agisse de la moyenne, du pire, ou 
du meilleur) s'avere insuffisamment sensible aux defauts du type de 
petites extensions parasites. Il faut inventer un meilleur estimateur.
-** l'analyse des statistiques de Gregory a permis d'isoler quelques 
donnees de tres bon seeing "injustement" classees en C (probablement du 
aux artefacts de reechantillonnage sur les pages QFITS) et des images 
considerablement allongees classes en A;
-** Ici aussi un niveau de saturation correct est necessaire dans la 
configuration de SExtractor. Il devrait etre possible d'offrir un moyen 
de mesure automatique a partir de l'histogramme des valeurs de pixel de 
l'image.
-** L'identification des "bonnes sources" pour la modelisation de la PSF 
est particulierement delicate sur les images WIRCAM, en raison des temps 
de pose plus faibles, du sous-echantillonnage des images, et de la 
grande quantite de mauvais pixels et autres artefacts.
-* Les plots sont desormais crees par Gregory avec Matplotlib sous 
Python. Une modification et relance des scripts sur 500 images avec 
nouvelle version de PSFex est en cours (modification de votable.xml 
notamment)
-* Mireille et Yannick ont envoye chacun un petit guide explicitant les 
criteres de classement A, B ou C.

- WeightWatcher:
-* Les fichiers .reg ds9 versions 4.0b7 (comme 4.0b9) et 3.0b5 sont lus 
correctement par ww. La version de ds9 2.3b1 disponible sur clix, donne 
segfault quand ont essaie de la lancer, donc pas de test de format. *Si 
vous avez des versions differentes qui generent des .reg differents, 
pourriez vous faire quelques tests ou envoyer l'executable a Chiara?* .
-* Si les .reg sont fournis en fk5 la sortie est maintenant "propre": 
avant, un segfault etait genere.
-* Chiara a rajoute une premiere feuille de style XSLT: la production du 
xml a ete rajoutee parmi les options mais elle n'est pas encore active.
-* Chiara a egalement rajoute l'option -dd pour visualiser les 
parametres moins utilises (XSLT stylesheet).

- SoS: production des masques en premier et deuxieme passe finalisee par 
Chiara (plus de segfaults!); generalisation du keyword decrivant les 
temps d'exposition; et introduction d'un temps d'integration maximum 
pour le calcul de mediane du ciel.


Hardware/systeme (Yannick, Henry)

- Le rack est arrive le 10 avril. Il a ete deplace par Yannick et Henry.
- Henry a par inadvertance fait disjoncter le reseau du bureau qu'il 
partage avec Gregory. La machine de Gregory est repartie sans encombres.
- Henry a commande a LDLC-pro une souris Bluetooth, un ventilo de 
boitier pour Chiara, et un clavier QWERTY pour Emmanuel.
- Chiara a installe la derniere version de Valgrind (3.2.3) sur mix9.


Misc. (Emmanuel, Chiara, Henry, Yannick)

- Trois abstracts, par Henry, Chiara et Emmanuel, ont ete soumis pour le 
CFHT users meeting en mai.
- Le candidat CNAP appuye par l'IAP cette annee, avec tache de service 
TERAPIX semble avoir ete "choisi(e)".


WIRCAM P.I. (Chiara)

- Donnees Deharveng: Chiara a produit des stacks et des catalogues en 
bande J ne contenant que les poses courtes: ils ont ete mis a 
disposition le 12 avril. Lise Deharveng sera absente la semaine 
prochaine mais elle a bien recu les infos pour le download.
- Donnees Cuby: Chiara a refait tout le traitement avec toutes les 
images. Le stack final est pret: il lui reste a faire l'evaluation de 
qualite, avant de mettre a disposition le stack et fermer definitivement 
la tache.
- *Henry ou en est-on concernant les mesures MAG_APER pour le test des
points-zero relatifs?*.

Amicalement,
			Emmanuel.