Message-ID: <47E806E7.4090409@iap.fr>
Date: Mon, 24 Mar 2008 20:54:15 +0100
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To: teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 17/03 au 24/03/2008
Content-Type: text/plain; charset=windows-1252; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici la synthese des activites couvrant la periode du 17/03 au 24/03 a partir
des bilans de Yannick, Mathias M., Mathias S., Gregory, Henry Joy et Patrick. 
Merci a vous 6!

Par ordre arbitraire:

Operations CFHTLS (Yannick, Mathias S.)
- T05: preparation des donnees entrantes. Les nouveaux flats sont en cours de 
transfert. Jean-Charles a produit les plus recents en fin de semaine, Yannick 
les transferant depuis dimanche matin sur mix3 (generation Flat.B4... Fred a 
deja transfere la generation Flat.B2).
- Mathias S., Jean-Charles et Nicolas se chargent d'ecrire ensebmle un rapport 
sur le fonctionnement de la calibration photometrique au CFH.
- Mathias S. a implemente le calcul des offsets par moyenne ponderee et de leurs 
incertitudes.

Operations MEGACAM PI (Yannick, Mathias S.)
- Donnees Urbaneja: toutes les images et les flats necessaires au traitement de 
07BH10 ont ete recuperees par Yannick.  Les donnees sont en cours de processing. 
Mais le traitement concerne NGC 2403 dont l'extension et la structure spirale 
rendent le calcul du fond difficile. Un certain nombre de tests sont donc en 
cours pour trouver un optimum en jouant sur les parametres de Swarp BACK_SIZE 
et/ou BACK_FILTERSIZE . Deux autres tests sont en cours en ne soustrayant pas le 
background sur l'image stackee avec un stack par moyenne ou mediane.  Les 
resultats sont resumes dans un rapport en preparation.
Pour se faire une idee , on peut regarder les TIF couleurs rassembles dans
/data/mix7/raid1/Yannick/07BH10PIMiguelUrbaneja/limu.cfht.hawaii.edu:872/QdTrqr/completed/AllColorTifImage
De cette analyse trois configurations sont approfondies en calculant les images 
chi2 , les catalogues chi2 puis les diagrammes couleur couleurs
BACK_SIZE=64, BACK_FILTERSIZE=3 (si =3 alors non specifies)
BACK_SIZE=32, BACK_FILTERSIZE=5
BACK_SIZE=128, BACK_FILTERSIZE=3
Mais seules les deux premieres semblent optimales (la troisieme est pour 
confirmer qu'on s'ecarte de l'optimal).  Toutes les donnees (images stackees, 
catalogues, chi2, ) sont dans des directory qui explicitent le contenu, a partir 
de 
/data/mix7/raid1/Yannick/07BH10PIMiguelUrbaneja/limu.cfht.hawaii.edu:872/QdTrqr/completed
Le premier plot couleur-couleur des etoiles pour BACK_SIZE=64, BACK_FILTERSIZE=3 
  semble satisfaisant, ce qui signifierait que la calibration photometrique est 
OK. Il reste a voir la stabilite des catalogues pour ces trois series de 
parametres et voir si ce qu'on delivre a Miguel Urbaneja est exploitable, et 
jusque dans quelles limites.
- Mathias S. est pour sa part en train de creer les catalogues multi-bandes et 
diagrammes couleur-couleur avec Pickles.

Operations WIRCAM PI (Henry Joy, Patrick)
- Apres avoir essaye de faire un recensement de toutes les donnees WIRDS/COSMOS, 
Henry Joy croit avoir repere qu'un run n'avait pas ete telecharge du CFHT. Des 
investigations sont en cours pour essayer de retrouver la trace de ce run au CADC.
- Les donnees Bouvier ont ete releasees par Patrick apres les correctifs 
proposes par Yannick.
- Les donnees Dwelly sont pretes a etre copiees sur ftpix et releasees.
- Les donnees Balogh sont pretes egalement. Les champs sont tres petits et
peu profonds. La comparaison avec les objets 2MASS pour la photometrie n'est pas 
tres belle; il y a beaucoup de dispersion selon Patrick.
- Les donnees IBATA sont en cours de reprocessing par Patrick. Mr Ibata a pose 
sur des regions tres encombrees (M31) et il alterne un champ M31 et un champ
vide. Patrick cree donc les fonds de ciel sur les champs vides pour la
soustraction et compare ces resultats avec les fonds de ciel realises
sur les images M31 (en cours).
- Les donnees Walawender comportent un champ pour lequel Patrick n'est pas 
encore capable de faire aussi bien que Loic (simple passe); Patrick continue a
investiguer.

Developpements T05 (Mathias M., Greg)
- Chaque item du shopping cart se voit attribuer un identifiant (relativement) 
unique principalement pour permettre de reperer plus facilement depuis 
l'interface de monitoring des jobs lances sur le cluster. Les IDs des items du 
panier peuvent etre prefixes d'une chaine de caracteres personnalisee utilisee 
lors de la generation de l'identifiant.
- L'interface de monitoring de qualityFITS a ete amelioree par Mathias de 
maniere a ne monitorer que les jobs qualityFITS lances depuis Spica (Auparavant, 
tous les jobs qualityFITS lances sur le cluster apparaissaient dans 
l'interface). Deux colonnes "Item ID" et "FITS file" on ete ajoutees 
respectivement pour indiquer l'identifiant du job en cours de traitement (le 
meme que celui du panier) ainsi que le fichier FITS en train d'etre 
"qualityFITSe" sur le cluster.
- Dans le panier, tous les articles relatifs a un plugin peuvent etre envoyes 
sur le cluster en un seul clic.
- Le modele de la base de donnees a ete enrichi par l'ajout de deux tables:
   * spica2_configfiles: permettra de stocker tous les fichiers de
     configuration personnalises a utiliser avec les differents plugins
     de processing
   * spica2_miscdata: table generique dont chaque enregistrement contient
     une paire (clef, valeur). La valeur associee a la clef contient des
     donnees serializees. Pour le moment, cette table contient des
     informations sur les FLATS et les MASKS a utiliser avec qualityFITS.
- Plugin QualityFITS: un onglet "Select flats and masks paths" a ete ajoute a 
l'interface par Mathias. Cette partie est fonctionnelle. Il est possible de 
selectionner un chemin sur le cluster et de le sauvegarder en tant que chemin 
vers des fichiers FLATS ou MASKS. Le chemin selectionne est toujours un 
repertoire mais peut etre complete et edite a la main. Il est par exemple 
possible d'ajouter un nom de fichier au chemin auquel cas le comportement de 
l'application sera different:
   * Si c'est un chemin vers un repertoire qui est sauvegarde, les
     fichiers FLAT et MASK correspondant (par image) seront cherches dans
     ce repertoire.
   * Si c'est un chemin pointant vers un fichier, ce dernier sera
     utilise pour toutes les images de la selection. Les noms relatifs
     aux FLATS et aux MASKS deja existants et ingeres seront ignores.
- Cette semaine, les developpements de Mathias se concentreront autour de
l'implementation de l'interface de selection et d'edition de fichiers de
configuration pour qualityFITS (onglet "Select a configuration file").
- Gregory a resolu le bug concernant l'ingestion du fichier log fourni par Yannick.
- Le bug de l'affichage de l'activite des vm sur le cluster pour spica2 a ete 
resolu (Condor a ete upgrade et les bonnes variables n'etaient plus parsees).
- La page de stats de spica2 reste toujours a realiser. Faire des multijointures 
a travers django n'est pas une mince affaire et des rajouts de cle etrangeres 
entre les tables s'imposent(a voir avec Mathias M.). Greg propose les 
statistiques suivantes:
    * Ingestion (en % et barre de progres comme pour la preingestion ce
      qui permet de voir de maniere rapide et synthetique l'ensemble de
      ce qui a ete fait)
    * Nombre d'images ingerees pour un survey sur l'ensemble des images
      du survey par instrument, avec info relative a l'instrument par
      run, avec info relative au run (sur nombre total sur le run en
      accord avec les infos des fitstables) par channel, avec info
      relative au channel( sur nombre total sur le run en accord avec
      les infos des fitstables)
    * Liste d'images associes aux runs et affichage des infos contenues
      dans les headers pour chaque image des infos concernant la vie
      de chaque image dans le pipeline: son etat de processing actuel.
A discuter... La page sera prete pour la fin de la semaine
- Geodjango: Greg a rencontre avec Emmanuel des problemes quant a son 
utilisation : il faudrait refaire une installation propre de tout django_gis. 
Greg s'en charge cette semaine pour que cela puisse tourner aussi a la fin de 
cette semaine

Autres developpements (Emmanuel)
- Emmanuel a ajoute a SkyMaker (version SVN) la possibilite d'utiliser des 
facteurs d'echantillonnage non-entiers et/ou <1.
- Emmanuel a continue cette semaine a travailler sur la nouvelle version de 
PSFEx cette semaine. Ont ete implementees la cartographie de l'ellipticite de la 
PSF, des check-images representant les chi2/par pixel, et une pre-selection plus 
fine des sources ponctuelles par image. Le probleme de robustesse dans la 
modelisation de la variation des reponses impulsionnelles a ete compris et 
partiellement traite. La parametrisation donne desormais des resultats corrects, 
mais qui restent a ameliorer.
- Emmanuel envisage de releaser une version intermediaire de SExtractor 2.6 dans 
les jours qui viennent, suite a l'accumulation de bugs reportes sur le forum ou 
dans les mails, qui se sont vus "naturellement" corriges dans les parties 
reecrites de la nouvelle version (toujours privee).

Systeme/hardware (Henry Joy, Mathias S., Yannick)
- Henry Joy s'inquiete aupres de Fred que mix7 soit toujours degrade.

Divers (Mathias, Emmanuel, Henry Joy)
- Mathias S. sera a Paris la semaine prochaine de lundi a mercredi (reunion 
PNG/PNC).
- Henry Joy a assiste au meeting UltraVISTA a Leiden de mardi a vendredi. Le 
projet utilisera environ 25% du temps du telescope VISTA pour conduire un releve 
dans le champ COSMOS. Jeudi, il a assiste a une rencontre entre Cambridge (CASU) 
et Astro-WISE (Ed Valentijn). CASU est partant pour nous fournir les donnees 
sous n'importe-quelle forme, a n'importe-quelle etape du processing. Le meeting 
a ete  un peu complique par l'insistance d'Ed a demander que le processing a 
TERAPIX soit accompli au sein du pipeline Astro-WISE. Henry Joy n'a pas su quoi 
repondre a cette requete. Apparemment Ed desire conduire des teleconferences 
bi-hebdomadaires avec nous pour mettre en place le pipeline Astro-WISE a 
TERAPIX. A la suite de CASU, un resume a ete effectue par les gens de UKIDS a 
Nottingham. Leur probleme principal est, comme pour nous, le controle-qualite 
sur les images finales. Henry Joy a presente une page QualityFITS qui a 
impressionne tout le monde.
- Il est possible que des donnees VISTA de commissioning soit disponibles en 
novembre. Il est possible egalement que ces donnees soient sur le champ COSMOS; 
mais apparemment aucune decision a ce propos n'a encore ete prise.
- Selon Henry Joy, il ne semble pas y avoir d'obstacles au processing des 
donnees UltraVISTA; mais il est possible que nous necessitions un double 
controle quant-a la reduction des donnees en bande etroite.
-  Henry Joy rappelle a Yannick que nous devons clarifier la situation de 
TERAPIX vis-a-vis d'Astro-WISE avec Ed Valentijn et Marijn Franx.

Amicalement,
			Emmanuel.