Message-ID: <47FDE5E5.9050204@iap.fr>
Date: Thu, 10 Apr 2008 12:03:17 +0200
From: Yannick Mellier <mellier@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Terapix. Bilan semaine; version definitive
Content-Type: multipart/mixed;
 boundary="------------010509010707050602010901"
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

This is a multi-part message in MIME format.
--------------010509010707050602010901
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 7bit


--------------010509010707050602010901
Content-Type: text/plain;
 name="bilansemaine03-09-avril20008.txt"
Content-Transfer-Encoding: 8bit
Content-Disposition: inline;
 filename="bilansemaine03-09-avril20008.txt"


   Chers tous

   Voici une synthese des bilans recus de Mathias (M.), Fred, Henry, Gregory, Patrick 
 et Yannick. Emmanuel etait a Garching et avait une auditions importante ce matin.
Mais il sera present a 14:00. Merci a tous pour vos bilans.  Desole pour l'arrivee 
tardive tu bilan expedie hier soir. Apparemment un pb de configuration du mailer a
l"IAP selon Carlos.

Faites moi signe si des elements manquaient a ce rapport.


   MegaCam PI (Yannick, Patrick)
----------------------------------

- Yannick a contacte Urbaneja qui lui a confirme avoir recupere les data sur ftpix.

- Yannick et Patrick ont construit un Latex pour produire les rapports concernant 
les processings ou des notes techniques eventuelles. Un template est preque pret, fonde 
sur un rapport pour les donnees MegaCam de 07BH10, PI Miguel Urbaneja. Le rapport a ete 
envoye hier au PI en le sollicitant pour avoir des commentaires de PIs. pas de retour 
pour le moment.


   MegaCam T0005 (Yannick, Fred)
----------------------------------------------

- Une serie de contre temps retarde le depart de T0005: Jean-Charles ne nous avait pas
indique les bons master flats a utiliser pour les donnees W4, puis une partie de ces 
masters etait manquante au CADC.  Jean-Charles nous les a finalement mis a disposition
au CFHT.  Par ailleurs, le CFHT a envoye au CADC 3 des 6 images manquantes des Photom. W4.
Le reste semble irrecuperable.  Fred a finalement recupere l'ensemble des images.  

- Fred a mis en place le srcipt condor pour lancer les QFITS de W4. 656 sur 657 images 
 cd T05-w4 QFitsées avec les bons master flats (/data/mix8/raid/T05-W4/). 

- En parallele les images W2 nouvelles sont en cours de recuperation. La encore, Yannick a
compare les images qui devraient se trouver dans la release T0005 et celles effectivement
disponibles dans la base du CADC: il en manque une centaine. Pour le moment le traitement
de W2 ne peut donc pas etre lance. Par ailleurs, toutes les images W2 de 08A qui devraient 
etre dans T0005 n'avaient pas de RA-DEC au CADC et une fraction des images de W2 de 07B 
ont un RA errone, avec un offset de 8hrs.  Le CADC  remedie a ce probleme en ce moment.

- Yannick a inventorie toutes les images qui consitueront les elements de Swarp des 
releases W1/2/3/4 de T0005 de facon a controler qu'elles ne manquent pas au CADC:

. 1661 W1 VALIDATED de 715071 | 03BQ02 Aug 23 a 967896 | 08AQ01 Feb 15

.  814 W2 VALIDATED de 730652 | 03BQ06 Dec 24 a 967609 | 08AQ01 Feb 13

. 1191 W3 VALIDATED de 705244 | 03AQ04 Jun 06 a 967986 | 08AQ01 Feb 16

.  657 W4 VALIDATED de 849847 | 06AQ08 May 25 a 935442 | 07BQ02 Aug 16

A noter que ce sont les images de stacks, mais Scamp en utilisera plus car il 
faut y joindre les poses courtes photomtetriques.  Yannick les a inventorie aussi
pour verifier que tout est effectivement diponible et integre au CADC. Il faudra y 
joindre les nouveaux point zeors prepare par Jean-Charles.

- Pour composer tous les stacks des Wides dans SPICA2, Yannick a prepare les listes completes
champs par champ et filtre par filtre pour W2/3 et W4.  W1 est en cours de preparation.


   WIRCAM (Henry, Patrick)
--------------------------
- WIRDS: Henry est revenu sur les solutions astrometriques des stacks WIRDS. En particulier sur les 
stacks J et K de D3 qui montre un offset systematique dans la photometrie. Un exemple de solution
est visible sur 

 http://clix.iap.fr/~hjmcc/wirds/d3/scamp.xml

La solution astrometrique est tres semblable a celle trouvee par Chiara (en utilisant des parametres
legerement differents pour Scamp) qui fut celle utilisee pour les Swarp de ces donnees. La solution
photometrique interne montre une grande dispersion.

Henry se demande si celle solution astometrique est de qualite suffisante pour Swarper les data ou
s'il est possible de faire mieux. Henry a notamment tenter d'augmenter le seuil S/N ou de rejeter
les images a faible contraste. Peut etre fauidrait il separer les images J et K?


- BALOGH : Patrick a commennce le processing des nouvelles images Balogh (deux amas de galaxies)

- BOUVIER : Patrick a relance l'analyse avec une nouvelle soustraction de fond de ciel. Certaines 
 listes d'images utilisees pour la soustraction de fond de ciel avaient des temps de pose trop 
heterogenes et le fond de ciel resultant etait de qualite tres moyenne.  Pour construire les deux
 sets d'images (temps de pose court/long), il etait donc  preferable de refaire la soustraction 
du fond de ciel.


Processing des images WIRCam: Les cartes de poids des images soustraites du fond de ciel generees 
par qualityFITS n'utilisent pas les cartes de fond de ciel. Dans le cas ou certains pixels du fond 
de ciel sont a 0 (pas de pixels dans les images utilisees pour generer cette carte), cette information
 n'est pas toujours propagees dans la carte de poids de l'image finale (alors que ces pixels sont faux). 
Patrick pense creer une image flag en sortie de subsky et la combiner avec la carte des badpixel pour 
exclure ces pixels. 

Patrick a mis au point deux scripts dediees a la gestion des donnees/du processing de WIRCam:

      1. sort_raw.py : Script pour la generation d'une structure de repertoires dans les repertoires 
de reduction PI de wircam.  (classement par filtre/jour d observation/champ observe)

      2. qfits_condor_stack.py : lancement sur condor du qfits d'images stack. 


  Developpement T0005 (Gregory, Mathias (M.), Fred)
------------------------------------------
 
- Gregory s'est concentre sur les pages de stats :

http://clix.iap.fr:8888/spica2/

. Globals stats
. preingestion stats(a venir)
. ingestion stats(a venir)
. processing stats(a venir)

Il a mis en place les fonctionnalite suivantes:

. Referencement dynamique de tout les surveys que spica2 contient
. Association des instruments relatifs a chaque survey
. total des images ingeres par instrument, par survey sur le nombre total des images existantes 
par instrument pour chaque survey.
. Fonction select box, afin de choisir la table de la base que l'on veut afficher, centre sur 
 les tables qui semblent etre les plus importantes


- Mathias a fait un redesign complet de la page d'ingestion. Le treeview permettant de selectionner
 un chemin vers les images utilise la nouvelle classe FileBrowser. Cela lui a permis de nettoyer 
pas mal de code et de supprimer des fichiers devenus obsoletes.

Toujours sur la page d'ingestion, un nouveau champ obligatoire (en plus de l'adresse mail) a ete 
ajoute apres concertation avec Yannick.  Ce champ 'Ingestion ID' doit etre renseigne avant chaque 
ingestion. Il presente l'avantage de pouvoir etre utilise comme critere de selection depuis 
l'interface de selection d'images presente sur la page de processing du plugin qualityFITS. Avant 
l'ajout de ce champ, il pouvait etre difficile de retrouver la totalite des images d'une ingestion 
  donnee.

  http://clix.iap.fr:8000/spica2/ingestion/

Enfin, le sujet du rapport de fin d'ingestion envoye par email a ete modifie et ne mentionne plus 
le RUNID des images de l'ingestion (ce qui etait incorrect puisque des images d'une meme ingestion 
peuvent avoir un RUNID different) mais plutot l'ingestion ID.

  Exemple: "[Spica] Report for ingestion mat-070408-1820 [0]"

-  Mathias a mis au point le nouveau script photctool.py permet de traiter les fichiers CSV a 3 
colonnes de Yannick pour fusionner le contenu du champ PHOT_C a celui des images correspondantes
 dans la base (pour les nouveaux PHOT_C delivres par le CFHT hors des header FITS). Le script se lance
 depuis la ligne de commande, affiche un rapport (nombre d'images du fichier deja ingerees dans la 
base, nombre de ces images dont le champ PHOTC est nul) et presente une demande de confirmation a 
l'utilisateur avant d'appliquer les changements sur la base.

- La page relative au shopping cart est en cours d'amelioration. Un nouveau widget 'Condor options' 
permet(tra) de selectionner le noeud (ou le group de noeuds) du cluster sur le(s)quel(s) on veut que 
les jobs des items soient lances. Une fois termine (demain je pense) cette possibilite pourra servir 
par exemple a comparer des resultats en lancant des traitements sur *les memes* noeuds utilises lors 
de precedents processing.

- Concernant la validation des resultats des qualityFITS lances depuis Spica2, on y est presque. 
Suite aux modifications de qualityFITS de Fred pour prendre en compte correctement les options, 
les options --scamp et --subim sont prises en compte lorsqu'elles sont specifiees au niveau du fichier 
de configuration de qfits. Cependant, l'option --filterfile n'est pour le moment par cor rectement 
prise en compte. Mathias relancera les qualityFITS lorsque Fred lui  donnera son feu vert.

  http://clix.iap.fr:9000/851127p/qualityFITS/

Misc:

- Mise a jour de l'article concernant l'ecriture de plugins pour Spica.


  Hardware/Cluster (Fred)
-------------------------

- La machine de Barnaby Rowe est revenue hier. Fred a remonte ses disques et la remise en route.

- Le technicien d'Agorus est passe et a pris rendez vous avec Fred pour jeudi, pour le reste du materiel
necessaire a la mise en route des derniers noeuds.

- Fred a recu le devis pour le remplacement de la carte mère de mix3: 678.6?

- Emmanuel  signale aussi ce ventilateur en panne sur mix5. 

  Divers
---------
- Question de Henry a Fred : mix7 est toujours degradee?. Quel est le status des nouvelles 
machines?

- Yannick a particpe a la reunion du CFHTLS Steering Groupe (elle vient de se terminer!). Le
SG est ok pour qu'on retarde la release a Juillet 2008.

-  Pour cette semaine, Emmanuel etait tres pris. Il rapporte juste une petite mise a jour de SkyMaker 
 pour accelerer le calcul. i


--------------010509010707050602010901--