Message-ID: <47B9864F.2010202@iap.fr>
Date: Mon, 18 Feb 2008 14:21:19 +0100
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 07/02 au 17/02/2008
Content-Type: text/plain; charset=windows-1252; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici la synthese corrigee et mise-a-jour des activites couvrant la periode du 
07/02 au 17/02 a partir des bilans de Mathias M., Mathias S., Henry Joy, Yannick 
et Patrick.

Par ordre arbitraire:

Operations MEGACAM (Yannick)
- Jean-Charles a termine la generation des nouveaux masters.  Ils prennent en
compte les problemes que nous avions detectes avec le dry run T05 de fin
janvier. Comme il avait ete decide, il a mis a disposition de Terapix un champ
W4 qui avait deja ete traite en T04 et T05 dry run (en fait nous aurions du
avoir deux champs, mais pour une raison inconuue a ce jour, un seul est
disponible).  Fred a recupere les masters + les images et a lance QFITS-in.
Yannick a ensuite Scampe, Swarpe, SExtratorise le tout en utilisant exactement
les memes parametres de configuration que T05 de fin janvier. Les images +
catalogues, stacks + chi2, sont prets et mis a disposition de Mathias S. pour
les analyses couleur-couleur. Une inspection des donnees ne montre pas de
differences importantes avec le dry run precedent, mais des variations de
l'ordre du pourcent, pouvant atteindre localement 10%, sont detectes, notamment
en bande z. Ce sont les amplitudes que l'on pouvait attendre et il est donc
possible que l'amelioration soit sensible. On voit d'apres les masters que seul
la pattern de franges est rectifie, et on s'attend donc a de petites variations
seulement.  Pas de conclusion possible avec les plots couleur-couleur.  Le
stack en bande z montre toujours des residus de flat/franges, d'amplitude
legerement plus faible qu'en janvier.

Les PHOT_C et PHOT_C0 ont aussi change, ainsi que les transformations 
CFHTLS-SDSS. Les plots de Mathias permettront d'y voir plus clair.

Operations WIRCAM PI (Mathias S., Henry Joy, Patrick)
- Mathias a calcule les couleurs de Pickles avec MEGACAM/WIRCAM + les filtres
Brgamma, H2 et CH4 - il n'a pas eu de retour.
- Henry Joy a produit et release 3x5 stacks en J,H,Ks pour Lise Deharveng. Il a
compare les magnitudes des objets sur ces stacks avec 2MASS a l'aide d'un
nouveau programme tres rapide developpe par Patrick. Dans tous les cas, l'offset
avec 2MASS est inferieur a 0.05 mag. Pour BrG et H2, Lise a demande que Henry
Joy lui envoie les images non-calibrees; ces dernieres restent a finaliser.
Henry Joy a egalement envoye les catalogues SExtractor en mode double-image pour
les 3x5 stacks J,H,Ks; il n'y a pas encore de retour de la part de Lise. Les
stacks ont tous ete calcule avec une soustraction de fond en simple passe, sans
effets indesirables.
- Plusieurs PI, dont les donnees ont ete reduites par Chiara il y a plus d'un
an, ont ete contactes pour savoir si l'on pouvait effacer les donnees
intermediaires afin de gagner de l'espace disque. Des reponses positives ont ete
obtenues de Omont, Deharveng et Simard. On attend toujours la reponse de
McHardy. Patrick nettoie les disques. Des images MEGACAM temporaires utilises
dans les stacks T04 ont egalement ete retires (1.2To).
- *Question de Henry: le raid de mix7 est toujours degrade?*
- Patrick a ecrit un script Python automatise pour la comparaison de magnitude 
avec 2MASS (creation des plots)
- Patrick a ameliore les scripts pour le lancement sur condor des qfits et de la
soustraction de fond de ciel.
- Donnees Dwelly : Check par Patrick des images du run de Dwelly ... creation de 
nouvelles listes. Premiers scamps, premiers stacks (soustraction de fond de ciel
simple pass), et premieres soustraction de fond de ciel
- Donnees Bouvier : Qfits sur les images soustraites de fond de ciel et check 
des Qfits par Patrick.
- TODO list de Patrick: changer la selection des images pour la soustraction de 
fond de ciel; reecrire du script subsky.pl: la solution actuelle de creer des 
listes avant de lancer le script de soustraction de fond de ciel n'optimise pas 
cette selection.

Developpements T05 (Mathias M.)
- Cette semaine a ete consacree au developement de la partie 'processing'
de Spica2.
- Une architecture modulaire a ete mise en place: chacune des actions possibles
(et a venir) dans la partie processing est un plugin independant repondant a une
interface (qui impose des contraintes de developpement) particuliere. A l'heure
actuelle, 5 plugins ont ete crees:
     - First quality evalution
     - Sources extractor
     - Astro-photo calibration
     - Resampling-coaddition
     - Last quality evaluation
- Au chargement du code django dans l'instance de modpython (dans le serveur
apache), un "plugin manager" est charge de trouver et de charger dynamiquement
les plugins en memoire. Les plugins possedent tous un attribut particulier que
le plugin manager utilise pour les presenter de maniere ordonnee dans
l'interface utilisateur. Les plugins sont independants les uns des autresce qui
apporte beaucoup de souplesse quant a la richesse presente (et futur) de la
partie processing de spica2. Si un traitement particulier n'existe pas, il
suffit d'ecrire le plugin correspondant pour qu'il s'integre alors parfaitement
dans l'interface web et puisse etre utilise.
- La majorite du developpement s'est focalise sur la partie 'First quality
evaluation' du processing. La soumission et le monitoring de job a travers
Condor depuis l'interface web sont fonctionnels (
http://clix.iap.fr:8000/spica2/processing/ ). Les jobs peuvent etre annules
depuis l'interface web (onglet 'Job monitoring') en cliquant sur la croix rouge
correspondant au job a supprimer. Une demo pourra etre faite lors du terameeting.
- Cependant, certaines fonctionnalites importantes sont manquantes et n'ont pu
etre implementees faute de temps (a faire pour la semaine prochaine). En effet,
l'interface de selection d'images depuis l'onglet 'Run QualityFis on cluster'
est tres primaire puisqu'il n'est possible de choisir des images qu'en fonction
d'un RUN particulier. Mathias M. a discute avec Emmanuel des fonctionnalites de
selection d'images qui devraient etre presentes pour offrir une grande souplesse
dans la selection des images a qualityFitser.
- De meme, il est pour le moment impossible de specifier un flat et un mask pour
le traitement, donc l'interface est fonctionnelle techniquement mais les
resultats ne sont pas vraiment exploitables... Pour cela, il faut d'abord
implementer le formulaire de selection d'images afin de pouvoir specifier des
flats ou masks par image ou groupe d'images. Cette partie sera implementee la
semaine prochaine (BUGZILLA #21).

Systeme/hardware (Emmanuel, Henry Joy, Fred)
- Emmanuel a installe sommairement une distribution Fedora Core 8 sur ce qui
deviendra Efigix2, et realise quelques tests. Sur ses logiciels, les
performances en multithread sont a peu pres identiques a celle de mix7, et aux
machines a architecture INTEL (a frequence egale), ce qui est conforme aux 
attentes.
A noter que le patch BIOS de stabilite n'a pas encore ete applique.
- *Emmanuel demande: Henry Joy a porte a notre connaissance l'existence d'une
version haute de SSH/SCP; commentaires?*
- Mathias nous a informe de la decouverte d'un important "trou" de securite dans
les noyaux Linux recents. *Fred, tu as patche le noyau de terapix.iap.fr, c'est
bien ca?*.

Amicalement,
			Emmanuel.