Message-ID: <47AB0475.5030205@iap.fr>
Date: Thu, 07 Feb 2008 14:15:33 +0100
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese "finale" de la semaine du 29/01 au 06/02/2008
Content-Type: text/plain; charset=windows-1252; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

incluant cette fois la contribution de Yannick!

Par ordre arbitraire:

Operations MEGACAM T05 (Yannick)
- Nous sommes en attente des donnees du CFHT pour poursuivre le dry run avec les 
nouvelles donnees re-processes par Jean-Charles.  On doit recevoir deux champs 
W4 en 4 et 5 filtres ainsi qu'une serie de champs de 07B.  Mais le CFHT semble 
faire face a un pb de transfert de donnees entre le CADC et le CFHT qui ralentit 
la livraison des donnees.  Nous devrions recevoir les images soit vendredi 
(demain) soit ce week end. C'est du moins ce qui a ete convenu a la 
teleconference d'hier soir entre le CFHT, le CADC et Terapix. On attend une 
centaine d'images seulement ce qui devrait permettre de faire un diagnostic 
rapide avant jeudi prochain, pour le tera-meeting.

Operations MEGACAM PI (Yannick, Henry Joy)
- Afin de preparer une proposal "UltraDeep" MEGACAM, une quantite considerable
de simulations ont ete faites par Henry Joy  pour essayer de comprendre la
relation entre le temps de pose et la magnitude limite sur les donnees CFHTLS.
Finalement, en examinant directement les images, il est apparu que les
magnitudes-limites donnees par le programme comp.pl sous-estimaient
considerablement la veritable completude: les galaxies decretees a 50% de
completude se sont en fait averees detectables a 10-15 sigma!! *Emmanuel
demande: cela signifie-t-il que les tableaux de completude de nos pages Web sont
faux et doivent etre refaits?*. Des simulations plus precises doivent etre
faites, peut-etre avec Stuff sur de vraies images. *Peut-etre que Stuff peut
etre utilise pour ajouter des galaxies artificielles sur des images MEGACAM
"vides", c'est-a-dire pour lesquelles tous les objets ont ete masques?*.

Operations WIRCAM PI (Patrick, Henry Joy)
- Patrick a termine de processer le run de Mike Hudson. Il sera transfere
aujourd'hui sur ftpix pour mise en ligne. Comme prevu, il contient les stacks
pointing par pointing et les stacks de la totalite du champ. La photometrie
presente toujours des shifts de 0.03 et 0.06 en Ks par rapport au magnitudes de
2MASS. Les ZP relatifs entre les images considerees comme photometriques sont
tout de meme assez instables sur ce champ, ce qui peut contribuer a cet ecart.
Patrick a verifie qu'il etait a peu pres spatialement constant sur la totalite
du stack et l'a indique a Mike dans le README de la release. Les comptages de
galaxies ont ete realises en utilisant le script de separation etoiles/galaxies
local (estimation locale du seeing) de Henry. Cela etait rendu necessaire par
les variations importantes de la taille de PSF sur le champs.
- Les premiers stacks du run de Bouvier ont ete traites par Patrick. Malgre la
qualite tres inegale des images individuelles soustraites du fond de ciel par le
CFH, les stacks sont assez corrects en termes de fond de ciel (a l'exception de
quelques pointes plus difficiles). Les soustractions de fond de ciel en double
passe seront lancees aujourd hui pour comparer avec le traitement CFH.
- Le run suivant dans la queue est Dwelly. Les cubes ont ete exploses et les
QFITS sont faits. Le check par Patrick des Qfits (images p.fits soustraites de
fond de ciel par le CFH) sera commence cette semaine.
- Henry Joy a produit les stacks en J,H et Ks pour Lise Deharveng, ainsi que les
images en couleurs. QualityFITS a ete execute sur toutes ces images, et la
comparaison avec 2MASS est en cours.
- Henry Joy n'a pas encore eu de reponse de Loic et Stephane concernant la
calibration des filtres BrG et H2 (le header laisse a penser que 2MASS a ete
utilise pour calibrer ces filtres, mais cela semble extravagant). Pour l'heure
Henry Joy se concentre donc sur les donnees en J,H et Ks.

Developpements T05 (Gregory, Mathias M.)
- Gregory a realise de "grosses ingestions" qui ont fait plante Condor (mais ce
qui n'a pas empeche l'ingestion de continuer). Emmanuel a relancer condor_master
sur clix, mais nous n'avons aucune alerte comme quoi condor etait mort pendant
ce temps. *Emmanuel demande: ne serait-il pas utile de monitorer regulierement
l'etat des daemons Condor et de les relancer automatiquement en cas de
plantage?*. L'ingestion s'est bien terminee mais apres avoir relance Condor, la
meme ingestion s'est effectuee : on ne peut pas prevoir, ni empecher ce genre de
cas pour l'instant et il le faudrait!
Error
CEDAR:6001:Failed to connect to <194.57.221.40:9696>
- Base de donnees: la table spica2_quality ne sert a rien car elle definit une
cardinalite de 1--1, les infos relatives a cette table vont etre inscrites
desormais dans la table spica2_image. Pas encore fait car nous risquons de
casser l'ingestion qui fonctionne pour le moment.
- Phase d'ingestion: Gregory a rajoute 2 colonnes dans la table spica2_image :
flat et mask que l'on recupere dans le header(mots cle: IMRED_FF et IMRED_MK) de
chaque image. Pendant la phase d'ingestion on inscrit maintenant ces 2 infos
afin de pouvoir faire une recherche sur le bon flat et mask pour Qfits  (onglet
"processing").
- Phase de Processing: Gregory a rajoute dans l'interface des onglets relatifs
au processing, voir http://clix.iap.fr:8888/spica2/processing/ .
- Gregory et Mathias M. ont commence a plancher sur la partie processing du
QualityFITS-in.
- Petite prise en main de Qfits: generation du submission file pour
condor(condor_transfert.pl), les differentes options possibles (a gerer via
l'interface), et les donnees en entrees necessaires (a gerer via l'interface).
- Beaucoup de questions se sont posees vis a vis des flat et de mask a utiliser
pour Qfits; une solution est envisagee. La presence de plusieurs occurences des
memes flat, sur tout le cluster, mobilise actuellement un espace de 2 To.
- Mathias M. s'est mis a l'apprentissage des fonctionnalites orientees-objet de
Javascript. Le concept OO (Object-Oriented) de Javascript differe fortement des
languages OO traditionnels (tels que C++ et Java par exemple). La notion
d'heritage est particuliere (moins intuitive), l'encapsulation des donnees
egalement, ainsi que leur visibilite. Ces nouvelles competences lui ont permis
de faire du code refactoring pour produire du code plus reutilisable.
- Grace a l'outil Firebug ( http://www.getfirebug.com/ ), un gain de
productivite consequent a ete apporte. Il est desormais possible de debugger
facilement tous les appels AJAX, de modifier le CSS a la volee, de marquer des
points d'arret dans le code JS, de definir des watchpoints, de faire du
profiling et de faire du monitoring de la bande passante pour optimiser le code.
Bref, indispensable pour le developpement de web services avec ces technologies...
- Ces 3 derniers jours ont ete pour Mathias M. consacres a l'implementation d'un
objet  JS (nomme SqlForm) qui permet de contruire des requetes SQL
personnalisees depuis l'interface de Spica2 sans connaissance du SQL au
prealable. Il est possible d'ajouter ou de supprimer dynamiquement autant de
lignes (chacune  definissant un nouveau critere de recherche) que l'on veut. La
validation du formulaire de requete permet d'afficher les resultats sous la
forme d'un tableau. Cette classe peut etre utilisee pour requeter n'importe
quelle table de la base. La partie pre-ingestion de Spica2 est donc complete:
voir http://clix.iap.fr:8000/spica2/preIngestion/
- Toujours dans la partie pre-ingestion, l'ancien bouton de validation "Run
pre-ingestion" a ete renomme par Mathias M. en "Start", le boutton "Cancel" en
"Interrupt" (changements decides au dernier tera-meeting). L'ajout d'un boutton
'pause' n'a pas ete fait et est reporte a plus tard. D'autres taches sont
prioritaires (le processing avec QFits-In).
- Dans le menu principal, l'onglet 'Run info' a ete renomme en 'Home' dont le
sens est plus general car c'est la page d'accueil du projet sur laquelle nous
prevoyons d'ajouter d'autres informations.
- Dans les parties pre-ingestion et ingestion, Mathias M. a ajoute des listings
dynamiques pour permettre, soit d'afficher le contenu de la table relative aux
donnees des fichiers FITS tables, soit un historique dynamique des ingestions
effectuees depuis l'interface. Dans tous les cas, il est possible de limiter le
nombre de resultats a afficher. Ces requettes AJAX asynchrones permettent
d'economiser de la bande passante, puisque seules les informations du listing
sont retournees, la page web n'a pas besoin d'etre rechargee a chaque fois.
- Mathias M. a ajoute un script permettant de compresser le code Javascript et
de reduire la taille par 2. Cet outil sera utilise lors du deploiement du code
de production. Comme Spica2 utilise intensivement le Javascript, cela permettra
de reduire d'economiser une quantite significative de bande passante.

Autres Developpements (Henry Joy, Emmanuel, Patrick)
- Henry a repere un comportement incorrect de SWarp lorsqu'une liste (fonction
"@") est soumise mais que le fichier correspondant n'existe pas. Emmanuel la
corrige sur la version SVN.
- Emmanuel a termine l'implementation du calcul de noyau d'homogeneisation de
PSF variable dans PSFEx. Cette fonctionnalite est actuellement en test.

Systeme/hardware (Gregory, Emmanuel, Henry Joy, Mathias S.)
- Le nouveau QualityFITS a ete installe sur clix. *Emmanuel indique: attention
qualityFITS --version renvoie cependant toujours "version 1.13.3 configured on
2007-11-22_18:00:31_CET", c'est ce qui nous a laisse penser que QualityFITS
n'avait pas ete mis a jour sur les machines du cluster*
- Emmanuel et Henry Joy ont signale qu'au moins deux fonctions du nouveau
dotproject sont cassees: envoi des mails et gantt chart.
- Emmanuel a signale des problemes avec le nouveau PHPMyBB: quand on insere un
mauvais passwd, on arrive a une page sans css; quand on essaie de se logger ou
de reediter un post, on recoit un "Your user ID could not be verified to log you
out. This may have been because a malicious Javascript was attempting to log you
out automatically."
- *Emmanuel demande: serait-il possible d'avoir (par ecrit) les passwds
administrateur qui ont ete changes recemment?*
- Bertrand Goldman a confirme a Mathias S. qu'il veut bien acheter un disque de
1To pour brancher sur cosmix.

Misc. (Mathias M., Yannick):
- Mathias M. sera desormais "off" le vendredi, en choisissant de consacrer ~10h
par jour les autres jours de la semaine (il dort maintenant sur Paris du lundi
au jeudi).
- Yannick a produit un press-release (PR) pour le papier Fu et al: PR CFHT + 
CNRS + A&A.  texte en cours mais pas encore fige:  NE PAS PROPAGER (sous 
embargo). http://www.cfht.hawaii.edu/News/CFHTLS0802/. Le lien doit etre fait 
avec http://dx.doi.org/10.1051/0004-6361:20078522 .

Amicalement,
			Emmanuel.