Message-ID: <4785F4A4.5060101@iap.fr>
Date: Thu, 10 Jan 2008 11:34:12 +0100
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 04/01 au 10/01/2008
Content-Type: text/plain; charset=windows-1252; format=flowed
Content-Transfer-Encoding: 8bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici la synthese partielle des activites couvrant la periode du 04/01 au 10/01
a partir des bilans de Mathias M., Patrick, Henry Joy et Fred.

Par ordre arbitraire:

Operations MEGACAM (Fred)
- Wide "E" data: tous les flats ont maintenant été récupérés par Fred.

Developpements T05 (Mathias M., Emmanuel, Fred):
- Mathias M. a ajoute  arbre (treeview) permettant de parcourir en temps réel 
les systèmes de fichiers des machines du cluster dans l'interface d'ingestion. 
Il permet de se ballader à travers l'arborescence et de choisir un répertoire 
contenant des images FITS pour envoyer l'ingestion dans Condor. L'implémentation 
a été assez laborieuse (dans un premier temps) dans la mesure où son 
fonctionnement résulte en la maitrise de différentes technologies web et plus 
particulièrement Javascript, AJAX (envoie de requêtes asynchrones au serveur 
depuis le client) et JSON (Javascript Object Notation ou format d'échange 
standard inter-applications)... qu'il fallait intégrer au framework Django. La 
technologie AJAX joue ici un rôle essentiel car elle permet à l'arbre d'avoir 
une faible emprunte mémoire puisqu'une branche n'est chargée que lorsque l'on 
clique sur '+' qui permet de l'ouvrir. Le client envoie donc une requête AJAX au 
serveur à chaque fois que l'on ouvre une branche; ce dernier retourne alors un 
objet au format JSON décrivant le contenu du répertoire à afficher; l'arbre 
(javascript client-side) s'occupe alors du rendering.
- Tout le processing sur le cluster est loggé et envoyé à l'adresse email
saisie depuis l'interface de spica.
- Un checkbox QSO Status a été ajouté (mais n'est pas encore pris en
compte dans le traitement)
- Une démo de l'interface d'ingestion Condor est disponible depuis 
http://clix.iap.fr:8000/spica2/ingestion/ (Attention à la stabilité, ce n'est 
pas de la production mais l'adresse de l'éxécution du code svn de Mathias). On 
pourra faire une petite demo au terameeting si on a un peu de temps...
- Certaines tâches dotproject sont restées en suspens cette semaine, Greg et 
Mathias M. donnent la priorité à la finalisation de l'ingestion et du QFits-in 
de Spica pour que la deadline soit respectée.
- Emmanuel a etabli une liste commentee de champs additionnels pour la base de 
donnees a Greg et Mathias. Les commentaires de Gregory ont abouti a quelques 
modifications et clarifications; en particulier une grande partie de ces champs 
a ete reunie dans une table "Quality".
- Emmanuel, Greg et Mathias ont decide que si l'option "QSO status validation" 
est activee, seules les images pour lesquelles une table existe, contient 
reference a l'image et a le champ QSO_status a "Validated" sont ingerees. Dans 
tous les cas, le log d'ingestion porte mention claire de l'existence ou non de 
la table, de la reference a l'image, et du statut du champ "Validated". Dans un 
deuxieme temps, et dans le souci de repondre a un point dotproject, il se sont 
demande s'il ne serait pas desirable de remplir au prealable une table de type 
"QSO Status" avant toute ingestion, afin de pouvoir controler automatiquement 
que des donnees validees ne sont pas oubliees pour certains runs. Greg pourrait 
alors etre amene a revoir son script.
- SWarp 2.17.1 a ete release a TERAPIX et au public, apres une correction de bug 
de derniere minute sur la 2.17.0. Il integre la correction photometrique des 
effets de taille variable de pixel et une amelioration de 20% de la vitesse de 
calcul.
- Emmanuel craint devoir abandonner pour les semaines a venir les developpements 
prevus pour SCAMP (nouveaux plots relies a la photometrie) pour raisons de temps 
(pour pouvoir se consacrer d'avantage au travail sur la morphologie avec Anthony).
- Fred a commence a travailler sur l'adaptation de QFits aux 2 valeurs de FWHM 
fournies par PSFex.

WIRCAM PI (Patrick, Henry Joy):
- Depuis le dernier Terameeting, voyant la quantite assez phenomenale d images a 
checker individuellement, Patrick a ecrit des scripts Python qui scannent les 
repertoires images des reductions WIRCAM pour creer des png des images 
(detrended, CFH-skysub et TERAPIX-skysub) et des pages web pour les regarder 
plus rapidement. Pour chaque image, il affiche les version binnees (facteur 2) 
et par clic dessus une version a pleine resolution de la zone centrale ainsi que 
les images de la reconstruction de PSF de Qfits. Ensuite une notation de A a D 
est proposee pour les images et la PSF. Tout cela est envoye dans une table de 
sortie sous format de catalogue SExtractor. Les scripts sont presque finis et 
Patrick va les utiliser pour valider les images des runs de Hudson, Bouvier, 
Walawender et Dwelly (dont les premiers Qfits sont realises) avant d envoyer la 
soustraction de fond de ciel.
- Henry Joy mentionne un probleme dans les solutions astrometriques appliquees 
sur les images soustraites du fond; il essaie d'investiguer, ce qui consiste a 
debugger skysub.pl.
- Henry Joy a envoye un message a Chiara ce matin pour savoir si elle pourrait 
l'aider sur le pb des "taches" mentionne la semaine derniere. Pas encore de reponse.

Systeme (Frederic):
- Fred a ajoute Mathias au groupe wheel sur toutes les machines du cluster, et 
change l'uid des users condor des machines concernées pour éviter le clash des 
uids (pb rencontre par Patrick en decembre, et par Mathias plus recemment)...
- Frederic a changé le root@iap.fr de /etc/postfix/canonical en 
condor-tpx@iap.fr qui est une adresse bien définie, et plus explicite.

Hardware (Fred)
- Fred rapporte qu'un read error a rendu le raid de fcix3 indisponible, 
nécessitant le reboot de la machine. Ces cartes areca sont bien sensibles...
- 5 machines 2U ont ete livrées par Agorus, et le patch kernel pour les 
barcelona B2 récupéré par Fred. Carri devrait être livré en CPUs cette fin de 
semaine.
- Des vis pour disques durs ont été fournis par agorus, en fixant les disques 
des machines livrées avec 6 vis au lieu de 4...
- noeuds pix a evacuer: Emmanuel voudrait savoir ce qu'on fait a ce sujet. 
Olivier voulait passer les recuperer peu avant Noel.

Misc. (Emmanuel, Henry Joy):
- Le projet EuroVO-DCA realise un recensement des centres de donnees
astronomiques europeens. Les informations sur le recensement et les 
questionnaires a remplir
se trouvent sur 
http://cds.u-strasbg.fr/twikiDCA/bin/view/EuroVODCA/DCACensusQuestionnaires
Date limite: 25 janvier 2008
- Les informations concernant l'inscription sur les registry VO de traitement de 
donnees devraient etre transmises par Eric Slezak avant mardi prochain.
- Henry Joy voudrait voir discuter quelles presentations, et par qui, doivent 
etre donnees au comite d'evaluation qui vient a l'IAP (concernant TERAPIX je 
suppose).

Amicalement,
			Emmanuel.