Message-ID: <46A52194.5080703@iap.fr>
Date: Mon, 23 Jul 2007 23:45:56 +0200
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese des semaines du 16/07/2007 au 23/07/2007
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici une synthese partielle et partiale des activites couvrant la periode du 
16/07 au 23/07! Je n'ai pas eu de retour de Fred et de Gregory. Pour Gregory 
j'ai pu interpoler a partir de nos echanges et de ses mails.

Scories processing T0004 (Yannick, Fred, Mathias)
- T0004 doc/pages: Yannick a continue la finition des pages T0004.  Plutot des 
details techniques et des modifications cosmetiques et ergonomiques.
- CADC: plusiueurs requetes faites par Terapix pour corriger des erreurs de 
liens du CADC vers des pages Terapix obsoletes et/ou clarifier les informations 
que rapporte le CADC a proos des donnees abritees a Terapix.
- CFHT: Yannick a alerte Jean-Charles des informations contradictoires et/ou 
heterogenes entre le CFHT, Terapix et Gwyn concernant les transformations 
CFHT-Megacam et SDDS. Le CFHT confirme leurs transformations, notammnent que 
leur z_megacam-z_sdss est curieusement exprime en fonction de (g-z)_sdss.  Gwyn 
est donc bien incorrect , mais on ne sait toujours pas l'origine des 
informations u, ni si notre 0.241 pour le u, et notre 0.156 pour le g, sont 
vraiment correctes et correspond bien aux toutes dernieres actualisation des 
transformations de N. Regnault. Mathias a envoye un e-mail a N.Regnault mais n'a 
pas encore recu de reponse.
- Nathalie Palanque avait besoin d'acceder au ldac des images individuelles 
constituant T0004. Apres une requete au DOG, on lui a ouvert un acces a ces 
donnees via Terapix car elles qui ne sont pas au CADC.
- Jean-Francois Sygnet souhaite disposer des checksukm des fichiers de T0004. Il 
a emis une requete aupres du CADC et de Terapix. Le CADC devrait lui fournir ces 
infos, mais en cas de problemes, Terapix lui fournira. La reponse du CADC est 
apparemment positive, mais pas de mail envoyee au DOG a ce jour.
- Nathalie Palanque a repere une serie d'images DEEP qui ont ete validees par le 
CFHT mais n'ont jamais ete processes par QFITS-in. Il s'agit d'images prises 
entre Octobre 2005 et janvier 2006. Apres enquete il s'avere que ces images sont 
bien parvenues jusqu'a Terapix, mais elles ont ete stockees sur les diques du 
cluster dans un directory "todo".  Ces images n'ont ete inventoriees nulle part 
et ne se trouvant pas dans les directory courants qu'inspecte le pipeline. 
Compte tenu des dates d'arrivee des donnees a Terapix il est vraisemblable qu'il 
s'agit d'une operation faire par Laurent Domisse, qui ensuite ne s'en est plus 
preoccupe et a oublie. Le total des images est de 971 Deep avec des temps de 
poses > 60s, soit 10% de la totalite des Deep (mais aucune n'est notees; sans 
doute qu'apres notamtion on arrivera a 7-8%).  C'est un couac qui est de notre 
reponsabilite. Comme Nathalie Palanque nous a alerte et aimerait diposer des 
ldac de ces images a son retour de vacances, Fred a recupere ces donnees puis 
lancer QFITS-in de facon qu'elle en dispose a son retour de vacances.  D'ou le 
mail de Fred sur 1000 images en cours de QFITs-in sur mix3.  Nathalie aura ainsi 
des ldac pret d'ici la fin de la semaine, si tout se deroule normalement, donc 
tres largement avant son retour.
Il serait interessant de voir comment une erreur comme celle-ci pourrait etre 
evitee a l'avenir. *Emmanuel demande: toutes ces requetes et echanges 
d'information n'emergent qu'au moment du terameeting. Pourquoi ne pas les 
communiquer sur la teralist de facon plus reguliere?*

MEGACAM P.I. (Mireille, Fred):
- Les data de Soucail 06BF26 sont desormais accessibles.  Fred se charge de les 
recuperer et lancer QFITS pour que Mireille en dispose a son retour.
- Chiara a corrige des entrees de RunIDs MEGACAM malencontreusement inseres avec 
l'ID WIRCAM dans la base de donnees.

Developpements T05 (Chiara, Gregory, Emmanuel, Anthony):
- Chiara a effectue de petits rajouts et modifs au modele de base de donnees 
disponible sur SVN
- Chiara a installe sur clarix MySQL 5.1.20-beta pour verifier la compatibilite 
de la traduction de DBDesigner4 en SQL avec cette version de MySQL et avec la 
precedente (5.0.26) installee sur le cluster (elle utilise mix9, sur laquelle 
phpmyadmin a ete configure grace a Anthony). La sortie SQL de DBDesigner4 
necessite de petites retouches; sur SVN sont desormais archivees 
spica2_5.0.26-log.sql et spica2_5.1.20-beta.sql qui decrivent le dessein de la 
base avec les deux syntaxes.
- Gregory s'est mis a Python, et a pu de facon elegante creer des tables MySQL 
contenant des donnees geometriques de test. Ses tests confirment fonctionnement 
efficace en cartesien de MySQL 5.1.20-beta: les requetes d'inclusion de points 
et de recouvrement sur 100000 polygones sont quasi-instantanees. Reste a trouver 
une facon intelligente de transposer cela en coordonnees polaires.
- tests et configuration Condor: Le probleme d'ejection de la session rencontre 
par Chiara a ete regle par Olivier Ricou: il a indique a Condor qu'il n'est pas 
le seul maitre des processus (il semble qu'il ne regarde pas que les processus
condor[0-9]). Voici les modifications faites aux fichiers condor_config.local :
#EXECUTE_LOGIN_IS_DEDICATED = TRUE
DEDICATED_EXECUTION_ACCOUNT_REGEXP = condor[0-9]+
STARTER_ALLOW_RUNAS_OWNER = False
- Chiara a teste le comportement de condor avec de nombreux jobs de longueur 
differente: le rendement de Condor est sensible a la fois a la duree des jobs 
(imparfait pour des jobs inferieurs a la minute, catastrophique en dessous de 
10-20s), et a la quantite de donnees a transferer (la bande passante maximale 
agregee semble plafonnee a 60Mo/s, c.a.d. 2Mo par seconde de temps de calcul par 
noeud). L'origine de ces 2 problemes n'est pas encore expliquee.

Developpements software (Emmanuel, Chiara):
- PSFEx 2.0.9 a ete release en interne (apres un bug de la version precedente 
decele par Chiara): il implemente l'ajustement de profils avec contraintes, ce 
qui evite les solutions non-physiques (et les NaN). :e choix d'une fonction de 
Moffat pour ajuster les profils ne permet pas de bien representer les donnees 
defocalisees ou sous-echantillonnees. Les tests de Chiara montrent que toutes 
les images avec beta>10 ont un pb, mais une fonction permettant d'ajuster la 
fonction top-hat serait preferable. Emmanuel etudie la possibilite d'ajuster la 
fonction Tepui (ABad et al. 2004).
- Swarp 2.16.4 a ete release publiquement. Il est a priori dans l'etat ou il 
devrait etre utilise pour T05.
- Les autres logiciels TERAPIX "Bertin" ont ete mis a jour (configuration et 
librairie FITS) en vue d'une RPMisation, mais pas encore RPMises (il reste 
encore a tester les modifs).
- libVOTable: Chiara a construit les RPMs pour Opteron et Athlon, mais il lui 
reste a comprendre un peu mieux ce qu'elle fait (liens statiques ou dynamiques, 
utilisation de ranlib et/ou libtool).

Systeme/hardware (Emmanuel, Chiara)
- la carte graphique destinee a piloter le moniteur 30" d'Emmanuel est enfin 
arrivee. L'ensemble marche parfaitement, mais le moniteur chauffe considerablement.
- a noter que la teralist a eu des blocages particulierement frequents cette 
semaine (pendant pres d'une heure 1 a 2 fois par jour typiquement).
- Fred a installe SWarp 2.16.4 et PSFex 2.0.8 sur les machines 64 bits. Chiara 
installe PSFEx 2.0.8 sur pix1 et pix3 pour permettre a Olivier de faire des test 
sous Condor.

Web (Yannick, Henry, Chiara)
- Chiara a modifie/mis a jour plusieurs sections: Installation de Super Mongo, 
Gestion de CLIC (supprimee car obsolete), et la page 
http://terapix.iap.fr/article_intranet.php?id_article=701 decrivant la procedure 
de soustraction de fond-ciel de WIRCam, qu'elle considere prete pour commentaires.

Misc (Yannick, Emmanuel)
- Yannick et Emmanuel doivent fournir le cahier des charges concernant le web 
service QualityFITS a Eric Slezak avant mardi.

WIRCAM (Chiara)
- Chiara a prevenu les gens de COSMOS qu'elle va effacer les donnees qu'elle a 
traitees.
- Chiara a refait les archives pour J.Bouvier: elle n'avait pas considere le 
fait que la taille de fichier telechargeable depuis Grenoble ne pouvait exceder 
15Go.
- Willott a demande quel etait l'etat du traitement de ses donnees: Loic s'est 
charge de repondre. Chiara attend son retour sur les stacks.
- Loic dit avoir rajoute la correction de linearite dans son pipeline.

Amicalement,
			Emmanuel.