Message-ID: <45FD992D.9080506@iap.fr>
Date: Sun, 18 Mar 2007 20:55:25 +0100
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 12/03 au 18/03
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici une synthese partielle et partiale des activites couvrant la
periode du 12/03 au 18/03! Par ordre arbitraire:

Processing T04 (Laurent, Fred, Henry, Yannick):
- JJ Kavelaars a mis en ligne les valeurs de Skyprobe jusqu'en decembre 2006. 
Laurent les a ingerees dans la base, mais il manque quelques semaines en 
septembre et octobre 2006 (cela semble etre du a un bug de compliance FITS au 
CFHT; en cours d'investigation).
- Fred et Laurent ont finalement pu ingerer dans la base les valeurs manquantes 
de fond de ciel et de seeing pour 302 QFITSin. *Fred: quelle etait l'origine de 
ce pb?*
- Laurent a calcule les quantiles de seeing a 25 et 85% en ugriz pour le Deep. 
Henry trouve des valeurs proches, mais pas exactement les memes. *Henry qu'on 
donne les "further checks" que tu mentionnes?*. Il reste encore a faire les plots.
- La solution produite par SCAMP sur le stack u de test est abominable: SCAMP 
rencontre une matrice de determinant nul! Meme pb avec 2MASS en catalogue de 
reference. Emmanuel continue ses tests: cela fonctionne correctement avec 2/3 
des ldac. Henry a trouve un bug dans la liste des instruments astrometriques du 
XML (corrige sur SVN), ainsi qu'un pb avec le lien vers le fichier XSLT par 
defaut pour la version RPM (a corriger).
- Henry a teste extensivement SPICA sur plusieurs champs Deep: fichiers .cmd 
generes pour tous les champs Deep et executes a la main (pas de daemon). La 
moitie des stacks foire en raison de pbs pour copier les LDACs d'un noeud a 
l'autre (plus de ports disponibles). Quand Fred essaie de reproduire le pb en 
copiant les LDAC, tout fonctionne. Henry suspecte que les appels a DBSPICA 
mobilisent tous les ports disponibles, et il suggere donc d'acceder aux LDAC via 
NFS pour les SCAMP. A noter egalement que le nombre de champs retenus par SPICA 
pour la solution astrometrique est parfois ridiculement large, et que les PNG 
produits par SCAMP ne sont pas sauves par SPICA.
- Un meeting aura lieu lundi 19 apres-midi, avec Fred, Henry, Mireille, Mathias 
et Yannick concernant SPICA et T0004.

Processing MEGACAM P.I. (Mathias, Yannick):
- Mathias a cree les images chi2 et TIFF pour 05AF14 et 04AF09; Yannick a cree 
et tune les masques. Tous les stack finaux sont prets.  Donc en principe on peut 
envoyer les stacks au PI (?).
- Mathias pensait traiter les stack avec du PSF-fitting pour mesurer les 
mouvements propres; il a contacte P.Delorme qui lui a envoye un petit cookbook 
de PSFEx. *Mathias, pourrais-tu nous envoyer copie de ce cookbook?*. Il y a 
aussi une program modife par P. Delorme (psf.c). Mathias doit passer a Paris la 
semaine du 26 mars pour regarder cela avec Emmanuel.
- Fred a passe les donnees Rouan 07AD95 a travers fitsverify, datatransfer 
(apres quelques debuggage) et QFITSin; Yannick les a notees. *Fred: ces 
corrections de bug ne semblent pas avoir ete propagees sur SVN?*
- W1-u Willot: Yannick s'est mis d'accord avec le CADC pendant la video-conf 
pour differer le transfert vers le CADC (derniere etape) de quelques semaines.

Machines / Cluster (Laurent, Fred, Yannick):
- Laurent a installe (?) la derniere version de FlySpray sur clix, et ajoute des 
comptes pour les membres de Terapix. FlySpray est un gestionnaire de bug reports.
- SCAMP a ete upgrade en version 1.3.5 sur les machines du cluster en 
fonctionnement. La table Application de la base dbspica a ete upgradee en 
consequence.
- Yannick signale que Rene Verriere a besoin de connaitre les consommations des 
3 nouvelles machines et de l'onduleur, ainsi que d'etre notifie de l'achat 
probable d'une autre machine dans l'annee. *Fred, l'as-tu fait?*
- Yannick a demande et obtenu le feu vert de Nicole Blondin pour la commande des 
machines. Fred a envoye le bon de commande pour la machine WIRCAM. *Fred, quid 
des autres machines?*
- Fred a "prepare" la commande du laptop de Gregory.
- Laurent a demande a demenager setix et eventuellement son ecran avec lui.

Web, doc (Yannick)
- Jean-Charles a demande a obtenir une petite doc decrivant les produits de 
sortie de QualityFITS. Yannick lui a renvoye un pointeur vers la documentation 
de T02/T03.
- Chiara continue de rajouter les liens aux livres TERAPIX au fur et a mesure.

Developpement software (Gregory, Chiara, Emmanuel):
- Chiara a envoye a Jean Christophe le tar.gz de datatransfer qui est sur SVN; 
elle ne croit pas qu'il puisse vraiment verifier quoi que ce soit sans avoir 
acces au machines (acces qu'il n'a plus, selon lui). Le but etait que Laurent 
rajoute les modifs qu'il avait fait dans l'executable mais Chiara ne croit pas 
vraiment qu'il soit encore disponible. *Pourrait-on discuter, clarifier, 
l'utilisation de DataTransfer dans la production et generaliser son application 
(et maintenir correctement le package)?*
- Ayant besoin de lire les xml de sortie de PSFex, Chiara atrouve plus facile 
d'utiliser la librairie C de JC, libvotable, plutot que de commencer a zero avec 
libxml. Il s'avere que cette librairie, meme sans etre tres generale et complete 
(d'apres l'auteur, qui a renvoye un mail assez detaille sur l'utilite des 
VOTables), est tres pratique pour lire les XML produit par Emmanuel. *Apres 
passage au valgrind et verification variees, est-ce qu'il serait possible de 
l'installer sur le cluster?*
- Gregory a mis en place un script PERL de parcours des disques du cluster et de 
recuperation aleatoire des images. Apres integration des logiciels Bertin et 
test sur 50 images, le script est pret a etre lance sur les 1500 poses.
- Gregory a lui aussi appris a parser les VOTables a l'aide de la librairie 
VOTable; son parsing XML des fichiers issus de PSFEx fonctionne. Pour les plots 
concernant les diagnostics, il se propose d'utiliser PDL (apprentissage en 
cours). Du cote de Chiara, pour les plots de test sur les sorties xml psfex: 
rien de bien coordonne pour l'instant.
- Chiara a commence la reecriture en C de sa procedure de soustraction de fond 
ciel: SoS (Subtraction of Sky).
- Emmanuel a ete notifie d'un certain nombres de pbs/bugs qu'il a confirme 
independemment: EyE (pb avec les MEFs), SCAMP (pb avec les versions anciennes 
des noyaux 2.6), SExtractor (pb de display)
- Olivier Ricou est venu, dans le cadre du projet EFIGI, presenter son 
installation de Condor sur les machines pix vendredi apres-midi, et a effectue 
quelques demos avec SExtractor, avec envoi et recuperation de donnees a partir 
des commandes Condor. Il a aussi montre un prototype de webservice ecrits en 
Java, et traduits en wsdl. Cette presentation a encourage Emmanuel a proposer un 
schema de pipeline simplifie pour succeder a SPICA. Pour y parvenir, 6 taches a 
discuter en terameeting ont ete identifiees, evaluees a 4x3 homme-mois de 
developpement:
-* Installation+configuration fine de Condor sur le cluster.
-* Definition et ecriture de filtres generiques d'ingestion de donnees issues 
des headers FITS dans un premier temps, et de completion eventuelle par des 
donnees plus specifiques a certains surveys instruments dans un deuxieme temps.
-* Mise en place d'une interface simplifiee de visualisation du contenu de la 
base d'image, et de paniers de selection pour la solution astrometrique et le 
stacking (qui pourront dans un premier temps se resumer a un widget d'envoi de 
commandes SQL).
-* Ecriture/completion des filtres XSLT pour un affichage user-friendly des 
diagnostics issus de SCAMP, SWarp, SExtractor, voire PSFEx et STIFF.
-* Ecriture d'un CGI (voire d'une interface web a un veritable systeme 
client/serveur de web-service) d'envoi/monitoring de taches CONDOR sur le cluster.

Postes, management, misc. (Laurent, Yannick):
- Laurent a demande a change de manip; il a donc quitte TERAPIX jeudi soir. Il 
investigue plusieurs possibilites a l'IAP (pour l'instant il est plus ou moins 
rattache a l'equipe informatique si j'ai bien compris: bureau 142). Il s'est 
desinscrit de la liste teralist et de teraop.
- Yannick investigue les possibilites pour son remplacement: RdV lundi avec Eric 
  Lesquoy pour une aide eventuelle du CEA, investigation echange personnel 
Obs-Paris/IAP (solution actuelle proposee rejetee, la personne proposee ne 
faisant pas du tout l'affaire), discussion en cours avec JM Hameury,...
- Une mini-formation a SPICA a eu lieu jeudi matin en presence de Laurent, 
Yannick, Fred et Henry.
- Yannick a nettoye dotproject et propose de scanner et finaliser durant le 
terameeting.
- Une videoconference a reuni Fred, Yannick et des representants du CADC et du 
CFHT mercredi. Yannick a envoye les minutes sur la teralist. *Yannick: quid 
d'une copie sur l'intranet?*
- Emmanuel a soumis au CNAP sa candidature au poste d'astronome, avec le projet 
de coordonner les developpements logiciels a TERAPIX dans une petite equipe qui 
resterait un peu en marge des activites de production.
- Jean Dumoncel a demarre un stage EFIGI a l'ENST sur la mesure automatique de 
la presence de flocculence et de regions de formation stellaire sur les images 
de galaxies de resolution limitee.

WIRCAM (Chiara):
- Donnees Willott: Loic n'est pas satisfait du resultat de la nouvelle 
correction, il essaie d'ameliorer la recette pour la fin de  la semaine: les 
images sont pretes, Chiara a commence le telechargement. Le crosstalk de guidage 
sera dorenavant flaggue a zero de facon que Chiara puisse le peser a zero.
QualityFITS a ete lance et a termine sur les donnees Willott soustraites (en 
premiere passe) avec masquage a 5 sigma. Chiara a pu verifier que le bruit sur 
l'image (sigma sextractor) ne change pas significativement avec une soustraction 
a 1 ou 5 sigma de masquage ou avec (en plus) le masquage des trainee de guidage. 
Elle cherche des moyens efficaces pour comparer la photometrie sans devoir 
lancer deux scamp et deux swarp.
- Donnees Cuby-Willis (Pascale Hibon): le stack en bande LowOH1 a ete mis a 
disposition sur ftpix. Il a ete recupere et Cuby s'est rendu compte qu'il y 
avait moins d'image que ce qu'il attendait (la moitie!): il parait que le CFHT 
n'a pas mis a disposition toutes les donnees de Willis. S'ils arrivent a les 
recuperer dans les temps, Chiara essaiera de refaire le stack avant la fin de 
mars. Chiara a telecharge les images pretraitees par Pascale Hibon, mais pour 
l'instant elle n'a que les cubes de la troisieme extension; elle lui a ecrit 
pour avoir le reste.
- Donnees Monin: Chiara attend la communication de l'URL de la part de Loic pour 
recuperer les donnees de Monin (J H Ks et CH4).

Amicalement,
			Emmanuel.