Message-ID: <47D4536F.8090207@iap.fr>
Date: Sun, 09 Mar 2008 22:15:27 +0100
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To: teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 03/03 au 09/03/2008
Content-Type: text/plain; charset=windows-1252; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici la synthese des activites couvrant la periode du 25/02 au 02/03 a partir
des bilans de Mathias M., Mathias S., Yannick, Greg et Patrick.

Par ordre arbitraire:

Operations MEGACAM (Yannick, Emmanuel)
- Yannick a contacte plusieurs fois Jean-Charles au cours de la semaine pour 
suivre l'etat de la production des nouvelles donnees. Jean-Charles confirme que 
nous accederons aux images via l'archive du CADC et non pas via le CFHT comme 
Yannick le souhaitait. La production des donnees par Jean-Charles suit le 
deroulement des QrunID puisque les master files sont produits pour chaque run. 
C'est logique, mais c'est un handicap pour Terapix car nous ne pouvons pas 
recuperer les champs Wide zone par zone, puisque les QrunID melangent les zones. 
Seul W4 pourra avancer partiellement par zone car les observations sont 
concentrees en 06A, 06B, 07A, 07B et 08A.
- Le retard pris par le CFHT signifie que nous ne produirons pas la release pour 
le 1er mai.  Jean-Charles va demander un report au premier juillet. On se 
reunira avec le CFHTLS Steering Group la derniere semaine de mars pour fixer la 
nouvelle date.  Dans ce cas, on recuperera des donnees des mois de mars et avril 
si possible de facon a ce que T0005 soit aussi complete que possible.
- Les donnees 07B, 07A et 06B sont quasi-pretes et peuvent etre recuperees. Des 
que 06A sera termine au CFHT on fera tout W4. Fred s'en charge.
- Yannick a cree les .ahead necessaires a tous les SCAMP du CFHTLS pour T05 (en 
l'etat actuel des donnees).
- Kanoa a repondu a Emmanuel. Il est en vacances, et dit vouloir s'occuper du 
probleme des tables mcmd a son retour.

Operations WIRCAM PI (Patrick, Henry Joy)
- Donnees Bouvier: Patrick a cree les images soustraites du fond de ciel pour 
les ensembles d'images pour lesquels la procedure automatique n'etait pas 
optimale (suppression de quelques images dans les listes). Les listes d'images 
pour les stacks ont ete generees, ainsi que les stacks pour deux des trois 
champs en trois filtres. Patrick mentionnne une memoire insuffisante sur mix10 
pour le SWarp du dernier champ (-> a faire sur mix7). *Emmanuel demande: SWarp, 
vraiment? Tu es sur que ca n'est pas SCAMP? *. Il reste a faire le stack du 
dernier champ et le controle-qualite des images finales.
- Donnees Dwelly: Patrick a inspecte les images soustraites de fond de ciel (50% 
de fait, pas de gros problemes constates)
- Donnees Balogh: une requete de petite taille : deux amas de galaxie en Ks, 
environ 300 poses. Patrick a telecharge les donnees; le premier stack et la 
soustraction du fond de ciel sont en cours.
- Donnees Deharveng BrG/H2: l'extraction des catalogues par Henry Joy est en cours.
- Henry Joy a interagi avec Chris Willot concernant les donnes WIRDS. Cela fait 
maintenant presque deux ans que les donnees ont ete prises; il serait donc bon 
d'avoir une release prochainement!

Developpements T05 (Greg, Mathias M., Mathias S., Emmanuel)
- Mysql et GeoDjango: Gregory a continue a regarder si l'integration entre 
Spica2 et GeoDjango est possible.Il y a beaucoup de dependances avec d'autre 
softs et il n'y a pas de paquetage rassemblant tout de disponible pour 
l'instant. La solution existe malgre-tout et le calcul est pret.
- Developpements Spica2: Gregory et Mathias ont eu un probleme assez 
preoccupant, concernant Condor et un probleme de droits. Lorsque une ingestion 
est faite par une personne autre que Mathias et Gregory (les droits leurs sont 
naturellement accordes dans la version de dev et un user pipeline est 
automatiquement cree pour la version de prod), Condor renvoie une erreur de 
droits, le compte pipeline n'as pas les droits pour ecrire dans le repertoire 
temp de condor. Malgre tout ils ont constate que le fichier qui genere l'erreur 
est bien ecrit! Resultat:le job s'execute, l'ingestion s'effectue, mais le job, 
une fois termine, se met en "idle" et aucun mail n'est envoye. Greg a regarde 
cela avec Anthony et Mathias mais aucune explication ne leur semble logique pour 
le moment.
- Mathias S. se plaint par ailleurs de ne recevoir aucun e-mail quand il lance 
une ingestion. Ca marche apparemment seulement avec un compte e-mail a l'IAP, ce 
qui est tres embetant. *Mathias S. demande: Gregory, tu as recu une e-mail avec 
mon enquete? Si par example on veut ingerer une certain Run-ID (et qu'il manque 
une table FITS), ne peut-on pas recevoir un e-mail avec un message erreur?*.
- Greg s'occupe de corriger quelques bugs de l'interface et il est en train de 
designer la page de garde (home), celle qui va referencer toutes les Runs de 
maniere dynamique: les runs seront affiches ainsi que les images associees en 
temps reel, avec toutes les informations disponibles les concernant a leurs 
etapes respectives du process; en cours...
- Suite a une discussion - en milieu de semaine derniere avec Yannick et 
Emmanuel - sur le concept du panier et les possibilites de sauvegarde (tant au 
niveau de la selection d'images que des futures possibilites de 
sauvegarde/edition de fichiers de configuration d'applications) qui doivent etre 
offertes par Spica, Mathias M. a mis de cote l'implementation du panier au 
profit de l'ajout de nouvelles fonctionnalites dans l'interface generique de 
selection d'images. L'interface a donc ete enrichie et trois methodes sont 
maintenant proposees  pour selectionner des images:
     * "Create a new image selection": affiche le constructeur dynamique de
       requete (dont une demo a ete faite lors du dernier terameeting)
     * "Open an existing image selection": permet de rappeler une selection d'
       images sauvegardees, de l'editer, de la supprimer ou de l'enregistrer sous
       un autre nom etc.
     * "Merge saved selections": permet de fusionner le contenu de plusieurs
       selections  d'images, de le sauver afin de pouvoir le reutiliser par la
       suite
La premiere methode est implementee et fonctionnelle, la seconde est en cours 
d'implementation et la troisieme pas encore. Mathias compte terminer 
l'implementation complete de ces fonctionnalites avant de poursuivre celle du 
panier.
- Le contenu du panier, qui contiendra une liste de traitements a effectuer sur 
des ensembles d'images pre-selectionnees, est sauvegarde dans la base au meme 
titre que l'identifiant unique de session de l'utilisateur (cookie). La duree de 
vie d'un panier sera de 24 heures: les informations correspondantes dans la base 
seront effacees (script cron job, idee suggeree par Antony) au bout de 24 heures 
a compter de l'ajout du premier processing dans la panier (c'est a partir de cet 
instant que sont sauvegardes dans la base l'ID de session et les donnees du 
panier seralisees associees).
- Une nouvelle table a ete ajoutee dans la base. La table spica2_imageselections 
contient la liste des selections d'images sauvegardees.
- Emmanuel a examine de plus pres les ajustements de modeles sur les galaxies de 
D1, il en ressort que les principales erreurs sont crees par un probleme de 
"deblending" des sources. Malheureusement ce point a peu de chances de pouvoir 
etre ameliore avant la release de T05 (un re-design de SExtractor est necessaire).

Autres developpements (Emmanuel)
- Emmanuel a termine la nouvelle implementation de PSFEx (multiple in-multiple 
out). Elle sera testee cette semaine (avec ajouts de plots a la SCAMP).

Systeme/hardware (Henry Joy, Emmanuel)
- Henry Joy a signale que le RAID de mix7 (unit 0) s'est encore degrade cette 
semaine.
- Emmanuel a signale que l'interface ethernet de fcix3 connectee au reseau prive 
TERAPIX (clic) ne repondait plus, ce qui provoque un gel des commandes Condor 
qui lui sont envoyees.
- *Emmanuel demande: Fred, as-tu des nouvelles de la ligne monophasee et de la 
connection du second onduleur?*

Divers (Emmanuel, Henry Joy)
- Emmanuel a termine le telechargement des 6 To de donnees du SDSS sur efigix2 
(1 To de catalogues + 12 To (avant compression), soit 2 millions d'images). Il 
va maintenant proceder au controle des md5 et la recalibration des donnees, puis 
a la mise en place d'un systeme de co-addition a la demande.
- Henry Joy a continue ses interviews pour le post-doc de l'ANR UltraVista. Une 
offre a ete faite a Richard Bielby.

Amicalement,
			Emmanuel.