Message-ID: <47DDADF0.60309@iap.fr>
Date: Mon, 17 Mar 2008 00:32:00 +0100
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To: teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 10/03 au 16/03/2008
Content-Type: text/plain; charset=windows-1252; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici la synthese des activites couvrant la periode du 10/02 au 16/03 a partir
des bilans de Yannick, Mathias M., Mathias S., Patrick, Gregory et Henry Joy.

Par ordre arbitraire:

Operations MEGACAM (Yannick)
- Release T04: Yannick a redige le message concernant les catalogues de la 
release T0004.  Ces catalogues comportaient des erreurs sur les magnitudes 
inexactes.  Ils ont ete rapidement remplaces au CADC mais toute une serie de 
problemes hardware a Terapix et au CADC, software au CADC, puis une erreur 
humaine au CADC ont empeche d'ouvrir l'archive aux utilisateurs jusqu'a 
aujourd'hui. Le message a ete envoye vendredi soir, apres approbation par 
l'ensemble des membres du Steering Group.
- Release T05: Suite a une entretien telephonique avec Jean-Charles Cuillandre 
jeudi soir puis une serie de mails avec le CFHTLS Steering Group et le DOG (Data 
Operation Group), nous avons convenu que la calibration photometrique fine sera 
reportee a la release T0006.  Jean-Charles n'est pas certain qu'elle soit 
viable. Ce point a ete confirme vendredi par un message de Chris Pritchet qui a 
detecte des problemes dans les cartes de calibration du SNLS (*Emmanuel demande: 
Yannick pourrais-tu forwarder ce mail, ou tout-au-moins preciser les problemes 
detectes (intensite, pattern)? Merci!*). Les tests faits par Terapix sur les 
defauts residuels ont ete confirmes par S. Arnouts et Jean-Charles Cuillandre au 
CFHT. La release T0005 va donc utiliser les data de T0004 qui sont deja sur les 
disques de Terapix ainsi que les nouvelles donnees de 06A, 06B, 07A, 07B et une 
partie de 08A. Mais jean-Charles a aussi reprocesse une partie de 03A et 03B. On 
doit donc recuperer au CADC: 03A/B et 06B/07AB/08Am01. Emmanuel, Fred et Yannick 
se sont mis d'accord pour que toutes images soient reprocessees dans QFITS. 
Jean-Charles a aussi recalcule les points-zeros de toutes les images. Ces points 
zeros ne seront pas injectes dans les FITS headers, et Jean-Charles nous demande 
si nous pouvons nous en accommoder. Il faudra dans ce cas etablir une procedure 
qui permettra de rectifier les points zeros quelque-part dans notre pipeline 
afin de ne pas utiliser ceux ecrits dans les FITS headers. Yannick attend la 
recette de Jean-Charles pour y voir plus clair.
- Mathias S. se demande si pour la comparaison avec le SDSS il n'aurait pas de 
meilleures statistiques en incluant aussi les galaxies (pas seulement les 
etoiles) par exemple jusqu'a i < 21 ou 22...
- Mathias S. a discute avec Nicolas et ils sont d'accord que pour appliquer la 
grille de couleur il faut implementer ca dans SCAMP. Emmanuel va prendre en 
charge cela. Emmanuel precise que son but n'est pas d'implementer l'application 
de la grille de couleur dans SCAMP, mais directement son calcul! (l'application 
de la grille elle-meme necessite peu de travail. Il a offset a Nicolas & co de 
s'y coller en juin-juillet.
- Yannick a pris note de la requete pour le traitement par Terapix des images 
Megacam du projet ID: 07BH10 PI: Miguel A. Urbaneja . La demande d'autorisation 
d'acces aux donnees a ete envoyee au CADC et au CFHT. Des que les donnees seront 
ouvertes a Terapix, Yannick se chargera du processing avec Mathias Schultheis.

Operations WIRCAM PI (Patrick, Henry Joy)
- Donnees Bouvier: les stacks sont bons. La photometries est bonne en J,H,Ks 
mais completement a cote (0.3mag) en Y d'apres les diagrammes stellaires de 
Pickles. Patrick a donc refait un stack en changeant les images choisies comme 
photometriques. Les Qfits sont en cours pour generer les catalogues et refaire 
les plot de Pickles (pas de catalogue photometrique de reference 2MASS en Y).
- Donnees Dwelly: Les stacks finaux sont en cours.
- Donnees Ibata: La soustraction du fond de ciel est presque achevee (le 
traitement a ete demarre par Patrick le week-end dernier.)
- Donnees Walawender : La soustraction de fond de ciel est terminee. Probleme : 
la generation des images de fond de ciel incorpore une partie des nebulosites et 
soustrait donc ces nebulosites avec le fond de ciel. Il y a en outre necessite 
de modifier la generation des masques pour cause de persistance des charges 
d'une image a la suivante pour les objets tres brillants. Patrick va refaire 
tourner la soustraction de fond de ciel en activant cette option.
- Donnees Balogh : La soustraction de fond de ciel est en cours (le traitement a 
ete commence par Patrick le week-end dernier).
- Henry Joy rapporte des reactions tres positives au traitement des donnees 
WIRCAM par Patrick et Henry Joy de la part de Marzke, Lucey, et Lise Deharveng.

Developpements T05 (Greg, Mathias M., Mathias S.)
- Mathias S. indique qu'il a reussi a ingerer les images de son compte a l'IAP. 
*Emmanuel demande: tu veux dire, depuis Besancon mais en donnant ton adresse 
e-mail a l'IAP?*
- L'interface generique de selection d'images est terminee. Les fonctionnalites 
suivantes on ete ajoutees par Mathias M. cette semaine:
  * 'Save selection as...': sauvegarde de la selection courante
    (ensemble des images dont la premiere colonne de chaque ligne est
    cochee). Chaque nom de selection doit etre unique. Si une selection
    du meme nom existe deja dans la base, une demande de confirmation
    (overwriting) est presentee a l'utilisateur.
  * 'Delete existing selection...': suppression d'une selection
    d'images pre-enregistree. Il s'agit volontairement d'une liste
    deroulante simple sans multi-selection pour eviter toute
    suppression involontaire. *Emmanuel: autoriser la multi-selection
    serait pourtant bien utile. Pourquoi ne pas indiquer simplement durant
    la confirmation le nombre de selections qui seront effacees?"
  * 'Merge with existing selections...': fusion de selections d'images
    pre-enregistrees avec la selection courante. La fusion gere le cas
    ou une meme image est presente a la fois dans la selection
    courante et celle avec laquelle on veut fusionner: il n'y pas de
    doublons.
  * 'Add selection to processing queue': ajoute la selection d'images
    courante dans le panier (1 item). Le traitement a proprement parler
    n'est initie que lorsque l'item est valide dans le panier.
Il est egalement possible, a l'aide du formulaire, de construire une requete 
personnalisee a partir d'une selection sauvegardee. Pour cela, un critere de 
selection supplementaire a ete ajoute en fin de liste (apres Ra et Dec): 'Saved 
selection'. Par exemple, en choisissant sur la premiere ligne
'Saved selection' -- 'is equal to' -- 'MySavedSelection'
et en cliquant sur 'Find images!', la selection de depart correspond a la 
selection d'images de 'MySavedSelection' sauvegardee.
- L'implementation par Mathias M. du panier n'est pas terminee mais il est 
utilisable et des qualityFITS peuvent etre lances (a titre experimental) sur le 
cluster. Pour cela, il suffit de consulter le contenu du panier en cliquant sur 
son icone en haut a droite de l'ecran. Les articles qu'il contient sont alors 
affiches sur la page et les processings peuvent etre lances un par un en 
cliquant sur l'icone 'Run' a droite de chaque article. (NOTE: le resultat des 
QFITS ne sera pas correct dans la mesure ou le condor submission file genere ne 
prend pas pour le moment en compte les FLATS et MASK a utiliser). Une demo 
pourra etre faite lors du tera-meeting.
- L'interface de monitoring des jobs de qualityfits a ete ameloriee par Mathias 
M.: les jobs dont l'execution est terminee mais restant en suspens (probleme pas 
encore resolu que nous rencontrons avec Greg) sont maintenant notes en etat 
'Hold' (et non plus 'Idle').
- Cette semaine, les developpement de Mathias se concentreront autour du panier 
et du lancement des qualityFITS-in sur le cluster:
  * Chaque article du panier doit pouvoir etre sauve pour une utilisation
    ulterieure (duree de vie superieure a celle du cookie et du panier associe)
  * Il doit etre possible de revoir une selection d'image (d'un item)
    depuis le panier
  * Ajouter la possibilite de lancer l'"execution" de tous les items du
    panier en un seul clic
  * Le panier doit indiquer (demande de Yannick) une sorte de numero de
    lot unique (par item du panier) de maniere a pouvoir identifier facilement
    les traitements en cours sur le cluster.
  * L'interface de monitoring doit etre amelioree de maniere a filtrer
    et n'afficher que les jobs lances par l'application Spica2 et ignorer
    les  autres. Elle doit egalement mentionner les numeros de lot en cours
    d'execution sur le cluster.
  * Le Condor submission file doit prendre en compte le mask a passer en
    ligne de commande a qualityFITS
  * Recuperer les resultats des qualityFITS de maniere a pouvoir les
    consulter depuis l'interface web de Spica2.
- preingestion dans Spica2: En attendant que toutes les tables FITS soient 
reellement presentes et disponibles pour une vraie phase de preingestion, 
Yannick nous a fourni un fichier log regroupant les meta donnees de toutes les 
acquisitions du CFHT. Gregory a realise un script de preingestion de ces tables 
qui pour l'instant est suffisant aux dires de Yannick et Emmanuel. Gregory a un 
bug a corriger dans ce script pour le filtrage du QSOstatus qui ne renvoie que 
OBSERVED -> a modifier.
- ingestion dans SPICA2: Toujours le probleme de droits lies a Condor, Greg et 
Mathias savent d'ou vient le probleme mais ils ne s'en sont pas encore occupes.
- stats SPICA2 / home page: Greg a enfin reussi a comprendre Ajax, il genere 
enfin du DOM avec Javascript de facon correct. Il est en train de construire la 
page de garde de statistiques de Spica2. Apres discussion avec Emmanuel et 
Yannick ils se sont entendu sur le fait qu'il fallait completer le modele de 
base de donnees par une table "spica2_survey" qui rassemblera tous les surveys 
que spica2 pourra gerer. Greg n'a pas encore affecte la base actuelle car cela 
necessite que Greg et Mathias M discutent. Il faudrait aussi un autre type de 
survey pour faire des tests et creer une table de correspondance a donner a 
spica2 pour que la gestion de l'autre survey soit transparente. Cette table sera 
l'entite de base de l'architecture du pipeline et nous parlerons desormais de 
surveys comme d'ensemble de Runs.
- geometrie dans SPICA2: Fred a installe sur le cluster la suite Geodjango, a 
implementer avec spica2 apres avoir fini la page de stat/home.

Autres developpements (Emmanuel)
- Emmanuel a commence a implementer des sorties diagnostics ("Check-plots") dans 
PSFEx. Les nouvelles options de la version 3 de PSFEx sont encore lourdement 
buggees, malgre plusieurs dizaines de bugs deja corriges cette semaine! Les 
premiers plots confirment que, comme pour SCAMP, une seule pose est insuffisante 
pour construire un modele "non-bruite" des variations de la PSF a l'echelle 
d'une fraction de CCD, et qu'il est necessaire de combiner les informations de 
plusieurs poses pour obtenir un modele robuste.
- Des ameliorations sont prevues pour SkyMaker cette semaine (requete de 
Philippe Delorme), devant permettre de mieux tester la robustesse des mesures a 
base d'ajustement de PSF.

Systeme/hardware (Henry Joy, Mathias S., Yannick)
- Fred a installe pbzip2 sur le cluster, sur demande de Henry Joy.
- Yannick a notifie a Fred qu'il avait vu Rene Verriere qui lui a dit qu'il 
faudrait attendre mardi pour le branchement electrique de nos machines. Une 
solution definitive a ete trouvee et elle sera mise en place lundi ou mardi
au plus tard.
- Henry Joy souhaiterait connaitre l'etat des travaux en cours sur les machines, 
en particulier sur la "total system upgrade", et l'etat du RAID de mix7.
- Mathias demande des nouvelles de "sa" machine.

Divers (Emmanuel, Henry Joy)
- Richard Bielby a accepte le post-doc de l'ANR DESIR (UltraVISTA).
- Henry Joy a prepare une presentation  sur TERAPIX/Wircam/MEGACAM pour le 
meeting UltraVISTA, qu'il nous montrera durant le terameeting.
- Les credits INSU 2008 Terapix/Megacam et Terapix/WIRCam ont ete notifies a 
Yannick par la Delegation. Ces credits doient servir avant tout au salaire 
d'Anthony Baillard.
- Emmanuel a recu une demande de stage au niveau M1 informatique (UPMC) pour 
cette ete.

Amicalement,
			Emmanuel.