Message-ID: <4814E3D3.5030903@iap.fr>
Date: Sun, 27 Apr 2008 22:36:35 +0200
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To: teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 23/04 au 27/04/2008
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici la synthese des activites couvrant cette courte periode du 23/04 au 27/04
a partir des bilans de Mathias S., Patrick, Yannick, Mathias M. et Gregory S.. 
Merci a vous!

Par ordre arbitraire:

Operations CFHTLS (Yannick, Mathias S.)
- Yannick a termine la solution astrometrique globale et l'intercalibration des 
686 poses (courtes, longues, photometriques, non photometriques) du champ Wide 
W4. Il a fallu un peu plus de temps que prevu car les histogrammes de la 
photometrie montrait une asymetrie dans certains secteurs, plus particulierement
dans les champs pris dans d'excellentes conditions de seeing. Apres enquete, il 
s'avere qu'il s'agissait d'une bevue d'Emmanuel dans la construction des figures 
par SCAMP, qui incluaient toutes les sources, y compris celles saturees et 
tronquees (pourtant exclues de l'analyse). Les plots de SCAMP ne montraient donc 
pas la qualite reelle du resultat de la calibration. Emmanuel a corrige le pb et 
les resultats sont en fait excellents.
- Apres SCAMP, Yannick est passe a la production des 120 stacks ugriz du Wide W4 
(25 degres carre, 20 deg2 en ugriz, 5 en ugrz). Pour ces stacks les poses 
courtes photometriques sont exclues. Il y a 656 images a prendre en compte. 
Quelques tests preliminaires pour ajuster les parametres de SWarp ont ete 
necessaires. En particulier, le champ SATURATE a ete fixe a 40000 dans tous les 
.head.  Patrick a fourni le script Python pour effectuer cette correction. 
Yannick a ensuite lance l'ensemble sur Condor avec l'executable 
condor_transfert.pl; mais l'acces aux donnees se faisait en fait par NFS, et le 
pourcentage d'utilisation CPU ne depassait pas quelques % sur les noeuds. 
Emmanuel lui a fourni un canevas pour produire le fichier Condor de facon plus 
traditionnelle. Les test operes samedi et dimanche sont concluants. Les 120 jobs 
ont ete lances dimanche vers 17:00. Si tout se deroule sans encombre, les stacks 
seront prets lundi.  Les premiers stacks de tests en g,r et i sont excellents.
- T004: Mathias a envoye la liste des images individuelles qui ont un grande 
offset (> 0.03 mag) a Yannick et a regarde les QFITS-in de ces mages. il n'a 
rien vu d'anormal par rapport aux autres..
- Stabilite de la calibration photometrique: Jean Charles a envoye les 
points-zero a Mathias. Il lui a aussi demande de refaire la comparison avec le 
SDSS mais en utilisant les equations de couleur de Smith et al. (qui sont les 
termes des couleurs dans le header Megacam) qui ne sont pas exactement les meme 
filtres SDSS. Mathias n'a pas encore regarde ca.

Operations WIRCAM (Patrick):
- Patrick a release des donnees Balogh. Le PI semble satisfait a premiere vue 
(les donnees ont ete telechargees).
- Donnees Hutching : il semblerait que des programmes ont ete processes avant 
celui ci. Comme il a ete release par le CFH il y a plusieurs mois (septembre) 
les donnees preprocessees ne sont plus au CFH mais il faut les telecharger au 
CADC. Patrick et Henry Joy vont les processer en priorite.
- Patrick a produit et distribue deux versions du rapport du traitement des 
donnees Balogh.

Developpements T05 (Mathias M., Greg)
- Mathias M. a ajoute l'authentification des utilisateurs. Il n'est plus 
possible d'acceder aux pages relatives a Spica sans s'authentifier 
prealablement. Les droits sont repartis comme suit:
  * Greg et Mathias ont le profil super utilisateur, qui leur confere des
    actions et droits particuliers dans l'interface d'administration de
    Spica.
  * Tous les autres terapixiens ont un profil "staff status", droit
    requis pour pouvoir se connecter a l'interface d'administration.
  * Nous appartenons tous au groupe 'terapix'. La gestion des groupes
    n'est pas encore implementee dans Spica mais permettra de definir un
    certain degre de visibilite des donnees de la base. Des items du
    panier, des selections d'images, des fichiers de configuration
    particuliers etc. pourront etre rattaches a un groupe particulier. Seuls
    les membres de ce groupe pourront alors voir et acceder aux donnees (il en
    sera de meme pour les donnees produites en sorties). Un utilisateur
    peut appartenir a plusieurs groupes differents.
- Pour le moment, la gestion des droits utilisateurs est visible au niveau:
  * des items du panier qui indiquent le nom de l'utilisateur a l'origine de
    la sauvegarde de l'item.
  * de la phase d'ingestion puisqu'il n'est plus necessaire de remplir
    le champ relatif a l'adresse email du rapport d'ingestion. L'adresse
    email de l'utilisateur authentifie est utilisee par defaut (le champ
    reste modifiable). L'onglet affichant l'historique des ingestions affiche
    egalement le nom de l'utilisateur a l'origine de l'ingestion.
- Mathias a ajoute le support des wildcards '*' au niveau des interfaces de
   requetes de Spica.
- Greg a travaille sur la prise en compte des reg file dans la partie 
QualityFits-in de l'onglet processing de l'interface. La selection de fichier 
reg fonctionne mais elle n'a pas encore ete testee pour une reelle utilisation 
(par Patrick par exemple). Cependant Mathias doit encore prendre en compte la 
gestion de l'extension ".reg" dans son implementation du tafeltree (module de 
parcours du cluster se limitant pour l'instant a la gestion de l'extension ".fits")
- Greg a identifie un bug durant la phase d'ingestion, ou, lors de la 
modification qui permettait d'ingerer des images Wircam independantes d'un run 
specifique, ne mettait a jour que la table image de la base de donnees, les 
autres tables n'ayant pas ete updatees. Le bug est en passe d'etre corrige.
- Greg a etabli la liste  des champs numeriques de la base de donnees qui 
meritent d'etre filtres par l'interface pour plus de lisibilite. Il attend un 
retour pour action *commentaire d'Emmanuel: oops! J'avoue que je n'avais pas vu 
ton mail! Je fais ca demain*.

Autres developpements (Patrick, Emmanuel)
- Patrick a teste et debugge du code pour la photometrie avec 2MASS (version 
Python du code de Herve), beaucoup plus rapide mais avec de petites differences 
dans les scaling en flux. A verifier.
- Patrick a ecrit du code pour optimiser la parallelisation de la soustraction 
de fond de ciel. En test.
- Emmanuel a release et installe sur le cluster une nouvelle version (1.4.5) de 
SCAMP qui corrige l'affichage des sources saturees dans les check-plots. Cette 
version sera releasee au public dans la semaine.
- Emmanuel a ajoute les versions "_WORLD", "_SKY", "_J2000" et "_B1950" des 
mesures morphometriques aux parametres de SExtractor 2.7.0, ainsi que les 
mesures en magnitudes. Emmanuel propose d'installer cette nouvelle version sur 
le cluster cette semaine afin de pouvoir tester les mesures morphometriques sur 
les stacks T05.

Systeme/hardware (Fred, Emmanuel, Mathias M.)
- Travail sur le cluster: pas de bilan communique.
- Emmanuel et Mathias ont consulte Georges et Gilles de l'informatique generale 
concernant la possibilite d'abandonner la gestion de la teralist directement par 
l'IAP, afin de remedier aux delais aleatoires subis par la transmission des 
mails durant l'annee ecoulee. Malheureusement, il s'est avere que le systeme 
installe par Gilles sur la machine babel est en tous points similaire a celui de 
terapix (exim+petidomo), et n'a donc aucune raison de mieux fonctionner! Mathias 
suggere de remplacer a terme exim par une solution plus robuste comme postfix. 
petidomo pourrait quant-a-lui etre avantageusement remplace par mailman. En 
attendant, Emmanuel et Mathias ont elimine du spool une vingtaine de mails qui 
etaient "frozen" depuis plusieurs annees pour certains, et qui se manifestent 
toujours dans les logs. Il est assez improbable que cela aide, mais on ne sait 
jamais!

Divers (Yannick, Emmanuel)
- Le SAC a finalement souhaite avoir son rapport d'etape semestriel du CFHTLS le 
28 avril. Yannick a donc produit un rapport assez court sur les activites 
terapix du CFHTLS ainsi qu'une contribution pour le rapport concernant l'etat 
des observations du Wide. Le tout a ete envoye a Jean-Charles Cuillandre et 
Herve Aussel pour la synthese. *Emmanuel demande evidemment: est-il possible de 
distribuer une copie de ta contribution...*
- Prime M.Monnerville: Laurent Vigroux a eu la confirmation par l'Universite 
Paris 6 que l'attribution de sa prime avant la fin de sa periode de "stage" ne 
pose pas de probleme. Cependant, il n'a pas ete possible de regler le mois 
d'avril rapidement comme Laurent l'avait dit. Yannick a donc regle le probleme 
de la prime d'avril en urgence, hier, par une autre voie.
- Yannick a sollicite Anthony Baillard pour savoir si des eleves de son ecole 
seraient interesses par le poste IR d'un an sur les credits AstroWise. Anthony 
va enqueter.
- Emmanuel a renvoye le formulaire de stage de Lila Hadji (stage M1 juin-aout).

Amicalement,
			Emmanuel.