Message-ID: <47F4D551.7030001@iap.fr>
Date: Thu, 03 Apr 2008 15:02:09 +0200
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 25/03 au 02/04/2008
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 8bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici la synthese des activites couvrant la periode du 25/03 au 02/04 a partir
des bilans de Patrick, Henry Joy, Yannick, Mathias M., Gregory, Mathias S., 
complete par celui de Fred envoye ce matin.

Par ordre arbitraire:

Operations CFHTLS (Yannick, Mathias S.)
- Traitement "prototype" des donnees W4: Fred a recupere toutes les donnees W4
"VALIDATED" pour T0005 et verife le checksum CRC (celui du CADC).  Yannick a
ensuite recupere 30 des 36 images Photom. (poses courtes a adjoindre) pour
recaler la photometrie de certains champs pris pendant des nuits non
photometriques. Il a ensuite prevenu le CADC et le CFHT que 6 champs etaient
manquants. Le CFHT tente en ce moment de retrouver ces 6 images. Yannick a
prepare les 30 .ahead nouveaux attaches a ces images "P" poses courtes. Yannick
a ensuite prevenu Jean-Charles qu'il doit nous fournir les nouveaux points zeros
avant qu'on procede.  Jean-Charles a envoye ces nouveaux points zero ce matin
(le 2 avril). Il faut discuter comment et a quelle etape on ajoute les nouveaux
points zeros. Ensuite on pourra lancer tous les QFITS-in. Les 657+30images ont
ete regroupees par champs/stacks et par filtre de facon a etre facilement
selectionnable avec le panier, champs par champs, meme eventuellement par
Mathias (M.) ou Gregory.  Le W4 sera compose de 20 deg2 en ugriz et 5 deg2 en
ugrz.  Pour ces derniers, il manquera le i car ils ont ete programmes lorsque le
filtre i a casse. A noter qu'aucun champ W4 n'a de filtre i2 ce qui facilitera
la tache du procesing. Dommage... on aurait pu avoir W4 complet et termine.
- Mathias S. a calcule les versions "finales" des plots d'offsets "peses" et de
leurs incertitudes sur W4 pour T04 et T05. Yannick en a fait une compilation,
dont il ressort un bilan mitige; si la forme des tendances a change, ca n'est
pas franchement meilleur pour autant. Emmanuel rappelle a ce propos qu'il
convient desormais d'utiliser SWarp avec l'option FSCALASTRO_TYPE VARIABLE.

Operations MEGACAM PI (Yannick, Mathias S.)
- La comparaison par Yannick et Mathias S. de la photometrie dans le champ NGC
2403 pour le programme Megacam 07BH10, PI Miguel Urbaneja avec les trois series
de parametres optimaux a confirme que les deux options BACK_SIZE=64,
BACK_FILTERSIZE=3, et BACK_SIZE=32, BACK_FILTERSIZE=5 etaient identiques en
qualite et que  BACK_SIZE=128, BACK_FILTERSIZE=3 etaient legerement inferieures.
  Aucune different critique n'etant visible, les donnees ont ete rassemblees et
mises a disposition du PI vendredi dernier (le 28 mars). Pas de retour du PI
depuis. *Emmanuel demande: que diriez-vous de placer les resumes (illustres)
concernant chaque programme PI au sein de pages web (genre Wiki ou SPIP), voire
de documents "pre-fabriques" afin de disposer d'une base de connaissance sur les
operations?*.
- Calibrations photometriques: Herve Aussel va calculer pour Mathias S. les
couleurs synthetiques de MEGACAM a partir de la librairie stellare NextGen. Il a
recupere une grande grille de spectres (log g, Z, elements alpha, etc). Le but
sera de remplacer la librairie Pickles, mais il y a pas mal de tests a faire...
*Emmanuel indique: a noter que si les SEDs sont dans le bon format, on peut
aussi tres rapidement realiser les produits scalaires avec les transmissions des
filtres et les exprimer en AB et Vega directement au sein du programme Stuff*.
*Emmanuel demande: quel avantage amene NextGen par rapport a ATLAS99 (Kurucz)?
Selon Bertone et al. 2004 la fidelite a reproduire le spectre d'etoiles connues
semble plutot moindre pour NextGen que pour ATLAS99*

Operations WIRCAM PI (Patrick, Henry Joy)
- Donnees Dwelly : Tom Dwelly prefererait que les donnees soient alignees
astrometriquement sur le SDSS plutot que 2MASS (pour utilisation avec une image
I MEGACAM). Le decalage est d'environ 0.2-0.3 arcsec, soit presque un pixel.
Patrick a donc recree des nouvelles images avec la nouvelle solution astrometrique.
- Donnees Balogh : les donnees sont releasees.
- Donnees Ibata : les soustractions de fond de ciel avec images de fond de ciel
crees sur champs 'vides' fonctionnent bien en J mais tres mal en Ks (etoiles
tres brillantes sur les champs vides, trop peu d'images par rapport au pattern
de dithering). Patrick essaie une solution intermediaire pour Ks.
- Le CFHT a reprocesse les donnees manquantes de 07AH34 (Wircam/Wirds/Cosmos);
Henry Joy les a telechargees et decompressees. Les donnees 07BH18
(Wircam/Wirds/Cosmos) ont egalement ete telechargees et decompressees. Avant de
lancer QFITS sur ces runs, Henry Joy aimerait recuperer les nouveaux scripts et
fichiers de config crees par Patrick lorsqu'ils seront prets.
- WIRDS: Henry Joy a examinee la release preparee par Chiara. Les champs D1 et
D4 sont probablement prets a etre releases. Il est par contre necessaire de
refaire la photometrie de D3. Les trois champs ne sont pas alignes avec les
images CFHTLS de T04 dans l'etat present, et devront donc etre re-swarpes. Apres
discussion avec Jean-Paul, Henry Joy estime qu'il est urgent de (pre-)releaser
les stacks en l'etat, de facon a ce que les utilisateurs puisse commencer a
travailler sur les donnees. Dans la version de pre-release, les reductions ne
seraient pas refaites, a l'exception d'un re-swarp et d'un recalcul de la
solution photometrique de D3 avec les scripts de Herve.

Developpements T05 (Mathias M., Greg)
- L'interface de lancement des qualityFITS sur le cluster est fonctionnelle et
se decompose en 3 etapes: selection d'images selon certains criteres,
association de cette selection avec des chemins vers des flats et des masks puis
choix d'un fichier de configuration de qualityFITS personnalise a utiliser. Le
tout peut alors etre ajoute au panier pour envoi vers cluster ou sauvegarde
(traitement differe).
- Les items du shopping cart peuvent etre sauvegardes dans la base pour une
utilisation ulterieure. Il devient donc possible de preparer facilement des
traitements par lots a l'avance puis de les lancer depuis n'importe quel autre
navigateur web (pas de contrainte au niveau du cookie de session).
- Au moment de l'envoi d'un traitement qualityFITS sur le cluster depuis
l'interface web, Spica verifie si les chemins vers les flats et les masks sont
corrects. Dans le cas contraire, un message d'avertissement apparait dans
l'interface de monitoring pour chaque image concernee.
- L'interface de monitoring de qualityFITS a ete amelioree et indique maintenant
le nom complet du condor submission file et du fichier de configuration de
qualityFITS pour l'image courante.
- Spica entre dans une phase de test. Des que Mathias M. aura les infos
demandees a Fred concernant les modifications a apporter au fichier de conf de
qualityFITS, des qualityFITS seront lances sur le cluster et les resultats
pourront etre compares a ceux deja existants. La difficulte  reside simplement
en l'utilisation d'un fichier de configuration adapte et correspondant a tous
les parametres passes a qfits sur la ligne de commande lors du traitement des
images deja qualityfitsees. Comme suggere par Yannick, les images utilisees pour
les tests seront celles presentes dans /data/fcix2/raid2/wide_E.bis, les flats
et les masks dans  /data/fcix2/raid2/wide_E.bis/flats et
/data/fcix2/raid2/wide_E.bis/masks, respectivement.
- Geodjango: Greg a modifie le modele de BDD afin de prendre en compte les
polygonField, et le script d'ingestion (calcul du skyfootprint et inscription du
skyfootprint dans la base). Il n'existe pas encore de moyen de faire des
requetes a travers django , mais une demo dans mysql-meme sera faite. Les
requetes sont effectuees par comparaison entre 2 formes geometriques.
Les methodes de comparaison sont celle definit pour mysql:
  * bbcontains, contains(geom1,geom2)
  * contained, within(geom1,geom2)
  * disjoint(geom1,geom2)
  * equals, exact, same_as(geom1,geom2)
  * intersects(geom1,geom2)
  * overlaps(geom1,geom2)
  * touches(geom1,geom2)
- Page de statistiques: Greg a investi beaucoup de temps dans cette page mais
elle n'est toujours pas terminee :
  * Systeme de sous menu en fonction des stats a afficher:
    o Globals stats
    o Preingestion
    o Ingestion
    o Processing (sous-sous-menu QFITSin, SCAMP, SWarp, etc.)
  * Chaque sous menu a son propre lot de requetes Ajax ce qui permet de
    reduire le flux des donnees a transiter
    o On ne construit pas des stats globales comme Greg a voulu le faire
      au debut car la page met alors enormement de temps a s'afficher
    o chaque requete correspond a une stat a afficher
    o les requetes sont en cours d'ecriture ainsi que la generation du
      DOM correspondant
Greg ne fixe pas de deadlines pour le moment...tout doit y etre reference et
c'est assez long a concevoir.

Autres developpements (Patrick, Emmanuel)
- Patrick a automatise son script pour la creation des graphiques de comptages
de galaxies : il est desormmais plus facile de rajouter de nouveaux catalogues
de la litterature.
- Patrick est en train de refaire un package skysub avec les nouveaux outils et
remettre a jour la page Web des etapes de reductions WIRCAM.
- Emmanuel a release une nouvelle version de SCAMP (1.4.4) qui ajoute les
catalogues de reference astrometrique SDSS-R6, Nomad-1 et DeNIS. Cette nouvelle
version a en outre ete compilee avec des flags devant a la fois augmenter la
portabilite sur les versions anciennes du kernel Linux.et la performance sur les
processeurs INTEL recents (architectures Core et Core2). La doc a ete
considerablement mise-a-jour.
- Emmanuel a poursuivi ses developpements sur PSFEx avec une optimisation de
l'empreinte memoire des echantillons d'entree et une nouvelle procedure de
nettoyage iteratif des images (testee sur MEGACAM, en attente de tests sur
d'autres types d'images pour etre validee). Le niveau actuel de repetabilite sur
les determinations de PSF CCD-par-CCD atteint 1% en FWHM et 0.3% en ellipticite
"lineaire".

Systeme/hardware (Henry Joy, Patrick, Fred)
- Henry Joy continue de s'inquieter aupres de Fred que mix7 soit toujours degrade.
- Fred a travaille sur la mise-en-place des nouvelles
machines. Toutes les machines ont ete montees et (re-)cablees avec l'aide de 
Patrick. L'onduleur 10kVA du rack rempli est allume mais toujours sans 
protection differentielle. Elle sera installee dans le courant de la semaine 
prochaine par Christophe Gobet (necessitant un arret). 1 machine 2U ne boote 
pas, une autre attend un re-taraudage pour etre montee dans le rack. 2 machines 
3U sont dans le rack quasi vide a l'onduleur eteint.
- Les kvms sont accessibles à l'adresse http://192.168.150.15 *Quel est le 
login/passwd?*
- Les baies fiber sont a nouveau visibles dans /data/clix/fc* (fc3/fc4
toujours indisponibles, fc1/fc2 degradees avec pertes de donnees, 
fc5/fc6/fc7/fc8 OK). La carte mère de mix3 est HS.

Divers (Emmanuel)
- Emmanuel a assiste a un debut de meeting penible du consortium AstroWISE a
Leiden lundi et mardi. Parmi les informations glanees:
  * selon R. Saglia qui revient de Paranal, le VST ne serait pas operationnel
    avant l'ete 2009. Ed Valentijn juge pour sa part qu'il ne s'agit que de
    rumeurs et s'en tient a fin 2008.
  * l'equipe d'AstroWISE commence a investiguer des approches globales
    de calibration photometrique (a la SNLS).
  * l'equipe Coma-ACS a presente une technique astucieuse et convaincante
    de correction des magnitudes MAG_AUTO basee sur l'utilisation de
    l'indice de Sersic des objets.
  * Patrick Heraudeau a effectue une comparaison des performances de 3
    logiciels de calibration astrometriques sur un jeu commun d'images WFI,
    en utilisant une metrique identique.
    Verdict: le logiciel AstroWISE aboutit a une precision interne 2x moins
    bonne qu'Astrometrix, lui-meme 2x moins precis que SCAMP (10 mas RMS).
    Le programme AstroWISE s'est par ailleurs avere 50 fois plus lent que
    SCAMP. Le rapport a ete rejete par Ed, qui affirme qu'une precision de
    10 mas est inatteignable...
  * Les gens de Bonn ont demande a inclureSCAMP dans AstroWISE, mais Ed ne veut
    pas en entendre parler.
  * R. Saglia a demande a charger les donnees CFHTLS publiques sur le systeme
    AstroWISE afin de le tester. Ed a rejete cette requete.
Ed a lourdement insiste pour que TERAPIX installe AstroWISE sur son cluster.
Je lui ai oppose les arguments developpes par Yannick au dernier terameeting.
Ed a mentionne une collaboration au sein de FP-7 mais je n'avais pas les
details politiques en main pour argumenter.

Amicalement,
			Emmanuel.