Message-ID: <47547ACB.2040906@iap.fr>
Date: Mon, 03 Dec 2007 22:53:15 +0100
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To: teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 26/11 au 03/12
Content-Type: text/plain; charset=windows-1252; format=flowed
Content-Transfer-Encoding: quoted-printable
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici une synthese partielle et partiale des activites couvrant la period=
e du
26/11 au 03/12 a partir des bilans de Mireille, Gregory, Henry Joy, Emman=
uel et=20
Yannick et puis Fred.

Par ordre arbitraire:

T04 (Yannick):
- catalogues T000g .gz corrompus (suite et fin): les catalogues .gz corro=
mpus=20
qui avaient ete renvoyes au CADC ont ete rerecuperes et testes; ils sont =
OK.=20
Yannick a demande au CADC que Terapix ait acces aux informations concerna=
nt les=20
updates de leur base de donnees de facon que l'on puisse controler a tout=
 moment=20
qu'ils ont bien en mains nos dernieres versions de donnees. Le CADC devai=
t=20
recontacter Yannick ce lundi, mais pas de nouvelles encore.

Donnees T05 (Yannick):
- Yannick a contacte Jean-Charles a propos des data reprocessees par Elix=
ir.=20
Jean-Charles a pris du retard, pour deux raisons: les meetings du SAC pui=
s du=20
Board a preparer, et des problemes avec Elixir (sans plus de precision). =
Le=20
Board est la semaine prochaine, je pense que Jean-Charles sera pris toute=
s cette=20
semaine.
- Jean-Charles aimerait qu'on regarde la stabilite de la photometrie CCD =
par=20
CCD: a partir d'une comparaison SDSS/ CFHTS, mais pour chaque CCD, ou com=
me on=20
avait fait avec Mireille, centre-bord en anneaux. Yannick lui a dit qu'on=
=20
allait voir ca au Tera-meeting et qu'il lui repondrait. Si on demande a M=
athias=20
il faut attendre le 10 decembre a son retour. Il pourrait faire ca avec=20
Mireille? Il faut voir ce qu'il y a a faire avant tout. *Emmanuel demande=
:=20
Mathias est certes a IPAC, mais cela l'empeche-t-il de superviser le trav=
ail?*

Processing MEGACAM P.I. (Mireille):
- Log des observations Megacam/WIRcam: Mireille a finalise ce qui concern=
e les
metadata. La "fits metadata table" mcmd.....fits est delivree pour chaque=
 PI.=20
Elle l'a regardee attentivement et apres les questions posees par Yannick=
 a=20
Kanoa et les reponses donnees il lui semble clair que cette table contien=
t tout=20
ce qu'il nous faut. Voila la liste des parametres utiles (il y en a surem=
ent=20
trop) que l'on retrouve d'ailleurs dans le QSO Night Report :
OBSID  ->  Frame number assigned to this exposure
RUNID  -> observing run
EXPDATE_UT  -> date  and time of observation
OBJECT
ETIME  -> exposure time
FILTER
RIGHT_ASCENSION
DECLINATION
AIRMASS
QSO_COMMENT  ->  Brief notes prepared by the QSO Team for individual fram=
es=20
through the QSO Electronic Logbook. These comments are written by both th=
e=20
service observer and the queue coordinator
QSO_EVAL  ->  Quality evaluation (1-4) for the exposure, as assigned by t=
he QSO Team
QSO_STATUS  -> validated image
REQ_IQ_MIN  ->  min requested image quality
REQ_IQ_MAX  -> max requested image quality
REQ_BG_NAME  -> sky background requested
OBS_IQ_REFCCD  -> observed image quality in arcsec
OBS_BG_NAME  -> sky background observed
IS_PHOT  -> sky transparency  1=3DP , 0=3DA
Il faudra introduire cette table dans le pipeline, elle permettra de :
(1) selectionner les images validees par le CFHT. Mireille a remarque que=
 dans=20
cette table il y a les images du RUNID du PI mais aussi des RUNID en AQ e=
t=20
BQ.... qu'il ne faudra pas selectionner.
(2) creer automatiquement les .ahead quand l'image est photometrique, cad=
 quand=20
IS_PHOT =3D 1

Processing WIRCAM P.I. (Emmanuel, Henry Joy):
- Conversion Vega -> AB: Loic a reconnu qu'il avait commis une erreur dan=
s ses=20
calculs; il a dit qu'il allait mettre a jour les pages WIRCAM mais ca n'a=
=20
toujours pas ete fait.
- Donnees Deharveng: Henry Joy a lance les QualityFITS, qui devraient etr=
e finis=20
dans la nuit. *Emmanuel demande: tu n'as pas utilise Condor?*.
- Fred a recopie les images D1 WIRDS sur FTPix (de vieilles donnees ont d=
u etre=20
effacees au prealable).

Developpements T05 (Gregory):
- Gregory a migre l'application Django sur le cluster (disponible a l'adr=
esse=20
http://clix.iap.fr/spica2). La base de donnees est presente sur dbterapix=
 et=20
l'application sur clix
- Onglet Runinfo: il contient l'affichage des Runs presents dans la base =
de=20
donnees , le nombre d'images dependant de ce Run, l'Instrument dont depen=
d le=20
run ainsi que la liste d'images associees au Run et ingerees dans la base=
. Il=20
reste a implementer pour la colonne Run de cet onglet un module de recher=
che
- Onglet Ingestion: comme la procedure d'ingestion remplit la base en fon=
ction=20
des keywords presents dans les headers de chaque image , et si l'on conna=
it un=20
chemin des images sur le cluster (de la forme "/data/node/raid*/processin=
g/...",=20
  il est desormais possible de tester l'ingestion.
- Gregory a "pris en main" le module Python pour les calculs de MD5. Selo=
n=20
Gregory, veci remet en cause l'architecture  de stockage des images sur l=
e=20
cluster, ainsi que l'ancienne architecture de l'ancienne base de donnees =
de=20
spica "premier du nom". Il pense que nous pouvons trouver une meilleur me=
thode=20
de stockage des images, des metadonnees produites ainsi que des images=20
processees -> c'est a discuter.
- Il faudrait aussi selon lui lister toutes les extensions de fichiers po=
ssibles=20
des donnees qui vont etre presentes dans la base afin d'elaborer des filt=
res et=20
des decompresseurs automatiques ( *.ldac, *.fits, comment reconnaitre une=
 table=20
fits qui a la meme extension qu'une image ,*.weight.fits, *.tar, *.gz, pn=
g etc.)=20
-> a lister
- Selon Gregory il faudrait fixer si ce n'est pas deja fait, une nomencla=
ture=20
definitive des images qui sont presentes dans la base, ainsi que, peut-et=
re, une=20
encapsulation du nom d'une image en fonction de son etat de processing da=
ns le=20
pipeline.
- Il n'y a pas de preview d'une image avant que celle-ci passe dans Quali=
tyFITS.=20
S'il existe un interet a avoir une preview par image deja pendant l'etape=
=20
d'ingestion, il faudrait en discuter.

Autres developpements (Emmanuel):
- Stuff 1.17 a ete release au public (il etait deja dispo en SVN, mais n'=
avait=20
pas de page web. Pas de doc encore cependant; Emmanuel n'a pas le temps e=
n ce=20
moment!

Machines / Cluster (Fred, Henry Joy):
- Fred a remis en service mix7, apres avoir identifie un pb de barettes m=
emoire,=20
et change le ventilateur d'un des processeurs.
- Fred a fini de passer les commandes vendredi soir. Dernieres commandes =
(lignes=20
TERAPIX et EFIGI):
* KVM cat5 belkin avec prise en main =E0 distance pour 48 machines (4259.=
7 =80)
* divers LDLC (disques spares, alims, cordons RJ45, kensington laptop/=E9=
crans,=20
CDs et DVDs RW) (1029.43 =80 + 602.27 =80)
* switch HP 48 ports 3099 =80
* outillage divers (soufflette =E9lectrique, visseuse d=E9visseuse, tourn=
evis=20
pinces) 400=80
- Les commandes passes anterieurement ont toutes ete livrees sauf les ser=
veurs=20
et le MacBook de Mathias M..
- Les Barcelona (nouveaux processeurs serveur AMD) se font attendre, et l=
es=20
modeles actuels semble avoir un bug. 2 solutions:
(1) mettre en place les Barcelona correspondants au masque silicium B2 bu=
gge,=20
avec le patch kernel ad\'equat, et les changer avec les B3 en mars. (AMD =
ne l'a=20
pas encore recontacte a ce sujet), ou
(2) passer a un architecture INTEL (i.e. changement de carte-m=E8re par r=
apport=20
aux commandes initiales).
- Olivier Ricou a donne son accord pour degager les machines pix.
- Comme il arrive assez souvent que Fred et Yannick soient absents=20
simultanement, Emmanuel demande s'il pourrait disposer d'une copie de la =
feuille=20
des mots de passe (BDD, etc.) pour les operations urgentes de=20
recovery/maintenance sur le cluster, comme cela s'est encore presente cet=
te=20
semaine.
- Henry Joy a installe IRAF sur mix7.


Postes/misc (Fred, Henry Joy, Emmanuel)
- Fred et Henry ont fait le menage dans leurs bureaux respectifs en previ=
sion=20
des nouvelles arrivees. Il reste a remplacer l'armoire metallique.
- Emmanuel a eu des nouvelles d'AstroWISE par teleconference: leur procha=
in=20
meeting se tiendra a Leiden du 31/03 au 03/04. Inutile de dire qu'ils sou=
ffrent=20
beaucoup des deboires du VST.
- Avec l'aide d'Olivier Ricou (LRDE), il devrait etre possible de mettre =
en=20
ligne de nouveaux webservices dans le courant 2008. Les gens du VO (E.Sle=
zak est=20
passe cette semaine) semblent prets a financer des missions pour qu'Olivi=
er=20
continue sa collaboration avec la communaute Astro. Les details restent a=
=20
definir, mais l'on peut deja envisager des choses comme un service de sim=
ulation=20
d'images a la demande et de cut-outs SDSS (voire d'autres surveys si l'on=
 a=20
l'accord de stockage/distribution) depuis les machines EFIGI. La mise en =
ligne=20
de QualityFITS est plus delicate, car il ne supporte toujours pas de meta=
donnees=20
VOTable. A envisager dans l'hypothese de developpement d'un QFITS nouvell=
e=20
generation?
- les 2 lampes de bureau ont ete livrees.
- Patrick sera a Bonn la semaine du 10 au 16 decembre.

Amicalement,
			Emmanuel.