Message-ID: <4675B0DB.2080201@iap.fr>
Date: Mon, 18 Jun 2007 00:08:27 +0200
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese des semaines du 04/06/2007 au 17/06/2007
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: quoted-printable
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici une synthese partielle et partiale des activites couvrant cette lon=
gue=20
periode du 04/06 au 17/06! A noter que je n'ai _a nouveau_ pas recu de sy=
ntheses=20
ni de Fred ni de Gregory.

Processing T04 (Yannick, Henry, Emmanuel, Fred, Mireille, Mathias):
- Mathias a produit la carte "finale" des offsets photometriques de W1, q=
ui=20
montre des ecarts contenus dans une fourchette de < 0.05 mag c-c.
- Yannick annonce que la release T0004 est sur le point de s'achever: Fre=
d a=20
produit tous les stacks D-1/2/4-85 et depose progressivement les produits=
=20
valides sur la zone d'acces CADC. Ils sont tous prets, avec aucun offset =
visible=20
de filtre a filtre (un tres leger offset a certaines extremites de D2, ma=
is=20
acceptable). Mireille et Mathias ont produit les diagrammes couleur-coule=
ur, les=20
comparaisons avec le SDSS et les cartes d'offset des  ZP.
- Le champ D3-85 est termine a 80%.  Concernant les stacks, il ne reste q=
ue le=20
probleme du D3-85-i dont l'astrometrie pose des difficultes. En depit des=
=20
investigations de Mireille, Emmanuel, Fred, Henry et Yannick, aucun diagn=
ostic=20
n'a encore permis  de comprendre pourquoi ce stack s'est singularise alor=
s que=20
l'ensemble des D3-25 et les autres D3-85(ugrz) semblent conformes.  Emman=
uel a=20
propose de renforcer le poids du catalogue externe pour forcer la solutio=
n. Les=20
tests de Fred montrent que ASTREF_WEIGHT=3D10 ne produit aucune ameliorat=
ion, mais=20
que ASTREF_WEIGHT=3D1000 est acceptable.  Fred a relance le stack du D3-8=
5-i et=20
l'on attend maintenant l'issue finale pour verifier que le stack est corr=
ect et=20
qu'il produit bien un ensemble homegene avec les D3-85-(ugrz). Pour D3 i =
85% il=20
y a 451 ldac. Mireille a fait tourner SCAMP pour chacun des 24 instrument=
s=20
(c.a.d. 24 QRUNID) afin de verifier si un groupe particulier ne presentai=
t pas=20
une anomalie qui aurait pollue l'astrometrie generale. Elle n'a rien trou=
ve=20
d'anormal et tous les graphes png sont corrects. Il y a certes une serie =
de 5=20
images ou il manque beaucoup de CCDs mais l'astrometrie est bonne. Elle a=
=20
relance scamp avec tous les ldac sauf les 5 cites precedemment *Emmanuel=20
demande: quel est le resultat?*.
- Il y a encore quelques diagrammes couleur-couleur a faire sur D4, voire=
 D3=20
avec le nouveau stack i, ainsi que des checks SDSS par Mathias. Si tout e=
st=20
conforme, T0004 sera termine lundi soir et il ne restera plus que le pack=
aging=20
et la mise en place au CADC. Dans ce cas, mix10 sera rendue a WIRCam mard=
i.
- Il reste une information importante a produire: les aires effectives de=
s=20
stacks.  Henry devrait pouvoir forunir cette info. Mireille devrait fourn=
ir un=20
short summary, comme pour T0003.  Yannick se charge des page web et de=20
"l'explanatory document".
- En parallele, l'interface CADC de la release T0004 se construit. Elle e=
st=20
visible sur=20
http://www1.cadc-ccda.hia-iha.nrc-cnrc.gc.ca/cadcbin/cfht/wdbi.cgi/cfht/t=
px_fields/query?release=3D0004=20
mais il NE FAUT PAS la diffuser encore car l'interface n'est pas terminee=
 et les=20
donnees qui sont visbles sont des data tests.  On *Emmanuel demande: peux=
-tu=20
preciser le "on"?* interagit pour en ameliorer l'ergonomie et le dialogue=
 avec=20
la base de donnees Terapix des stacks. Si tout va bien "on" aura une=20
videoconference mercredi prochain pour figer.
- La table T0004 des pages Terapix est en cours de production. Fred se ch=
arge de=20
la produire automatiquement a partir des champs dont nous avons besoin et=
 des=20
chemins d'acces aux donnees que Fred copie sur ftpix. Yannick et Fred, on=
t=20
convenu des champs de la table, qui sont ceux de T0003, mais les 199 cham=
ps=20
seront listes de facon a avoir le template pret pour T0005 (voir mail de =
Yannick).

MEGACAM P.I. (Yannick)
- 2 nouveaux programme PI pour lesquels Terapix est sollicite: 07AD85 (At=
teia:=20
GRB): urgent et 07AD89 (Rouan): follow-up du satellite COROT. Les deux so=
nt sur=20
du temps discretionnaire CFHT et le premier est meme une Opportunity Targ=
et.  En=20
general ces programmes ne sont pas tres faciles a gerer car OT signifie u=
rgence=20
et COROT signifie assez imprecis dans les besoins. Fred a recupere les da=
ta, il=20
reste a QFITs-er puis Mireille se chargera de la production. Pour Atteia,=
 il=20
semble qu'il faille associer ensemble les poses Very Wide: RA =3D  15h 57=
m 16s78,
DEC =3D -18=B0 50' 58"6, avec une serie d'images en g' qu'il faudrait sta=
cker:
797106, 797122, 797138, 797262, 797276, 797413 (CFHTLS Very Wide), une se=
rie=20
d'images en r' qu'il faudrait stacker: 850447, 850465, 850483, 850596 (CF=
HTLS=20
Very Wide, a priori l'objet tombe entre 2 CCDs), une serie d'images en i'=
 qu'il=20
faudrait stacker: 918735, 918736, 918737  (programme 07AD85, PI J-L Attei=
a), et=20
enfin une serie d'images en i', qu'il faudrait traiter individuellement p=
uisque=20
l'objet varie... 805535, 805552, 805569, 805570, 805642 (CFHTLS Very Wide=
)
Bref, c'est un peu complique; il faudra que Mireille, Fred et Yannick se =
voient=20
pour faire une synthese et verifier la faisabilite.


Systeme/ Hardware (Mathias, Fred, Chiara)
- Le pb du long SWarp sur mix10 etait finalement du a la procedure recurr=
ente=20
SMART "longue" que Fred n'avait retiree que sur mix9. *Emmanuel demande: =
Fred tu=20
confirmes bien que cette fois elle est retiree de toutes les machines?*.
- Fred a reduit la valeur du readahead (taille de buffer de 2048 a 512 bl=
ocks)=20
sur mix10 afin d'eviter de swapper durant les gros SWarp. *Emmanuel deman=
de:=20
serait-il judicieux de le faire sur toutes les machines en attendant une=20
amelioration de SWarp?*
- Mathias attend la reponse de Fred concernant l'achat de la machine PNPS=
.
- Chiara a installe le pipeline VIRCAM/VISTA sur mix9; pour l'instant tou=
t=20
semble bien s'etre installe mais elle n'arrive pas a executer les routine=
s. Elle=20
a du modifier un morceau de code pour que deux modules soient bien=20
interpretes... la portabilite n'est manifestement pas la priorite des aut=
eurs!

Developpement software (Chiara, Gregory, Emmanuel):
- Controle qualite automatique: Gregory est en cours d'implementation de =
sa=20
procedure d'identification des trainees de satellite. Un peu de temps a e=
te=20
perdu sur l'optimisation de la soustraction de fond de ciel (median trop =
lent);=20
pour le prototype du 20 il reposera probablement sur la soustraction de S=
Warp.
- Chiara a realise des mises-a-jour varieees sur les feuilles XSLT; en=20
particulier un rajout des messages d'erreur dans SCAMP et SWarp. A noter =
que la=20
facon dont sont gerees les erreurs dans les VOTables sera partiellement a=
 revoir=20
dans le contexte des web services.
- MissFITS et WeightWatcher: Chiara a corrige l'incompatibilite avec Fits=
Verify=20
du a un bug de la librairie FITS d'Emmanuel. Il s'agissait du fameux prob=
leme=20
des fichiers corrompus a cause de leur mauvais headers que Chiara avait r=
epere=20
pour la premiere fois dans WeightWatcher.
- Une nouvelle version de SWarp a ete releasee par Emmanuel. Elle corrige=
 de=20
nombreux bugs avec les projections autres que TAN. A noter que le fichier=
 XML=20
est desormais ecrit par defaut.
- SCAMP a ete rerelease officiellement (pour cause d'un petit bug dans la=
=20
feuille XSLT).
- Emmanuel a ajoute au paquetage SExtractor un petit utilitaire de=20
transformation des catalogues FITS_LDAC en ASCII: ldactoasc. Fred a const=
ate que=20
fichiers ASCII issus de la transformation par ldactoasc etaient legeremen=
t=20
differents de ceux ecrits directement par SExtractor (signes positifs abs=
ents,=20
exposants "E" majuscules au lieu de minuscules); malheureusement c'est un=
e=20
consequence inevitable du passage par le FITS et de la description des fo=
rmats=20
que ce dernier offre.
- Emmanuel poursuit ses ameliorations dans la mesure des parametres de fo=
rme des=20
galaxies par ajustement non-lineaire; il est confiant sur la possibilite =
d'avoir=20
le fit des profils de galaxies au point pour T05. Les premiers resultats =
seront=20
presentes a la reuion EFIGI fin juin. Attention cependant il faudra prevo=
ir 1 a=20
3 jours de calcul SExtractor sur chaque Deep: une exploitation massivemen=
t=20
parallele et flexible des machines du cluster est donc indispensable pour=
 que=20
ces nouvelles fonctionnalites soient utilisable dans le CFHTLS (on peut=20
envisager une quarantaine de SExtractor tournant simultanement car on n'e=
st plus=20
limite par les I/O)

Developpements T05 (Emmanuel, Fred, Chiara):
- Une reunion de preparation pour le developpement du nouveau pipeline a =
eu lieu=20
le 7 juin. Le compte-rendu est a=20
http://terapix.iap.fr/article_intranet.php?id_article=3D700 . 2 deadlines=
 ont ete=20
fixees: 20 juin pour le choix des outils de developpement et les champs d=
e la=20
base de donnees, et 1er juillet pour une configuration operationnelle de =
Condor=20
sur l'ensemble du cluster 64bits, et le design de la base de donnees.
- Chiara a envoye ses premieres suggestions pour la liste des champs de l=
a base=20
sur la teralist.
- Olivier Ricou est venu a l'IAP le 14 au matin et nous a fait un panoram=
a les=20
technologies envisageables pour une mise en web-service des outils TERAPI=
X,=20
depuis le simple systeme de distribution de jobs, jusqu'au veritable=20
grid-computing avec transmissions securisees, stockage reparti et redonda=
nt. Il=20
a ete decide dans un premier temps de se reposer sur une technologie simp=
le et=20
eprouvee a base du systeme Condor. Fred et Olivier ont installe dans la f=
oulee=20
Condor sur mix8 et mix9. Les premiers tests d'Olivier semblent indiquer q=
ue=20
Condor est capable de saturer la connection Gigabit pour transferer aux n=
oeuds=20
les donnees. Olivier investigue desormais les fonctionnalites de gestion =
du=20
stockage distribue au sein de Condor. Fred doit inclure au moins une troi=
sieme=20
machine 64bits dans le pool gere par Condor afin de poursuivre les tests =
sur les=20
transferts (via le noeud maitre ou pair-a-pair?). Des tests extensifs de=20
transfert via Condor avec plusieurs To d'images restent egalement a effec=
tuer=20
pour en eprouver la fiabilite.

Misc. (Yannick, Emmanuel, Mireille, Chiara)
- Un candidat sera interviewe par Yannick, Mireille et Emmanuel lundi mat=
in au=20
poste d'IE/AI CDD TERAPIX. Il est peut-etre un peu surqualifie (detenteur=
 d'un=20
master). *Emmanuel demande: Yannick, quand penses-tu envoyer le profil de=
 poste=20
a Nicole Blondin?*.
- Gregory a exprime le besoin d'acheter de la litterature concernant la p=
ratique=20
de l'UML *Emmanuel demande: Gregory, as-tu commande finalement?*.

Web (Chiara)
- Chiara a reamenage la section "PI data processing" et les TERAPIX FAQs =
*Chiara=20
demande: suite a cette modif le lien sur les FAQ TERAPIX a partir du mess=
age de=20
Henry n'est plus tout a fait correcte: est-ce possible de le modifier?*
- Le formulaire de feedback pour les PIs est toujours en cours d'elaborat=
ion par=20
Chiara.

WIRCAM (Chiara, Henry)
- Comparaison COSMOS vs. TERAPIX de Chiara et Henry:
-- Qualite de la photometrie par rapport a 2MASS: Chiara a l'impression q=
u'on ne=20
peut pas dire grand chose. En particulier, la carte de poids fausse du st=
ack=20
COSMOS ne permet pas une extraction de sources fiable.
-- Sigma background (calcule par qualityFITS/SExtractor): le sigma en ADU=
 est un=20
34% plus eleve dans le stack COSMOS que dans le stack TERAPIX.
  .-- Seeing. Les sorties XML du dernier PSFEx sont disponibles dans=20
file:///data/mix9/raid/marmo/wircam_PI/cosmos/subcoaddition/05bh36_terapi=
x_psfex.xml=20
et=20
file:///data/mix9/raid/marmo/wircam_PI/cosmos/subcoaddition/05bh36_ab_v3_=
psfex.xml=20
Le seeing du stack COSMOS est meilleure: ce n'est pas ce qu'on s'attend v=
u que=20
les cubes ont ete "collapses" avant surechantillonnage. Chiara aimerait=20
approfondir. *Chiara demande: Henry pourrais tu decrire ou et a quel seui=
l David=20
Thompson detecte les objest pour le deuxieme passe?*
-- Comparaisons des completudes: toujours en attente de Henry.
- La procedure de soustraction du background est disponible sur le SVN pr=
ive et=20
documentee a la page http://terapix.iap.fr/spip_redirect.php?id_article=3D=
701
*Chiara demande:commentaires?*
- Apres maintes peripeties, la documentation WIRCam est publiee sur le si=
te.
- La requete de traitement d'un nouveau RUNID de Bouvier, 07AF20, a ete p=
lace=20
dans la queue par Chiara.

Amicalement,
			Emmanuel.