Message-ID: <469AAA58.90703@iap.fr>
Date: Mon, 16 Jul 2007 01:14:32 +0200
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Synthese des semaines du 09/07/2007 au 15/07/2007
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: quoted-printable
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici une synthese partielle et partiale des activites couvrant cette lon=
gue=20
periode du 09/07 au 15/07! Les infos concernant Fred et Henry ont gentime=
nt ete=20
fournies par Yannick.

Processing T0004 (Yannick, Fred, Henry)
- Fred a construit la table synoptique de T04 a partir de la base de donn=
ees=20
SPICA et d'autres ingredients (catalogues couleur-couleur de Mireille,=20
scamp.xml,...) et produit les plots couleur-couleur de "summary" en bas d=
e table.
- Yannick a mis en place la table T0004 construite par Fred: verification=
 des=20
liens (systematiques pour les D-25 et D-85, aleatoire pour 10% des wide) =
et des=20
securites d'acces vers le CADC (aleatoire sur 10%). Mise en acces publiqu=
e de la=20
table apres controle des acces par le CADC puis feu vert du DOG pour une=20
ouverture publique.
- Redaction des pages: Yannick a refondu l'explanatory table pour se conf=
ormer a=20
la table T0004, ajoute les Obs.Date des donnees de la bande u pour permet=
tre aux=20
utilisateurs de prendre en compte un offset lorsqu'aucune donnee commune =
avec le=20
SDSS ne permet de donner une estimation. La page d'entree a ete finalisee=
. Henry=20
a, au moins pour partie, relu les pages et corrige l'anglais; il a ajoute=
=20
mention du traitement astrometrique specifique subi par D3-85 i. Le messa=
ge=20
final etabli avec le DOG a ete envoye aux utilisateurs du CFHTLS.
- Les equations de transformation mag_CFHTLS - mag_SDSS ont ete analysees=
 par=20
Yannick. Les donnees fournies par Mathias semblent ok (voir mail de samed=
i),=20
mais il reste quatre points a voir:
1. le coefficient 0.214 de Mathias pourrait etre 0.241 , suite a une faut=
e de frappe
2. nous n'avons aucune reference sur l'origine de l'equation pour la band=
e u
3. pour le (g-r), une pente de 0.148 semble meilleure que celle proposee =
par=20
Mathias (0.158)
4. les coefficients inconsistant de Gwyn et ceux du CFHT meriteraient d'a=
lerter=20
le CFHT puis eventuellement Gwyn de facon a diffuser des informations un =
peu=20
plus homogenes et consistantes.
- Les catalogues LDAC ont ete deposes par Fred sur la zone d'acces du CAD=
C=20
mercredi 11 au soir.
- Catalogues ugriz: les catalogues ugriz ont ete construits par Fred. Il =
y en a=20
129: 4 D25, 4 D85, 121 Wide.  Ce sont des catalogues en ASCII qui contien=
nent=20
les informations suivantes: positions (x,y and ra,dec), un flag precisant=
 si=20
l'objet est dans une zone masquee, les mag. u,g,r,i,z et leur erreur (MAG=
_AUTO)=20
et le E(b-v). Depuis debut juillet nous en sommes a la troisieme requete =
par=20
email (les dernieres datent des 11 et 15 juillet) et la seconde par=20
VideoConference pour les rendre disponibles: aucune reponse a ce jour. La=
 mise a=20
disposition de ces catalogues avait ete discutee avec le CADC a Vancouver=
 en=20
janvier 2006, mais toujours pas de reponse, ni du CADC ni du DOG.
- Controle des catalogues ldac recuperes par le CADC.  Apparemment le com=
pte est=20
desormais bon (524 wide + 40 deep). Aucun controle supplementaire n'a ete=
 fait,=20
autre que la quantite et les identification wide/deep.

MEGACAM P.I. (Fred, Yannick):
- Donnees 06BF26 (Soucail): une nouvelle requete a ete envoyee a Kanoa et=
 au=20
CADC concernant la mise a dispostion pour Terapix de ces donnees. Apparem=
ment le=20
CFHT ne les a pas encore envoyees au CADC: en attente.

Developpement software (Chiara, Gregory, Emmanuel):
- Gregory a place sur SVN (partie privee) son prototype de detection de t=
rainees=20
de satellite (Detex).
- libVOTable: la version publique n'installait pas le header votable.h; C=
hiara=20
l'a modifiee (libVOTable avait ete mise sur SVN par Jean Christophe). Le=20
fonctionnement des fonctions de lecture des 'Fields' a ete verifie avec=20
Valgrind. Chiara a installe la librairie sur mix9 et mix10 a partir de la=
=20
distribution sur SVN. Elle a decide de l'utiliser parce que elle est tres=
=20
pratique pour la gestion en C des sorties XML des softs d'Emmanuel.
- WeightWatcher 1.8.5 a ete solidement teste par Jan Khonert et release=20
officiellement par Chiara.
- SWarp: Chiara a rajoute les details sur le niveau de saturation dans la=
=20
documentation. Emmanuel a mis a jour le code en vue d'une release officie=
lle=20
(correspondant a la version a utiliser pour T05), mais teste auparavant l=
a=20
correction d'un bug serieux rapporte sur le forum et qui concerne la gest=
ion des=20
  fichiers temporaire de memoire virtuelle pour les tres grandes images.

Developpements T05 (Emmanuel, Chiara, Gregory, Fred):
- Gregory a investigue les possibilites pour stocker des listes dans MySQ=
L. Il=20
semblerait au final (suggestion de Fred) que creer des tables soit la met=
hode la=20
plus simple *Emmanuel demande: outre un pb de "rangement" des tables, peu=
t-etre=20
faudrait-il faire le test de generer artificiellement un millier de table=
s et de=20
voir comment se comporte MySQL?*
- Gregory a ebauche les diagrammes de classe et de collaboration, et comm=
ence un=20
article sous SPIP concernant la modelisation UML du pipeline.
- Emmanuel a retire de SVN l'ancien repertoire "SPICA2" mis en place par =
Chiara=20
   au printemps dernier (mais rendu obsolete par le depart de Laurent) et=
 l'a=20
remplace par un repository devant accueillir les developpements du nouvea=
u pipeline.
- Chiara travaille toujours sur les tables stack et calibration=20
astro-photometrique (deadline lundi).
- Fred suggere de representer l'acces aux donnees dans la base par une si=
mple=20
URI (pas de notion de "jeu de donnees"), et de gerer d'eventuels changeme=
nts de=20
chemin/protocole par des modifications individuelles sur toutes les image=
s=20
concernees.
- Tests Condor: Chiara a decouvert le 11 juillet que Condor etait arrete =
sur=20
clix. Emmanuel l'a relance. Fred mentionne que Condor est desormais lance=
 a=20
automatiquement a chaque reboot sur toutes les machines.
- Chiara a realise des tests de lancement de PSFEx de mix10 en utilisant =
Condor=20
et a rencontre des problemes de deconnexion de la machine et generation d=
'erreur=20
("job died on signal 9"). Elle a pu observer qu'aucun des deux problemes =
ne se=20
manifeste si l'on demande que les jobs ne soient pas executes sur la mach=
ine qui=20
les lance. Olivier Ricou a pu reproduire le probleme, lundi apres-midi il=
 sera a=20
TERAPIX pour investiguer. A signaler une lenteur etonnante dans la distri=
bution=20
des jobs sur le cluster: Emmanuel a verifie que certains processeurs rest=
ent=20
consideres actifs par condor meme si aucun processus n'est en cours sur l=
e=20
processeur.
- Gregory a teste le support des classes geometriques de MySQL et resume =
ses=20
investigation par e-mail; les fonctions dont nous avons besoin fonctionne=
nt sous=20
la version 5.1.20-beta. Gregory a effectue ses tests sur sa machine perso=
=20
phpmyadmin ne permet pas ce type de manipulation pour le moment. Il reste=
 a=20
estimer les performances et a decider comment gerer au mieux les coordonn=
ees=20
spheriques (qui ne semblent pas explicitement prises en charge).

Systeme/hardware (Emmanuel, Chiara)
- Le bon de commande de la carte graphique d'Emmanuel (necessaire pour pi=
loter=20
l'ecran 30") n'etait en fait pas partie et a ete faxee par Sylvie vendred=
i matin.
- Super Mongo sur mix10: Chiara a installe le termcap. Chaque fois qu'on =
a une=20
nouvelle machine cette etape n'est pas faite (Chiara avait du faire la me=
me=20
chose sur mix9), *Chiara demande: je rajoute cette info sur la page=20
d'installation des softs, presente dans l'intranet?*
- Emmanuel a efface par erreur la table dbspica (mauvaise manip avec MySQ=
L=20
Workbench) et l'a restaure peu apres grace au dump de sauvegarde de la nu=
it=20
precedente. *Emmanuel demande: a ce propos, Fred n'etant pas present ce j=
our-la,=20
le pb des passwords root s'est repose, serait-il possible de refaire le p=
oint?*
- Chiara a demande l'installation des versions les plus recentes des logi=
ciels=20
TERAPIX. Mais plusieurs etant uniquement disponibles en version SVN, cela=
=20
redemande une "RPMisation" par Emmanuel (toujours en cours, en raison des=
=20
verifications pour que tout soit bien a jour, voir plus haut).

Web (Yannick, Henry, Chiara)
- Les tables synoptiques de T03 et T04 ont ete rendu completement publiqu=
es par=20
Henry et Yannick.
- Henry a stoppe les stats de Laurent sur ftpix, c'etait la facon la plus=
 facile=20
pour Chiara de verifier si les PIs avaient telecharge leur donnees. Elle =
a donc=20
modifie l'article http://terapix.iap.fr/article_intranet.php?id_article=3D=
500 en=20
signalant ou et comment chercher cette information.
- Chiara a ajoute une page
http://terapix.iap.fr/article_intranet.php?id_article=3D720 qui decrit, s=
uivant=20
les infos d'Emmanuel, comment recuperer les donnees d'une base perdue. Em=
manuel=20
l'a revue et corrigee.
- *Chiara en a profite pour poser a Fred et a toute autre personne rensei=
gnee=20
aussi, un certain nombre de questions qui n'ont pas eu de reponses: elle =
les=20
repose ici.
1) "la base MyBB du forum n'est pas mentionnee dans=20
http://terapix.iap.fr/article_intranet.php?id_article=3D676 mais elle est=
 bien=20
backupee elle aussi" (citation d'un mail d'Emmanuel): Ca serait utile de=20
rajouter cette information dans l'article.
2) Chiara a l'impression que les articles=20
http://terapix.iap.fr/article_intranet.php?id_article=3D602 et=20
http://terapix.iap.fr/article_intranet.php?id_article=3D603 sont redondan=
ts par=20
rapport a http://terapix.iap.fr/article_intranet.php?id_article=3D676. Ce=
 serait=20
utile de regrouper toutes les informations sur le backup dans le meme art=
icle et=20
de degager ce qui est en plus.
3) l'article http://terapix.iap.fr/article_intranet.php?id_article=3D424 =
(ToDoList=20
pour arr=EAter les baies d'entr=E9es) semble obsolete. Si c'est le cas, p=
ourrait-on=20
le degager?*

Misc (Henry)
- L'ANR "blanche" DESIR de J.-P.Kneib sur UltraVista a ete selectionnee. =
Les=20
details budgetaires ne sont pas encore connus.

WIRCAM (Chiara)
- comparaison stacks COSMOS et TERAPIX: les stacks et la comparaison ont =
ete=20
refaits (cette fois avec les memes images d'entree), les resultats sont r=
esumes=20
a la page http://terapix.iap.fr/article_intranet.php?id_article=3D714 . L=
a=20
difference de completude reste etonnament significative.
- Donnees Willott: la comparaison des stacks 'shallow' a fourni une evalu=
ation=20
de la nouvelle soustraction de fond-ciel (cote Chiara), et une evaluation=
 de la=20
nouvelle correction de crosstalk (cote Loic). Des traces de "sur-soustrac=
tion"=20
apparaissent clairement sur certains objets. *Emmanuel a la conviction qu=
e sur=20
les stacks profonds il n'y aura pas d'amelioration par rapport aux correc=
tions=20
precedentes.*

Amicalement,
			Emmanuel.