Database Video Amateur

Tioga, Jean Brunet (region de Caen) et moi-même nous sommes en train de monter une database pour les videos issues du logiciel UFOCapture. Nous esperons qu'elle soit prête pour Noel!

Stéphane

Comment ca a matteur?!

Je précise ca sera une base de donnée des météores détectés en france

Voici la mienne, et sa courte histoire.

Au départ, je publiais les vidéos ré-encodées en flv, mais en format natif (640x480). La visualisation c-a-d le chargement de la séquence était hyper long ! Ensuite, avec les images et la vidéo redimensionnée, ça allait un peu mieux, mais bof, long quand même !

J'ai appris depuis, que du côté de chez Free.fr, il limitait volontairement la bande passante de tous fichiers vidéo avi, wmf, Flv etc. Ceci parait-il pour ne pas devenir un site de stockage !

En fait, effectivement, il faut mieux stocker ses vidéos sur un site fait pour. Par ex Youtube, ou plutôt PhotoBucket (1Go gratos) que j'utilise et qui marche très bien, et qui a priori offre un bon niveau de protection pour stocker des vidéos en privé. (Contrairement à Youtube et consort, qui souffre de failles de sécurité plutôt déplaisantes ! (Par ex:
http://googlexxl.blogspot.com/2007/08/afficher-une-video-privee-dans-youtube.html )

M'enfin bref, après avoir publié environ 300 vidéos (de mi juin à fin septembre) http://marcodechaligny.free.fr/page_astro/All_Sky_Cam_Result.html sur free.fr je trouvais que cela devenait un brin lourd et répétitif, en plus ça prenait un temps dingue ! Analyse avec UfoAnalyser, Redim photo, redim/réancode video, puis publi sur le ftp...
Je décidais début octobre de ne publier que les bolides ou autres phénomènes remarquables.

J'ai donc fait un petit script php qui permet de visualiser automatiquement la vignette jpg de l'acquisition avec son nom timestamp.
Il suffit plus que d'Uploader quotidiennement l'image.jpg

Résultat:
http://marcodechaligny.free.fr/page_astro/DB_AllSkyCam_Chaligny.html

C'est tout simple, mais si un visiteur constate une synchro horaire avec l'une de ses propres acquisitions, il pourra me demander la suite de fichiers.

Ce petit script est à disposition, si ça intéresse quelqu'un.

Sinon, pour cette base de données vidéo "générale", vous comptez vous héberger chez qui ?
Parce que c'est une super bonne idée, mais ça grimpe vite les centaines de Mo !

Bonjour,

La base vidéo sera alimentée par un programme que je termine en ce moment et que j'ai appelé PostUFO.

Sa fonction est de charger et de sélectionner les fichiers traités par UFOAnalyser et d'encoder les vidéos en flash flv. Et surtout, il va permettre d'envoyer directement dans la base les caractéristiques des météores avec leurs vidéos.
Il permet aussi de se connecter sur le site de l'IMO, sur notre base, d'échanger des mails avec nos détections pré-formatées, d'envoyer des rapports à Karl Antier.

Le problème du site n'est pas vraiment réglé pour l'instant, je pense que l'on va surtout roder PostUFO et terminer notre base, et ensuite nous consulter pour trouver une solution durable.

Il est vrai que l'occupation mémoire est importante mais on peut se limiter au plus spectaculaires, ou déporter les vidéos vers une autre structure comme tu en parlais.

Donc patience, pour Noël on fait le maximum.
Jean

je rebondis sur le sujet, bon, autant pour les beaux objets OK je vois l'interet d'une base vidéo, par contre pour les plus classiques ? j'ai du mal surtout vu la taille que ça risque de prendre assez rapidement.

Par contre mettre en ligne les données de trajectoire afin de faire des recoupements entre les divers stations de détection pour des triangulations éventuelles grâce à UFOrbit la ça aurait son utilité, en plus ce ne prend pas beaucoup de place les fichiers CSV.

Non ?

Tof

------------------------------

http://demeautis.christophe.free.fr

Bonjour,

Oui nous avons déjà évoqué cette idée, on peut le faire de deux façons.
Soit on envoie systématiquement les fichiers csv de chaque météore, et dans ce cas seuls quelques-un serviront, les autres ne feront qu'encombrer inutilement la base,
soit on envoie le fichier après coup si on constate après l'envoi du météore qu'il y a un "doublon", ce qui apparaîtra en couleur lors de l'édition de la base.
Inconvénient, le premier qui envoie le météore ne peut pas savoir qu'il sera détecté par un autre observateur.
Solution éventuelle, un système qui prévient par l'envoi d'un mail automatique les différents observateurs du météore.

Le logiciel PostUFO peut assurer l'envoi du fichier csv qui viendra alors s'insérer dans la base sous forme de lien pour l'utilisateur, ce qui lui permettra de télécharger le fichier.

Est-ce que cette solution te conviendrait ?

Jean

je pense plutôt que c'est 2 choses séparée, d'un coté une base vidéo pour les objets exceptionnelles (sinon bonjour la taille), de l'autre une base de donnée des mesures CSV qui gonfle au fur est à mesure que les observateurs envoient leurs propre fichiers (ce n'est que du texte, d'ici que ça fasse 4Mo il y a du boulot).
Ce n'est qu'avec les données CSV que l'on peut bosser, c'est comme ça que les observateurs japonais on découvert récemment 11 nouveaux essaims.

---------------------------------

http://demeautis.christophe.free.fr

Pour moi, ce n'est pas deux choses separés. Une base pour les deux choses cela vat trés bien. Au niveau du stockage, nous travaillons dessus: il y a plusieurs possibilité (nom de domaine hebergé chez soi, partage d'un disque dur en ftp, differente offre pas trop chere, partager un disque avec weezo, ...). Il faut juste avoir du temps pour les tester. En plus, les videos sont converties en flv ce qui allege la taille des fichier.
Au niveau du fichier cvs pour UFOOrbit, je pense que l'on parle de celui-la, il n'est pas du tout facile à maitriser!
Nous avons l'experience avec Tioga et Jean.
La station de Jean est trop proche de la mienne et UFOOrbit ne peut rien faire ni rien calculer. Pourtant nous avons des meteores en commun.
Avec la station de Tioga, il a fallu que l'on modifie les quelques secondes d'erreur entre nos deux stations pour pouvoir voir correspondre des meteores.
Le faite d'envoyer chaque fichier de chaque meteore nous permettra de voir s'il y a des correlations en integrant une marge d'erreur sur la date et heure de la detection. Impossible à faire pour l'instant avec UFOOrbit.

Avec PostUFO, il sera possible de le lancer en automatique (n'est ce pas Jean? ;-)) pour qu'il poste tout seul les derniere detection.

Oui, c'est bien de ce fichier que je parlais.
Clair que si la seconde station est trop proche ça ne marche pas et la mise à l'heure du PC est un point important mais c'est aussi la différence entre faire du tourisme et de la science
Il serait vraiment dommage de passer à cote de ça en tout cas vu le nombre de stations vidéo.

-------------------------------

http://demeautis.christophe.free.fr

Clair que si la seconde station est trop proche ça ne marche pas et la mise à l'heure du PC est un point important mais c'est aussi la différence entre faire du tourisme et de la science

Facile!

J'utilise Dimension 4 (synchronisation sur l'observatoire de Paris). J'ai fait des correlations entre differentes stations en France mais il y a toujours quelques secondes de differences...et cela suffit à qu'UFOOrbit ne trouve pas ces petits.

Il serait vraiment dommage de n'utiliser que le fichier pour UFOOrbit

warf
Bon pour Uforbit on peut toujours lui dire de regarder les corrélations plus loin que les 3 secondes par défaut, j'avais fait ça avec Tioga et sa station de Nancy, au début il avait fait la mise à l'heure à la main et on avait 13 secondes dans le chou.

Par contre je m'étonne énormément qu'avec un serveur NTP on a plus de 3 secondes de différences !??

------------------------

http://demeautis.christophe.free.fr

Hé oui!
Cela a été testé pour la détection Radio avec Laurent de Rennes. Nous avions environ 6 secondes de décalage alors que nous pointions sur le même serveur lors des essais.
Cela peut s'expliquer que le temps entre l'observatoire de Paris et l'endroit ou l'on se trouve n'est pas nul.

Pour UFOOrbit, cela veut dire que nous devons à chaque fois faire l'opération de vérification s'il y a un décalage. De plus il faut gérer les stations en UT et en LT...
J'ai fait des essais aussi avec Tioga et de cela nous a pris pas mal de temps pour "corriger" les temps et trajectoires de météore quand nous étions sur que c'était le même.

Cela peut-être une option pour la base, mais celle-ci ne se basera pas sur ce fichier. De même, même si aujourd'hui nous utilisons la suite UFOCapture, il faut que cette base reste ouverte à d'autre système/format/traitement et nous pourrions ajouter dans le future les données audio des météores.

Pour être plus pratique, la corrélation entre stations doit être faite de la base elle même et non pas de fichier type UFOOrbit.

En final, se serai que chaque stations puisse envoyer à la base de façon automatique les données d'un meteores en live (vidéo, radio, ...).

Bizarre cette histoire, va falloir que j'en parle aux spécialistes du temps.
C'est d'autant plus bizarre que j'utilise régulièrement la mise à l'heure via le net lors des occultations d'étoiles par des astéroïdes et mes mesures ne sont pas délirantes, elle sont bien corrélée

--------------------------------

http://demeautis.christophe.free.fr

Bonjour,

Le protocole NTP de communication est plutot complexe et malgré les corrections apportées il peut y avoir des erreurs. (voir wikipedia)

Il y a les horloges radiopilotées DCF77 et le GPS.

Je n'ai pas trouvé de mise à l'heure du PC par DCF77, si vous en voyez cela peut être intéressant mais cela ne concerne que l'europe.

Pour le GPS un amateur a écrit un programme en VB dont on peut voir le source.
http://www.vbfrance.com/codes/SYNCHRONISATION-HORLOGE-PC-AVEC-HORLOGE-GPS-VERSION_35708.aspx
Il est donc possible de le modifier selon notre application.

Les GPS en module USB se trouvent chez lextronic à 65.00€
http://www.lextronic.fr/R2520-recepteurs-gps.html

Il est livré avec un soft de controle de signal, mais pas de remise à l'heure me semble-t-il.
Le même si je ne me trompe pas à 29.00 € sur ebay
http://cgi.ebay.fr/GlobalSat-BU-353-USB-GPS-Receiver-SIRF-III-Waterproof_W0QQitemZ130348721777QQcategoryZ156955QQcmdZViewItemQQ_trksidZp4340.m263QQ_trkparmsZalgo%3DSI%26its%3DI%26itu%3DUCI%26otn%3D4%26ps%3D63

Sur ebay le dongle GPS
http://cgi.ebay.fr/GPS-Receiver-Dongle-Laptop-Phone-Mobile-PDA-USB-New_W0QQitemZ120499645244QQcategoryZ156955QQcmdZViewItemQQ_trksidZp4340.m263QQ_trkparmsZalgo%3DSI%26its%3DI%26itu%3DUCI%26otn%3D3%26ps%3D63

L'intérêt du GPS est d'être visible partout, alors que le DCF77 peut être soumis à des zones d'ombre radio (cas des montagnes par exemple)
Attention je n'ai pas testé ces GPS, mais vu leur prix cela ne revient pas cher.
Voilà donc quelques pistes à défricher.

Jean

En tout cas, effectivement, pour vérifier efficacement la précision horaire, rien ne vaut une horloge DCF et/ou un GPS.
Chez moi, il n'y a pas de décalage "visible" (c-a-d à la seconde) lors d'une mise à l'heure par SNTP par rapport à mes DCF ou au GPS.

J'avais, il y quelques années commandé chez Conrad un petit module DCF
( http://www.conrad.fr/platine_de_reception_dcf_p_18925_18931_213106_213107_FAS ) que je voulais brancher sur la RS232 pour décoder les trames avec un petit soft VB et ainsi mettre le PC automatiquement à l'heure avec une précision de l'ordre de quelques millisecondes. (C'était pour la synchro de mon détecteur de foudre avec le réseau "Lightning Radar project" http://users.edpnet.be/DanielV37/Detecteur3 )

Mais depuis, avec l'effondrement des prix de l'électronique, j'ai laissé tombé, et me suis intéressé au GPS et décodage des trames NMEA.
J'ai d'ailleurs, sur les mêmes bases (en VB6) que signalé par Jean, créé un petit soft adapté à cette petite antenne GPS USB pas chère (payée 40 balles au mois d'août dernier), que je recommande, c'est le GlobalSat BU-353 (Il me semble que Tioga a le même modèle)


Mon logiciel marche bien, mais était resté sous forme de "proto", (pas de sauvegarde des préférences, ni des paramètres (port Com, vitesse en Bds...)). Je m'en vais finaliser une V1.0, la compiler, et la rendre disponible, cela pourrait intéresser quelqu'un...

Pour les histoires de problème de réception des GO, (DCF est en 77,5 KHz), il y a aussi moyen de récupérer l'heure avec une assez bonne précision, par le décodage RDS de la FM (87-108 MHz), France Inter par exemple...
Pour les bricolos électronique:
http://ybphoto.free.fr/elec/rds/rds_fr.html
http://www.jacquet80.eu/blog/post/2009/09/Decodeur-RDS
http://www.elektor.fr/forum/forum/realisations-publiees-par-elektor/e-blocks/decodeur-rds.157929.lynkx
(Si besoin, j'ai TOUS les Elektor du N°1 au N°318(12/2004), puis quelques un en PDF depuis).

A oui j'ai le même récepteur GPS, mais c'est pour utiliser mon eeepc comme navigateur

Donc je vois que l'on parle du temps aussi dans ce post....
Apparemment Christophe, tu dis que la mise a jour par internet marche très bien.
Je vais la faire comme tu nous a proposé en changeant la cle de registre de windows, sur ma station de Nancy, et on verra lors de notre prochaine double détection.

www.boam.fr is born!

Voila une bonne nouvelle stephane. Tu peux nous donner la procédure pour la renseigner?

patrick sogorb a écrit:Voila une bonne nouvelle stephane. Tu peux nous donner la procédure pour la renseigner?

Pour l'instant elle n'est pas encore ouverte à tous car une gestion de user/password et la mise en page doivent être mise en place.

Donc je preciserai www.boam.fr is "almost" born (juste la page de garde est dipo....)

Stéphane

Ca y est! La base www.boam.fr est disponible.

Je vois qu'il y a une détection dont la date apparait d'une couleur différente.
La base à t-elle trouvée une double détection?
Quels sont les conditions pour que la base de données puisse identifier une double
détection?

Bonjour,

Les doubles détections sont détectées selon un écart de 8 secondes maximum.
C'est plutot large. Dans la pratique la date et l'heure sont identiques, mais nous avons tenu compte du fait que l'heure des PC peut être décalée.
Un changement de couleur signale une double détection avec la ligne située au dessus.

Pour poster dans la base, c'est assez simple. Il suffit de télécharger PostUFO depuis le site BOAM (poster dans la base), de le paramétrer (voir explications sur le site) et d'envoyer son inscription depuis le logiciel.
Une fois cela fait vous pourrez poster vos météores dans la base et peut-être constater des détections multiples, ce que je vous souhaite.

Jean

Pour poster dans la base, Jean a fait un tutoriel http://www.boam.fr/PostUFO/PostUFO.htm

Stéphane

Bonjour,

Une nouvelle version de PostUFO 1.8 est disponible en téléchargement sur le site (avec le tutorial)
http://www.boam.fr/PostUFO/PostUFO.htm

Elle envoi l'image plein format et le fichier A.xml de l'analyse de UFOAnalyser.

Deux petites icones à cliquer sont maintenant visibles dans la colonne Fichiers de BOAM. Il suffit de faire un clic gauche pour voir les fichiers ou un clic droit pour les télécharger.

Des nouveaux écrans pour la base BOAM sont à l'étude...

Jean