Hackpads are smart collaborative documents. .

Christian Quest

9 days ago
Unfiled. Edited by Christian Quest 9 days ago
Un des nœuds diffuse l'intégralité des donnés, mais dès que les autres nœuds reçoivent une partie de ces données ils peuvent aussi les repartager avec leurs homologues.
La bande passante est donc répartie entre l'ensemble des nœuds au lieu d'être concentrée sur le diffuseur initial.
 
Il est ainsi possible de placer quelques nœuds BitTorrent sur plusieurs serveurs à bas coût situés sur des réseaux différents, ce qui accélère les transferts.
 
 * le serveur en question est un Scaleway C1, à base de processeur ARM, avec 2Go de RAM et 50Go de stockage (l'équivallent d'un smartphone)... le tout pour moins de 3 euros par mois ;)
Ajout du 14/3/2017:
Les transferts de fichiers étant de plus en plus problématique sur la ligne saturée de Météo-France, ceux-ci sont désormais vérifiés à l'aide de gdalinfo avant d'être mis en torrent et re-téléchargés si besoin jusqu'à ce qu'ils soient valides.
Pour faciliter l'automatisation du téléchargement, un flux RSS est aussi généré et remis à jour après chaque mise à disposition d'un nouveau fichier.
 
63 days ago
Unfiled. Edited by Christian Quest 63 days ago
Le bilan 2016 n'est pas meilleur que 2015. On a bien sûr une grosse vague au 1er janvier, mais des changements se sont poursuivis tout au long de l'année, à commencer le... 12 janvier 2016 !
 
Comme l'an passé, l'INSEE nous sortira un Code Officiel Géographique au mois de mars ou avril... et on ne peut pas leur jeter la pierre vu le manque d'organisation et l'anarchie qui règnent.
 
La source libre la plus complète reste aujourd'hui wikipédia, où ce travail de fourmis a été réalisé avec la collaboration de contributeurs OpenStreetMap. Du côté OpenStreetMap, les fusions de 2016 ont toutes été intégrées (et les découpages précédents conservés car ils restent utiles) et celles de 2017 sont désormais disponibles sur data.gouv.fr
 
75 days ago
Unfiled. Edited by Christian Quest 75 days ago
J'avais déjà géocodé ce fichier en préparation du hackathon opensirene qui s'était tenu le 15 novembre 2016, mais là c'est le grand jour, les données "du jour, à jour". Voici les principales étapes... (et les scripts sont sur github)
 
Une fois ce nettoyage fait (avec csvclean et csvcut de cskvit), on obtient un fichier CSV deux fois moins lourd (4.2Go au lieu de 8.5).
Pour paralléliser la suite des traitements, je le scinde aussi en un fichier par département (avec csvgrep) car vu la volumétrie il faut vraiment tirer au mieux parti de capacité de traitement parallèle des machines actuelles (dans mon cas une workstation bi-Xéon 6 coeurs, soit 24 coeurs en hyperthreading).
 
Si vous détectez des problèmes dans le géocodage, vous pouvez les signaler en ouvrant une "issue" sur github et n'hésitez pas aussi à proposer vos améliorations des scripts via des pull-requests et pourquoi pas des améliorations sur addok ou les données BAN, BANO, les POI... bref collaborons !
 
80 days ago
Unfiled. Edited by Christian Quest , Jean-Yvon 80 days ago
Christian Q Rendu OpenStreetMap "FR" v2017
Le fond de carte OpenStreetMap "à la française" maintenu par OpenStreetMap France vient d'être mis à jour dans sa livrée 2017. La dernière mise à jour datait de janvier 2016 !
Le style général est globalement conservé, c'est donc un ensemble de détails qui se sont accumulés au cours des derniers mois pour cette nouvelle mouture.
 
Voici les principales nouveautés résumées, le détail se trouve dans les commit de la feuille de style sur github.
Sur le plan technique, mapnik 2.x a aussi été remplacé par mapnik 3.0 qui apporte de nombreuses améliorations et la feuille de style principale est désormais au format YAML plus lisible et facile à maintenir que son équivalent JSON. Il a été produit à l'aide de Kosmtik. C'est toujours postgres/postgis avec une base au schéma osm2pgsql qui est utilisée pour générer les tuiles.
Mais assez pour la technique, passons au résultat !
 
Limites administratives
Elles sont plus lisibles, la précédente version superposait les différentes limites des niveaux administratifs, désormais c'est un unique pointillé différent qui est utilisé pour chaque niveau administratif ce qui est visuellement nettement plus propre et lisible.
Les noms bordant les limites sont aussi limités uniquement au découpage administratif, et incluent (pour la France) le type de limite (région, département, arrondissement).
 
Sur les côtes, ces limites sont supprimées jusqu'au zoom 11 pour plus de lisibilité.
 
 
Toponymes administratifs
Le placement des noms de villes, villages, hameaux, maisons isolées, fermes, lieux-dits a été grandement revu.
Aux premiers niveaux de zoom, il est mieux tenu compte de l'importance des villes, par la prise en compte de leur population.
 
Sur les zooms suivants, les noms des communes (noirs) sont complétés par les lieux-dits habités (gris), puis les autres lieux-dits.
 
Cours d'eau
Leur nom varie en taille en fonction de la classe de navigation (CEMT). Ils sont en gras lorsque le tronçon est navigable.
 
Zones côtières
Les zones découvertes par les marées sont désormais visibles avec différenciation des zones sableuses, rocheuses ou vaseuses (voir le tag tidal=* ). Les zones marécageuses ont aussi droit à un nouveau rendu.
 
 
Types de forêts
La trame change désormais avec le type d'arbres majoritaires (feuillus, résineux ou mixtes voir le tag leaf_type=* ).
 
Libellés de taille et couleur variable pour les grandes étendues
Ceci permet de mieux rendre visible les forêts, les parc, les zones d'activités (industrielles, commerciales, etc).
 
Icônes mises à jour
De nombreuses nouvelles icônes ont été reprises du style international (police, pompiers, fontaines, bornes de recharges électriques, différents commerces, etc).
 
Désormais visibles...
Les maisons de retraites, foyers, salles des fêtes, bâtiments publics sont désormais différenciés.
 
Désormais moins visibles...
Les commerces et autres objets en sous-sol (données "indoor") sont maintenant estompés en fonction des tag level et indoor.
 
Abréviations 
De nombreuses abréviations automatiques ont été ajoutées pour gagner de la place et permettre à la fois d'alléger le rendu et d'avoir plus d'informations utiles visibles.
C'est particulièrement visible sur les établissements scolaires.
 
Et plus...
  • les arrêts de bus proches sont désormais regroupés en un seul point.
  • les flèches de sens unique ne sont plus rendues sur les rond-points qu'à partir du zoom 17
et plein d'autres petits changements à découvrir !
 
N'hésitez pas si besoin à signaler des problèmes sur le projet github .
 
121 days ago
Unfiled. Edited by Christian Quest 121 days ago
Christian Q Quand la multitude bouche les trous...
Depuis le 15 Novembre 2016, le "Portail Officiel de la liste publique des organismes de formation" ne répond plus vraiment...
 
Revenez en mars 2017... et en attendant allez faire un tour sur data.gouv.fr
 
Premier problème
La liste en question n'était pas sur data.gouv.fr car le Ministère avait semble-t-il oublié de la publier.
Elle est désormais disponible sous forme d'un fichier Excel (format propriétaire donc et non conforme au RGI, le Référentiel Général d'Interropérabilité , que l'administration est tenue de respecter*... mais ne respecte pas souvent).
J'ai donc remis les données en CSV en ressource communautaire.
 
Deuxième problème
Un fichier Excel de 90000 lignes à la place d'un formulaire de recherche (par nom, numéro, etc).
 
Voilà à quoi il ressemblait (merci Internet Archive  ):
 
Comment dire ? Lamentable ? oui, je crois sincèrement
 
Une ébauche de solution
Donc pour les 5 mois à venir, voici une petite brique sous forme d'une API de recherche , il ne reste plus qu'à faire un peu d'interface, ce qui ne saurait tarder...
 
Cette API s'appuie sur le moteur de géocodage addok, les scripts de mise en forme des données sont sur github.
 
 * Il détermine notamment les répertoires de données, les normes et les standards qui doivent être utilisés par les autorités administratives. (Ordonnance à lire sur Légifrance )
 
 
173 days ago
Unfiled. Edited by Christian Quest 173 days ago
  • Août 2016: amélioration de l'interface de crowdsourcing, amélioration des uploads vers OpenStreetMap et utilisation du réseau de neurone pour compléter le crowdsourcing
Christian Q
  • Septembre 2016: calcule de l'orientation du toit de 1.4 million de bâtiments par réseau de neurone... et présentation au "State Of The Map" à Bruxelles.
 
311 days ago
Unfiled. Edited by Christian Quest 311 days ago
Pour plus d'info, contacter: christian.quest+oedb@gmail.com
 
 
Dernière avancée:
  • le premier prototype d'API est opérationnel !
 
Le concept
 
Aucun projet à l'heure actuelle ne propose de mettre en commun ce type de données. OpenStreetMap répond à quoi et , mais pas à quand et n'a pas vocation ni à collecter des données "temps-réel", ni à collecter des données historiques.
 
Le projet OpenEventDatabase tente de combler ce manque en proposant une base de données géo-temporelles pour échanger des informations de type "quoi / où / quand" de tout type.
 
  • un retard de train qui aura des conséquences sur d'autres événements liés (correspondances affectées).
 
  • type d'événement: type=*
  • scheduled : planifié (horaires de spectacles, de transports, travaux, chantiers)
  • unscheduled : accident, bouchon, retard/avance, etc
  • forecast : probabilité issu d'une prévision (modèle météo, récurrence d'événements passés)
  • observed : une mesure météo...
  • autre ?
  • famille d'événement: what=*
 
  • géométrie: geojson
  • lien avec OSM (where_osm) -> non stable 
  • lien avec wikipédia (where_wikipedia)
  • lien avec wikidata (where_wikidata)
  • autre liens ?
 
Quand: composante temporelle au format ISO8601
 
  • identifiant unique (uuid) attribué par l'API
  • timestamp de création et de dernière mise à jour de la donnée (qui sert aussi au versionning) gérés par l'API
  • source de la donnée (source par défaut et/ou source sur chaque attribut)
  • licence de la donnée (licence par défaut et/ou sur chaque attribut) la base peut collecter des données sous différentes licences ?)
 
 
  • de rechercher des évènements par combinaison de what/where/when
 
Les résultats de recherche pourront être proposés sous forme geojson (FeatureCollection) de flux RSS ou iCal.
 
  • type=scheduled
  • when=2014-01-19T13:50+0100
  • where_osm=node:1428007260
  • what_name=Le Loup de Wall Street
  • where_name=Max Linder Panorama
  • wikipedia_what=fr:Le Loup de Wall Street
  • wikipedia_where=fr:Max Linder Panorama
 
Un départ de TGV
  • type=scheduled
  • what=public_transport.train.departure
  • when=2014-01-19T06:23+0100
  • where_name=Paris-Gare de Lyon
  • where_uic_ref=8768600
  • what_operator=SNCF
  • what_ref=TGV6701
  • source=SNCF
  • source_where_wkt=OpenStreetMap
  • licence_where_wkt=ODbL/1.0
 
Un bouchon
  • type=unscheduled
  • what=traffic.jam
  • when=2014-01-19 16:40
  • where_osm=way:68613064
  • where_name=A4 direction Paris
  • source_where= OpenStreetMap
  • licence_where=ODbL/1.0
 
Une alerte météo de vigilance orange pluie sur un département
  • type=forecast
  • what=weather.warning.rain
  • start=2014-01-19T19:00+01:00
  • stop=2014-01-20T06:00+01:00
  • where_name=Var
  • where_osm=relation:7390
 
Les formats d'échange pourront s'appuyer sur: GeoJSON, XML ou autre.
 

Contact Support



Please check out our How-to Guide and FAQ first to see if your question is already answered! :)

If you have a feature request, please add it to this pad. Thanks!


Log in / Sign up