dataproxy Rangschikking & Samenvatting
- Naam uitgever:
- James Gardner, Stefan Urbanek and Rufus Pollock
dataproxy Tags
dataproxy Beschrijving
A (JSSP) Dataproxy Data Proxy is een Google App-Engine-applicatie voor proxying-gegevens naar JSON (JSSP) -formaat.transformatiemodules: voor elk resourcetype zou een module moeten zijn in transformatie / _transform.pyeach-module moet implementeren: * "Transformer (Flow, URL, query) ", moet een transformator subklasse retourneren * Transformator-subklasse met __init __ (Flow, URL, QUERY) Bestaande modules: * Transform / CSV_TransForm - CSV-bestanden * Transform / XLS_TRANSFORM - Excel XLS FilesRandom Opmerkingen: Mount PointMaximum Bestand SizeHTTP: // someProxy.example.org/mount_point?url=url_encoderedsheet=1range=a1:k3doc=noindent=4Format=jsonPresponse-indeling: header-url = http: //...file.xls optie = 'rij = 5ROW = 7ROW_RANGE = 10: 100000 : 5000 ', Response Blad =' Sheet 1 ', Data = , , ,] * Downloaden van de volledige spreadsheet * Downloading van een enkel vel (Toevoegen "Sheet = 1 "Aan de URL) * Een bereik downloaden in een enkel vel (Toevoegen" bereik = A1: K3 "aan de URL) * Een beperkte reeks rijen in het vel ( toevoegen "ROW = 5ROW = 7ROW_RANGE = 10: 100000: 5000" - Rowrange-indeling zou me een rij geven tussen 10 en 100000 elke 5000 rijen) Hurdles: * Sommige gegevenssets staan niet in op tekst gebaseerde indelingen => Houd ze niet aan In deze fase * Excel-spreadhseets hebben opmaak en verschillende types => Negeer het, draai alles in een tekenreeks * Sommige gegevenssets zijn enorm => Niet meer dan 100k van de gegevens - tot aan de gebruiker om deze te versmelten Nodig * We willen geen gegevensets opnieuw downloaden => Heb je een manier nodig om gegevens te cachen -> Opslag API * Sommige applicaties kunnen wild populair zijn en stam op het systeem -> Misschien zijn api-toetsen en tariefbeperking nodig Individuele apps / feeds kunnen worden uitgeschakeld. Hoe kunnen we API-sleutels lezen op data.gov.uk? Vereisten: · Python
dataproxy Gerelateerde software
