Willkommen, Gast
Benutzername: Passwort: Angemeldet bleiben:
  • Seite:
  • 1

THEMA:

Daten importieren 13 Mai 2010 17:19 #161332

  • Markus Brotschi
  • Markus Brotschis Avatar Autor
  • Offline
  • Administrator
  • Administrator
  • Beiträge: 6927
  • Dank erhalten: 47
Als ich weatherBoxx / Meteohub zum ersten Mal in Betrieb nahm, wurde mir gleich klar: Man muss unbedingt bestehende Daten importieren können. Das konnte man aber damals leider nicht. Auf meinen Wunsch hin hat Boris Pasternak innerhalb kürzester Zeit einen selbst bedienbaren Import realisiert.


Hier ein kurzer Bericht, wie man Daten von WsWin importiert. Auszug aus dem Meteohub-Forum:

Import von WSWIN-Dateien (experimentell):

Im Ordner "/home/meteohub" befindet sich eine auf dem Meteohub ausführbare Datei "wswinload", die eine WSWIN-Exportdatei (EXPMM_YY.CSV) in Meteohub Rohdaten umwandelt.

"wswinload" liest von stdin und gibt nach stdout aus, kann also als pipe verwendet werden.

Beispiel: "cat /data/export/EXP01_10.CSV | /home/meteohub/wswinload > raw-01-10" wandelt die Daten vom Januar 2010 der WSWIN Export-Datei ins Meteohub Rohdatenformat um und speichert diese in "raw-01-10".

Obigen Befehl kann man ausführen, in dem man sich mit "putty" auf der weatherBoxx anmeldet (IP der Box und anmelden mit "root" "meteohub"). Gleiches kann man auchm, wenn man eine USB-Tastatur und Minitor direkt an der weatherBoxx dran hat.

Anmerkung:
Da Meteohub Rohdaten mit UTC-Zeitstempeln versehen sind, enthält die Meteohub Rohdaten-Datei auch Daten mit Zeitstempeln des Vormonats oder Folgemonats. Wenn man die Rohdaten zur Verwendung in Meteohub in die Dateien "/data/weather/YYYYMM/raw" kopieren möchte, müssen die Daten entsprechend der Zeitstempel korrekt zugeschnitten werden. Dies ist manuell zu erledigen, Meteohub bietet dafür im Moment keinen Automatismus.


So weit so gut... die raw-01-10 konnte erstellt werden. Aber wie weiter? Oli, please help!

kusi

Bitte Anmelden um der Konversation beizutreten.

Daten importieren 13 Mai 2010 17:42 #161333

  • benz
  • benzs Avatar
  • Besucher
  • Besucher
Ich weiss jetzt gerade nicht, ob ich meine knapp 50MB-gross CSV-Datei für WSWIN umwandeln soll, damit ich sie von dort wieder umwandeln kann für die meteohub...

Ich verfolge das Thema aber intensiv und würde mich auf eine Lösung auch sehr freuen!

Gruss benz

PS: Einträge in diesem weatherBoxx-Forum werden unter "Neue Beiträge" nicht angezeigt...

Bitte Anmelden um der Konversation beizutreten.

Daten importieren 13 Mai 2010 20:08 #161335

  • Tobias Ferrari
  • Tobias Ferraris Avatar
  • Offline
  • Administrator
  • Administrator
  • Beiträge: 3267
  • Dank erhalten: 11
Hoi Bruno

PS: Einträge in diesem weatherBoxx-Forum werden unter "Neue Beiträge" nicht angezeigt...


Ist mir auch aufgefallen, habe ich nun aber behoben, danke für den Hinweis. :-)

Gruss
Tobias

Bitte Anmelden um der Konversation beizutreten.

Der Weise sagt nicht alles was er denkt, aber er denkt alles was er sagt.
www.wetterstation-wohlen.ch

Daten importieren 14 Mai 2010 10:41 #161346

  • Markus Brotschi
  • Markus Brotschis Avatar Autor
  • Offline
  • Administrator
  • Administrator
  • Beiträge: 6927
  • Dank erhalten: 47
Hallo ins Forum

Habe gestern eine kleine Anleitung geschrieben. Sie ist hier abrufbar >>

Danke an Bruno und Oli fürs Durchlesen.

Aktuell habe ich als Test das Jahr 2010 komplett aus WsWin importieren können. Nur der Regen stimmt noch nicht....

Grüsse

mbr

Bitte Anmelden um der Konversation beizutreten.

Daten importieren 14 Mai 2010 21:30 #161354

  • benz
  • benzs Avatar
  • Besucher
  • Besucher
Ich habe nun die Anleitung intensiv studiert und das Ganze probiert. Beim ersten Mal klappte es nicht. Die Dateien waren zwar in der weatherBoxx, meteohub konnte aber darauf keine Daten entnehmen.

Nach dem Nachtessen ging ich dann nochmal ran. Wieder das selbe Resultat! :rolleyes:

Also studierte ich die Anleitung noch ein wenig genauer. Und siehe da, die Anleitung auf Seite 7 (ganz unten) ist da ein wenig heimtückisch, denn wird ein wesentliches Detail meines Erachtens unübersichtlich dargestellt. Ich habe dies auf jeden Fall zweimal übersehen (Siehe Bild).
Ich habe die raw-Datei nicht angeguckt, sondern mich auf den blau markierten Ordner konzentriert. Die untere Hälfte habe ich gar nie gesehen... Also die Raw-Dateien mit dem Namen RAW-12-34 einfach in raw unbenennen!

Ich würde die Anleitung diesbezüglich ändern.

Aber sonst geht es tadellos.

meteoplug habe ich nicht getestet, weil ich diesen Service (noch) nicht brauche.

Gruss benz

Attached files

Bitte Anmelden um der Konversation beizutreten.

Daten importieren 14 Mai 2010 21:34 #161355

  • Markus Brotschi
  • Markus Brotschis Avatar Autor
  • Offline
  • Administrator
  • Administrator
  • Beiträge: 6927
  • Dank erhalten: 47
Salü Bruno

Cool dass es bei Dir geklappt hat.
Werde die Anleitung noch etwas verfeinern, danke für den Tipp.

Hat bei Dir der Regenimport korrekt geklappt?

http://www.meteohub.de/joomla/index.php?option=com_fireboard&Itemid=32&func=view&catid=8&id=&id=7758&catid=8

Grüsse

Kusi

Bitte Anmelden um der Konversation beizutreten.

Daten importieren 14 Mai 2010 21:37 #161356

  • benz
  • benzs Avatar
  • Besucher
  • Besucher
Nein, mit dem Regen stimmt definitiv was nicht... Die Regenmengen werden nicht kumuliert, sondern einfach neu angesetzt (ähnlich wie die Rainstorm-Funktion in der Vantage)...

Das müsste dann unbedingt mal korrigiert werden. Auf der Grafik siehst du:
blau = Regenmenge
rot = Regenrate

Das taugt so noch nicht... Aber wird schon! ;-)

Gruss benz

Attached files

Bitte Anmelden um der Konversation beizutreten.

Daten importieren 19 Mai 2010 19:36 #161461

  • Markus Brotschi
  • Markus Brotschis Avatar Autor
  • Offline
  • Administrator
  • Administrator
  • Beiträge: 6927
  • Dank erhalten: 47
Nach den neusten Erkenntnissen mit dem Import, komme ich immer wie mehr zum Ergebnis, dass es ein Programm "ausserhalb" meteohub geben sollte. Das dauernde Zusammenfügen, Reinkopieren in WeatherBoxx und dann wieder Rausnehmen und Korrigeiren und wieder Einbeamen, das ist irgendwie subotpimal.

Ich stelle mir das so vor:

- Directory mit den CSV-Exporten WsWin
- Umwandlungsprogramm auf PC starten
- Program erstellt die Monats-Ordnerstruktur mitsamt den RAW-files für meteohub/weatherBoxx
- in meteohub/weatherBoxx reinkopieren
- Im Menu die Neuberechnung starten
- Fertig

(Optional auch direkt für Daten aus meteoBase-Export)


Dabei sollte das Umwandlungsprogramm die Separierung der überlappenden 1 oder 2 Stunden Daten selber vornehmen (UTC/MEZ).

Wer könnte sowas programmieren?
Darf auch was kosten, denn für einige Kunden muss ich bis zu 8 Jahre Daten übernehmen ! :gruebel:

Grüsse unterdessen

Kusi

Bitte Anmelden um der Konversation beizutreten.

Daten importieren 19 Mai 2010 19:40 #161462

  • benz
  • benzs Avatar
  • Besucher
  • Besucher
Ja, dein Vorschlag hat was! Ich habe nun extra ein wenig abgewartet. Ich habe bei mir bisher das Jahr 2010 importiert. Aber ich bin mir noch nicht sicher, ob da alles stimmt. Momentan war ich auch mit meinem XML-Projekt vollstens ausgelastet. Jetzt kommt das Widget, dann die iPhone-Integration, dann WSWIN und dann...

Natürlich wäre ich aber einer solchen Lösung auch sehr interessiert! Ich selber habe aber keine zeitlichen Ressourcen, um mich in die Lösung dieses Problems reinknien zu können!

Ich bin aber sofort bereit, eine Lösung zu testen oder eine Manual durchzurackern!

Gruss benz

Bitte Anmelden um der Konversation beizutreten.

Daten importieren 19 Mai 2010 21:30 #161463

  • Oli
  • Olis Avatar
  • Besucher
  • Besucher
Hallo
ja frage an eriwan,,, hast du den ein export von Meteobase?????(
wenn ja denke ich das diese in Form von einer csv datei ist.
Mit dieser CSV könnte man vielleicht Borris (Meteohub) anfragen ob er ein import-progi macht. Ich denke das dies nicht so schwierig sein wird. Im gegensatz zu WsWin.

Ich habe jetzt auch noch gewartet mit dem restlichen Import, da zum Beispiel eben die Daten nicht ganz korrekt, auf jedenfall bei mir nicht ganz stimmen. Die Regengesamtmenge macht mir Kopfschmerzen, ich weiss nicht woher Meteohub die 100l mehr hat.

Ok grüsse
Oli ;-)

Bitte Anmelden um der Konversation beizutreten.

  • Seite:
  • 1
Moderatoren: Markus Brotschi
Ladezeit der Seite: 0.192 Sekunden
Zum Seitenanfang
JSN Boot template designed by JoomlaShine.com