Stage-oe-small.jpg

LSDMA: Unterschied zwischen den Versionen

Aus Aifbportal
Wechseln zu:Navigation, Suche
 
(26 dazwischenliegende Versionen von 3 Benutzern werden nicht angezeigt)
Zeile 3: Zeile 3:
 
|Name=Large-Scale Data Management and Analysis
 
|Name=Large-Scale Data Management and Analysis
 
|Name EN=Large-Scale Data Management and Analysis
 
|Name EN=Large-Scale Data Management and Analysis
|Beschreibung DE=Im Rahmen des Programms „Wissenschaftliches Rechnen“ wurden 2009 erste Schritte im Hinblick auf eine Large Scale Data Facility (LSDF)  eingeleitet. Mit einer initialen Investition wurde eine prototypische Datenspeicherung aufgebaut und darin erste Daten vom Institut für Toxikologie und Genetik abgelegt. Das Arbeitsgebiet Large-Scale Data Management & Analysis wird in den nächsten Jahren einen Schwerpunkt der wissenschaftlichen Arbeiten im SCC bilden. Dafür ist die LSDF auch im Hinblick auf Data Intensiv Computing  und Datenanalyse, beides beinhaltet Schwerpunkte der Arbeiten in den neu gegründeten Simulation Labs des SCC, die ideale Plattform.
+
|Beschreibung DE=</p><p>Im Rahmen des Programms „Wissenschaftliches Rechnen“ wurden 2009 erste Schritte im Hinblick auf eine Large Scale Data Facility (LSDF)  eingeleitet. Mit einer initialen Investition wurde eine prototypische Datenspeicherung aufgebaut und darin erste Daten vom Institut für Toxikologie und Genetik abgelegt. Das Arbeitsgebiet Large-Scale Data Management & Analysis wird in den nächsten Jahren einen Schwerpunkt der wissenschaftlichen Arbeiten im SCC bilden. Dafür ist die LSDF auch im Hinblick auf Data Intensive Computing  und Datenanalyse, beides beinhaltet Schwerpunkte der Arbeiten in den neu gegründeten Simulation Labs des SCC, die ideale Plattform.
<br/><br/>
+
</p><p>
Im KIT haben die Institute ITG, ANKA, IMK und IMF dringenden Bedarf an Speicherung und Management von großen Datenmengen angemeldet. Zur Bearbeitung der wissenschaftlichen Themen besteht eine enge Zusammenarbeit mit den Instituten IPE und IAI, sowie mit Industriepartnern. Dabei sind die folgenden Themen hautsächlich im Fokus:
+
Im KIT haben die Institute ITG, ANKA, IMK und IMF dringenden Bedarf an Speicherung und Management von großen Datenmengen angemeldet. Zur Bearbeitung der wissenschaftlichen Themen besteht eine enge Zusammenarbeit mit den Instituten IPE und IAI, sowie mit Industriepartnern. Dabei sind die folgenden Themen hautsächlich im Fokus:</p>
<br/><br/>
+
* Langzeitarchivierung und Integrität
    Langzeitarchivierung und Integrität
+
* Effektive Übertragung und Verwaltung von Milliarden  von Files (unified namespace)
</br></br>
+
* Information Life Cycle der Daten
    Effektive Übertragung und Verwaltung von Milliarden  von Files (unified namespace)
+
* Performanter Transport zwischen den Storage Klassen  (autom. Workflows)
<br/>
+
* Entwicklung von Schnittstellen zur LSDF und Anzeige der Datenstrukturen im Browser
    Information Life Cycle der Daten
+
* Datenanalyse und Entwicklung von Datenanalyse Tools, effektive Bildverarbeitung
<br/>
+
* Entwicklung von Methoden und Werkzeugen im Hinblick auf Data Intensive Computing
    Performanter Transport zwischen den Storage Klassen  (autom. Workflows)
+
<p>
<br/>
 
    Entwicklung von Schnittstellen zur LSDF und Anzeige der Datenstrukturen im Browser
 
<br/>
 
    Datenanalyse und Entwicklung von Datenanalyse Tools, effektive Bildverarbeitung
 
<br/>
 
    Entwicklung von Methoden und Werkzeugen im Hinblick auf Data Intensiv Computing
 
<br/>
 
 
Außerhalb des KIT  besteht eine Kooperation mit Bioquant an der Universität Heidelberg. Im Rahmen dieser Kooperation erhält das SCC eine Förderung vom MWK in Stuttgart in einer Größenordnung von 6 PB Plattenspeicher (2010 -2012), der auch zur Datenspeicherung für die Baden Württembergischen Hochschulen (Landeskonzept) zur Verfügung gestellt werden wird.  Die LSDF im SCC soll innerhalb der HGF zu einer von allen Forschungseinrichtungen universell nutzbaren zentralen Ressource zur Datenspeicherung ausgebaut werden.
 
Außerhalb des KIT  besteht eine Kooperation mit Bioquant an der Universität Heidelberg. Im Rahmen dieser Kooperation erhält das SCC eine Förderung vom MWK in Stuttgart in einer Größenordnung von 6 PB Plattenspeicher (2010 -2012), der auch zur Datenspeicherung für die Baden Württembergischen Hochschulen (Landeskonzept) zur Verfügung gestellt werden wird.  Die LSDF im SCC soll innerhalb der HGF zu einer von allen Forschungseinrichtungen universell nutzbaren zentralen Ressource zur Datenspeicherung ausgebaut werden.
<br/>
+
 
 
(Quelle: http://www.scc.kit.edu/forschung/lsdf.php)
 
(Quelle: http://www.scc.kit.edu/forschung/lsdf.php)
|Beschreibung EN=Large-Scale Data Management and Analysis within the scope of the program „ Scientific Computing “ were initiated in 2009 with first steps in view of a Large Scale Data Facility (LSDF). With an initial investment a prototyp data storage was built up and in it the first data was filed by the institute of Toxicology and Genetics. The preocupation with Large-Scale Data Management and Analysis will imply a main focus of the scientific works in the SCC during the next years. In view of Data Intensiv Computing and Data Analysis, which are key aspects of activity for the new founded Simulation Labs the LSDF is the ideal platform for research and development.
+
|Beschreibung EN=</p><p>Large-Scale Data Management and Analysis within the scope of the program „ Scientific Computing “ were initiated in 2009 with first steps in view of a Large Scale Data Facility (LSDF). With an initial investment a prototyp data storage was built up and in it the first data was filed by the institute of Toxicology and Genetics. The preocupation with Large-Scale Data Management and Analysis will imply a main focus of the scientific works in the SCC during the next years. In view of Data Intensiv Computing and Data Analysis, which are key aspects of activity for the new founded Simulation Labs the LSDF is the ideal platform for research and development.
 
+
</p><p>
In KIT the institutes ITG, ANKA, IMK and IMF have announced an urgent request for storage and management of big data amounts. For the treatment of the scientific questions a close collaboration with the institutes IPE and IAI, as well as with industrial partners excists.
+
In KIT the institutes ITG, ANKA, IMK and IMF have announced an urgent request for storage and management of big data amounts. For the treatment of the scientific questions a close collaboration with the institutes IPE and IAI, as well as with industrial partners exists.
 
 
The following subjects are on the main research focus:
 
 
 
    Long term archiving and integrity
 
 
 
    Effective transfer and management of milliards of files (unified namespace)
 
 
 
    Information Life Cycle of data
 
 
 
    High capacity transport between storage classes (autom. workflow)
 
 
 
    Development of interfaces to the LSDF and display of data structures in the browser
 
 
 
    Data analysis and development of data analysis tools, efficient picture processing
 
 
 
    Development of methods and tools related to Data Intensiv Computing
 
  
Beyond the focus of KIT Institutes there excists a cooperation with Bioquant at the University of Heidelberg. Within the scope of this cooperation the SCC received promotion of the MWK in Stuttgart in a scale of 6 PB disc storage (in 2010-2012) which will be also made available for the colleges of Baden-Wuerttemberg (State Concept). The LSDF in the SCC should be developed within the HGF to a central storage resource universally usable from all research facilities.  
+
The following subjects are on the main research focus:</p>
 +
* Long term archiving and integrity
 +
* Effective transfer and management of milliards of files (unified namespace)
 +
* Information Life Cycle of data
 +
* High capacity transport between storage classes (autom. workflow)
 +
* Development of interfaces to the LSDF and display of data structures in the browser
 +
* Data analysis and development of data analysis tools, efficient picture processing
 +
* Development of methods and tools related to Data Intensiv Computing
 +
<p>
 +
Beyond the focus of KIT Institutes there exists a cooperation with Bioquant at the University of Heidelberg. Within the scope of this cooperation the SCC received promotion of the MWK in Stuttgart in a scale of 6 PB disc storage (in 2010-2012) which will be also made available for the colleges of Baden-Wuerttemberg (State Concept). The LSDF in the SCC should be developed within the HGF to a central storage resource universally usable from all research facilities.  
  
 
(Quelle: http://www.scc.kit.edu/forschung/7113.php)
 
(Quelle: http://www.scc.kit.edu/forschung/7113.php)
 
|Kontaktperson=Fabian Rigoll
 
|Kontaktperson=Fabian Rigoll
|Projektstatus=aktiv
+
|URL=http://www.helmholtz-lsdma.de/
|Person=Fabian Rigoll,
+
|Start=2012/01/01
 +
|Ende=2016/12/31
 +
|Projektstatus=abgeschlossen
 +
|Logo=LSDMA Logo.png
 +
|Person=Fabian Rigoll, Hartmut Schmeck,
 
|Forschungsgruppe=Effiziente Algorithmen
 
|Forschungsgruppe=Effiziente Algorithmen
 +
}}
 +
{{Forschungsgebiet Auswahl
 +
|Forschungsgebiet=Energieinformatik
 
}}
 
}}

Aktuelle Version vom 18. April 2017, 12:43 Uhr

LSDMA Logo.png

Large-Scale Data Management and Analysis


Kontaktperson: Fabian Rigoll

http://www.helmholtz-lsdma.de/



Projektstatus: abgeschlossen


Beschreibung

Im Rahmen des Programms „Wissenschaftliches Rechnen“ wurden 2009 erste Schritte im Hinblick auf eine Large Scale Data Facility (LSDF) eingeleitet. Mit einer initialen Investition wurde eine prototypische Datenspeicherung aufgebaut und darin erste Daten vom Institut für Toxikologie und Genetik abgelegt. Das Arbeitsgebiet Large-Scale Data Management & Analysis wird in den nächsten Jahren einen Schwerpunkt der wissenschaftlichen Arbeiten im SCC bilden. Dafür ist die LSDF auch im Hinblick auf Data Intensive Computing und Datenanalyse, beides beinhaltet Schwerpunkte der Arbeiten in den neu gegründeten Simulation Labs des SCC, die ideale Plattform.

Im KIT haben die Institute ITG, ANKA, IMK und IMF dringenden Bedarf an Speicherung und Management von großen Datenmengen angemeldet. Zur Bearbeitung der wissenschaftlichen Themen besteht eine enge Zusammenarbeit mit den Instituten IPE und IAI, sowie mit Industriepartnern. Dabei sind die folgenden Themen hautsächlich im Fokus:

  • Langzeitarchivierung und Integrität
  • Effektive Übertragung und Verwaltung von Milliarden von Files (unified namespace)
  • Information Life Cycle der Daten
  • Performanter Transport zwischen den Storage Klassen (autom. Workflows)
  • Entwicklung von Schnittstellen zur LSDF und Anzeige der Datenstrukturen im Browser
  • Datenanalyse und Entwicklung von Datenanalyse Tools, effektive Bildverarbeitung
  • Entwicklung von Methoden und Werkzeugen im Hinblick auf Data Intensive Computing

Außerhalb des KIT besteht eine Kooperation mit Bioquant an der Universität Heidelberg. Im Rahmen dieser Kooperation erhält das SCC eine Förderung vom MWK in Stuttgart in einer Größenordnung von 6 PB Plattenspeicher (2010 -2012), der auch zur Datenspeicherung für die Baden Württembergischen Hochschulen (Landeskonzept) zur Verfügung gestellt werden wird. Die LSDF im SCC soll innerhalb der HGF zu einer von allen Forschungseinrichtungen universell nutzbaren zentralen Ressource zur Datenspeicherung ausgebaut werden. (Quelle: http://www.scc.kit.edu/forschung/lsdf.php)


Involvierte Personen
Fabian RigollHartmut Schmeck


Informationen

von: 1 Januar 2012
bis: 31 Dezember 2016


Forschungsgruppe

Effiziente Algorithmen


Forschungsgebiet

LSDMA (Energieinformatik)



Tools

Energy Smart Home Lab



Publikationen zum Projekt
 - book
 - booklet
 - proceedings
 - phdthesis
 - techreport
 - deliverable
 - manual
 - misc
 - unpublished






article
Christopher J, M Gasthuber, A Giesler, M Hardt, J Meyer, A Prabhune, Fabian Rigoll, K Schwarz, A Streit
Progress in Multi-Disciplinary Data Life Cycle Management
Journal of Physics: Conference Series, 664, (3), Seiten 032018, 2015
(Details)


↑ top

inproceedings
Christopher Jung, Sören Fleischer, Martin Gasthuber, Andre Giesler, Marcus Hardt, Jörg Meyer, Fabian Rigoll, Rainer Stotzka, Max Fischer, Achim Streit
Advancing data management and analysis in different scientific disciplines
Proceedings of CHEP 2016, Proceedings of CHEP 2016, Oktober, 2016
(Details)


Christopher Jung, M. Gasthuber, A. Giesler, M. Hardt, J. Meyer, Fabian Rigoll, K. Schwarz, R. Stotzka, A. Streit
Optimization of data life cycles
Int. Conf. on Computing in High Energy and Nuclear Physics, 2013, Journal of Physics: Conference Series
(Details)


↑ top

incollection
Fabian Rigoll, Hartmut Schmeck
A Concept for a User-oriented Energy Data Management System
In Christopher Jung, Jörg Meyer, Achim Streit, Helmholtz portfolio theme large-scale data management and analysis (LSDMA), Seiten 23-39, KIT Scientific Publishing, Karlsruhe, 2017
(Details)


↑ top