Creeaza.com - informatii profesionale despre


Cunostinta va deschide lumea intelepciunii - Referate profesionale unice
Acasa » referate » informatica
Subsistem Data Warehouse (incluzand suport decizional si Business Intelligence)

Subsistem Data Warehouse (incluzand suport decizional si Business Intelligence)


Subsistem Data Warehouse (incluzand suport decizional si Business Intelligence)


Obiective


Subsistemul data warehouse ofera un mediu solid de stocare, agregare si analiza a datelor operationale colectate din diverse module ale SIM. Subsistemul trebuie sa poata oferi, prin prisma analizelor datelor, perspective coerente si modalitati de previzionare a situatiei factorilor de mediu, a factorilor financiari, bugetari sau economici. Modelarea avansata a datelor in structuri multidimensionale si capacitatile de vizualizare si cautare in aceste structuri fac din subsistemul datawarehouse un element cheie in analiza informatiilor din sistemul SIM. Data mining este un concept foarte eficient folosit pentru cautare si predictie in sisteme de tipul datawarehouse. Ofertantul trebuie sa prezinte solutii de data mining pentru a obtine informatiile necesare identificate in etapa de analiza a proiectului. Avand in vedere ca solutiile de data mining sunt in general sisteme la cheie, ofertantul se obliga sa adapteze si sa configureze solutia propusa la nevoile beneficiarului, adica sa creeze structurile de date in care sa se poata efectua operatiile de data mining.




Cerinte generale Un sistem performant de data-warehouse trebuie sa adreseze urmatoarele aspecte:

*     Vizualizarea datelor de o maniera simplificata si integrata

*     Consolidarea datelor

*     Vizualizarea si analiza eficienta a datelor

*     Apropierea de specificul datelor organizatiei ANPM

*     Suport pentru lucrul cu datele din baza in timp real.


Ca surse de date, sistemul Data warehouse va integra informatii din toate modulele sistemului. Datele economico-financiare vor fi luate din bazele de date ale aplicatiei ERP, datele de mediu vor fi extrase din bazele de date ale aplicatiilor specifice de mediu sau de monitorizare. Ca modalitati de afisare a datelor, sistemul data warehouse trebuie sa permita afisarea datelor sub forma geospatiala, folosind subsistemul GIS ca suport pentru harti. Informatiile vor fi astfel combinate cu informatii GIS oferind o perspectiva clara asupra indicatorilor in context geografic. Subsistemul Data warehouse, va fi un depozit central comun tuturor aplicatiilor. Prelucrarea datelor inainte de introducerea in sistem se va face cu mecanisme specializate ale aplicatiei de transfer de date.

Specificatii functionale:

Subsistemul trebuie sa permita stocarea de informatii privind :

*     datele administrative

*     datele operationale

*     datele statistice


Legislatia orizontala


o      integrare si centralizare a informatiilor din aplicatiile ce contin date pentru rapoartele sectoriale

o      rapoarte cu informatiile privind mediul detinute de autoritati

o      rapoarte de monitorizare a indeplinirii masurilor impuse prin actele de reglementare

o      centralizarea la nivel national a cazurilor de prevenire si reparare a daunelor aduse mediului”


Controlul poluarii industriale


  • rapoartele anuale de poluanti emisi (EPER);
  • rapoartele privind controlul integrat al poluarii pentru CE si Agentia Europeana de Mediu;
  • a evalua semestrial prin indicatori realizarea masurilor si termenelor privind limitarea emisiilor anumitor poluanti in aer proveniti din instalatii mari de ardere (IMA), cuprinse in Planul de implementare si in Programul National;
  • in privinta emisiilor de COV datorate utilizarii solventilor organici in anumite activitati
  • Furnizeaza autoritatii centrale de mediu date si informatii necesare desfasurarii activitatii in acest domeniu;
  • Furnizeaza date si informatii necesare autoritatii centrale de mediu in sistemul de raportare catre Comisia Europeana;

Gestiunea deseurilor


  • rapoarte care sisteaza depozitarea si rapoarte privind depozitele conforme;
  • rapoartele de implementare pentru Directiva 99/31/CE conform Directivei de raportare;
  • rapoarte tehnice privind documentatii din domeniul depozitarii (statii de transfer, compostare, tratare mecano-biologica – tehnologii noi, tehnologii curate, studii si cercetari);

In privinta incinerarii deseurilor:


  • rapoarte de implementare pentru Directiva 2000/76/CE conform Directivei de raportare;
  • rapoarte privind documentatii din domeniul incinerarii (incinerare, coincinerare si alte tratari termice);
  • se intocmesc rapoarte specifice gestiunii deseurilor rezultate din: ambalaje, uleiuri uzate, bifenili policlorurati (PCB), trifenili policlorurati(PCT), echipamente electrice si electronice, namolul rezultat in urma epurarii folosit in agricultura, vehiculele scoase din uz, anvelope uzate, baterii si acumulatori;

Substante chimice periculoase


o      transmiterea anuala a rapoartelor nationale catre MMDD in vederea inaintarii lor catre organismele internationale, conform obligatiilor legale.


Conservarea naturii


o      rapoarte privind starea de conservare a speciilor salbatice si a habitatelor naturale;

o      rapoarte conform cu Formularele Standard Natura 2000;

o      rapoarte privind starea de conservare a speciilor salbatice de pasari;

o      organisme modificate genetic - centralizarea datelor privind obtinerea, testarea, utilizarea si comercializarea organismelor modificate genetic, a produselor rezultate din acestea;

o      raportare a datelor referitoare la utilizarea animalelor in experimente, la unitatile crescatoare si utilizatoare de animale in scopuri stiintifice sau in alte scopuri experimentale autorizate


Protectia atmosferei


o      rapoarte in conformitate cu prevederile legislatiei Comunitatii Europene si cu prevederile conventiilor internationale privind protectia atmosferei si transmiterea acestora catre Agentia Europeana de Mediu si supunerea spre aprobarea MMDD

o      rapoarte privind emisiile antropice de gaze cu efect de sera


Zgomot


o      centralizarea la nivel national si transmiterea catre autoritatea publica centrala pentru protectia mediului a informatiilor principale privind evaluarea si gestionarea zgomotului ambiental


Alte functionalitati


o      Facilitate de analiza a informatiilor preluate din alte subsisteme

o      Procesare a datelor analitice si sintetice cu posibilitatea reprezentarii grafice

o      Simularea de scenarii what-if ca suprot pentru decizii manageriale pe termen scurt si mediu

o      Permite analiza de tip forecast

Informatiile operationale sunt transformate in informatii utile prin:

o      insumare ( de la simple operatii aritmetice pana la analiza statistica complexa) – datele relationale sunt selectate, agregate, grupate intr-un format cerut de utilizator

o      grupare dupa criterii prestabilite in formate precum forme tabelare, foi tip Excel (spreadsheet), grafice

o      distribuire informatii – datele astfel prelucrate sunt accesibile diverselor grupuri de utilizatori


Este foarte important ca acest subsistem sa dispuna de o sectiune distincta dedicata obligatiilor de raportare ale Romaniei in conformitate cu cerintele REPORTNET. Detalii privind aceasta sectiune sunt prezentate in capitolul dedicat integrarii cu REPORTNET.


Alte cerinte tehnice


Sa permita executia in paralel a operatiilor de tip DDL si DML.

Sa ofere posibilitatea de compresie a datelor stocate in tabele pentru a minimiza spatiul de stocare.

Sa ofere posibilitatea de partitionare logica a tabelelor mari in scopul reducerii timpului de acces la date dupa diverse criterii de partitionare (list, range, hash) si combinatii ale acestora (range-list, range-hash, etc.).

Tabele partitionate sa ofere facilitatea de indexare la nivel global si la nivel de partitie (indecsi locali).

Sa ofere capabilitati de procesare multidimensionala si data mining integrate in baza de date.

Sa permita paralelizarea masiva a proceselor pe toate nodurile clusterului pentru performante maxime.


Business Intelligence

Cerinte pentru platforma de raportare Business Intelligence

Sa poata rula pe sisteme de operare diverse: Windows, LINUX, etc.

Sa permita accesarea unor surse de date de pe platforme diferite (Oracle, SQL Server, DB2, SQLAnywhere, etc), in mod transparent pentru utilizatorul final

Sa permita accesarea datelor atat de pe platforme relationale, cat si multidimensionale (XMLA compliant)

Sa permita combinarea rezultatelor obtinute de pe platforme diferite  la momentul interogarii, astfel incat setul de date rezultat sa fie unitar

Sa permita imbunatatirea timpilor de raspuns la interogari prin mecanisme de ‚caching’ a rezultatelor obtinute anterior

Sa fie scalabila si sa sa dispuna de mecanisme de clustering a componentelor, astfel incat sa poata fi adaugate ulterior resurse hardware suplimentare

Din punctul de vedere al securitatii, sa permita integrarea cu servere LDAP

Accesul utilizatorilor la date sa poata fi segmentat atat la nivel de tip de informatie, dar si pe criteriul domeniului de valori (de exemplu un utilizator sa nu poata vedea decat randurile la care acces)

Sa dispuna de propriul nivel de securitate pentru definirea accesului la rapoarte

Generarea interogarilor catre bazele de date sa tina seama de specificul bazei de date accesate – sa genereze interogarile tinand cont de functii specifice ale fiecarei platforme in parte

Sa dispuna de mecanisme de directionare a cererilor catre tabele de sumarizare/vederi materializate astfel incat sa se asigure optimizarea accesului la sursele de date

Interactiunea utilizatorilor cu aplicatia sa se efectueze in browser, pe baza de nume de utilizator si parola

Interactiunea utilizatorilor finali cu aplicatia sa se faca prin operatiuni de tipul ,point and click’ si ‚drag and drop’

Sa ofere functionalitati de dezvoltare facila a rapoartelor pentru utilizatorii finali, fara sa fie nevoie ca acestia sa aiba cunostinte tehnice sau de programare

Sa ofere posibilitatea prezentarii rapoartelor/graficelor in tablouri de bord pentru utilizatori

Sa permita utilizatorilor finali modificarea tablourilor de bord prin integrarea rapoartelor la care care acestia au acces

Sa dispuna de mecanisme de alertare pentru utilizatorii finali (via aplicatie, email, etc)

Sa ofere utilizatorilor finali posibilitatea subscrierii la alertele definite

Sa ofere posibilitatea prezentarii datelor in formate variate (tabele, tabele pivot, grafice, marquee, etc)

Sa ofere posibilitatea prezentarii simultane a aceleiasi informatii in formate diferite: de exemplu tabel + grafic

In cazul in care raportul rulat nu intoarce inregistrari, utilizatorul sa aiba posibilitatea modificarii mesajului de ‚Nicio inregistrare returnata’ astfel incat sa fie adaptat la context

Sa permita adaugarea informatiei de context in care isi efectueaza activitatea utilizatorul ( care au fost filtrele succesive pe care acesta le-a aplicat in cadrul analizei ad-hoc)

Sa permita configurarea rapoartelor deja definite astfel incat utlizatorii sa poata selecta coloanele pe care le doresc reprezentate in raport (de exemplu, pentru o anumita coloana sa poata selecta luna, trimestrul sau anul iar raportul sa isi ajusteze informatia afisata in mod corespunzator

Sa permita configurarea raportului astfel incat utilizatorii sa poata selecta in tabloul de bord modul de reprezentare a informatiei: tabel, grafic, etc

Sa ofere functionalitati de drill-down pe diferite nivele de agregare a datelor

Sa ofere functionalitati de navigare ghidata pentru utilizatorii finali, cu posibilitati multiple de navigare dintr-un anumit punct, atat pentru rapoarte cat si pentru grafice

Sa ofere functionalitati de formatare conditionala, atat pentru rapoarte cat si pentru grafice

Sa permita integrarea cu instrumente de lucru Office (Microsoft Office, Microsoft Excel)

Sa permita salvarea rapoartelor in formate diferite (Excel, PDF, Word, HTML, etc)


Sistemul Integrat de mediu, respectiv solutia de Business Inteligence a sistemului informatic integrat  va trebui sa includa functionalitatile ReportNet si va functiona ca un coordonator national si furnizor de date.


La ora actuala, Reportnet este un instrument dezvoltat de Agentia Europeana de mediu care permite facilitarea si optimizarea fluxurilor de date de la nivel national la nivel European. Una din atributiile principale ale ANPM-ului  este asigurarea raportarilor catre Agentia Europeana de Mediu, pe urmatoarele domenii: calitatea aerului, schimbari climatice, arii protejate, contaminarea solului, apa. In acest sens ANPM, in calitate de  coordonator national are nevoie de informatii structurate in legatura cu obligatiile de raportare pentru a coordona colectarea de date din monitorizarile nationale. Reportnet este un instrument care ofera vederi de ansamblu web si obligatii de raportare (ROD), descrieri tehnice detaliate ale cerintelor de raportare si ghiduri (dictionarul de date al Reportnet) sau legaturi catre ghiduri aflate in alte locatii pe Internet, contacte de retea pentru furnizorii de date si registrii cu fluxurile de informatii (CR, ROD/termene). Aceste produse si servicii sunt folosite de catre Punctele Focale Nationale (NFP-uri punctele de contact ale EEA - coordonatorul national din fiecare tara), cat si de catre Centre de Referinta Nationala (NRC-uri) – institutile care furnizeaza datele nationale catre EEA.


Pentru a facilita metoda de lucrul sunt oferite formatele standard pentru raportarea datelor. Pentru incarcarea datelor sunt oferite mai multe optiuni, Introducere web in cadrul formularelor web pre-completate ce vor deveni disponibile pe parcurs pentru din ce in ce mai multe fluxuri de date ale caror specificatii se regases in DD. Formatele Excel sunt suportate atunci cand acestea sunt relevante pentru fluxul de date. Introducerea directa a formatelor din sistemele proprii ale tarilor vor fi suportate. Instrumentele specializate PC pentru introducerea datelor si analiza calitatii vor continua sa existe.


De asemenea , Reportnet are dezvoltat instrumente de control a calitatii automate. Acestea ofera validare immediata si raspuns in legatura cu analiza calitatii catre furnizorul de date, evitand astfel nevoia de a efectua lucrari dificile. Aceste componente GDEM sunt integrate cu procesul de livrare CDR.


Obligatiile de raportare ale Romaniei sunt prezentate in Anexa nr 4.


Tabele de mai sus prezinta cele 235 de obligatii ale Romaniei asa cum apar ele pe site-ul oficial EEA, sectiunea REPORTNET, capitolul ROD – Obligatii de raportare (http://rod.eionet.europa.eu ).


La ora actuala, MMDD si ANPM  raporteaza catre EEA un numar de 9 obligatii de raportare. De asemenea se raporteaza catre DG ENV un numar de 129 raportari, catre EUROSTAT 9 si catre alte institutii 88 de raportari.


SIM va trebui sa permita ANPM-ului indeplinirea rolului de NFP – Punct focal national -   si va trebui sa permita 

transferul de date securizat pe baza unui protocol de transfer standardizat intre institutiile responsabile cu raportarile respective , adica intre NRC-uri ( National Centre Reference)

raportarea in formatul standardizat cerut de Agentia Europeana a datelor de mediu monitorizate direct de catre ANPM.


Integrarea datelor

Mediul de integrare a datelor trebuie sa poata accesa si integra date din baze de date diferite: Oracle, Microsoft SQL Server, IBM DB2, etc, si sa ofere suport pentru accesarea datelor din date aflate in fisiere (.txt, .csv, etc)

Pentru optimizarea accesului la date aplicatia trebuia sa dispuna de componente reutilizabile, de tipul celor mai bune practici, care sa incorporeze elemente de acces specific pentru fiecare din tipurile de surse accesate

Aceste componente trebuie sa cuprinda logica necesara extractiei si integrarii de datelor, cu toti pasii care trebuie parcursi, inclusiv pentru detectarea modificarilor la sursa pentru incarcari incrementale

Aceste componente trebuie sa acopere majoritatea tipurilor de transferuri de date: din fisiere in suport relational, intre tipuri diferite de baze de date relationale (de exemplu intre Oracle si Microsoft SQL Server), etc

Aplicatia sa permita definirea si incorporarea de componente reutilizabile suplimentare

Procesele de extractie, transformare si inarcare sa poata fi definite sub forma declarativa, prin selectarea si maparea vizuala a tabelelor implicate si mentionarea componentelor de transfer necesare (pentru optimizarea procesului de dezvoltare)

In cadrul maparilor de date, sa permita definirea de filtre si de restrictii asupra campurilor implicate

Deasemenea, in cadrul maparilor trebuie sa fie permisa utilizarea unor functii native ale bazei de date accesate

Sa permita consolidarea pasilor de integrare de date sub forma unor fluxuri cu operatori de loop, ramificare pe baza unor conditii, etc

Sa permita notificarea prin email a administratorilor in anumite conditii de lucru si sa poata intrerupe fluxul de executie in cazul unor erori considerate grave

Sa permita vizualizarea/modificarea codului generat si reluarea anumitor pasi de proces astfel incat sa se detecteze eventualele erori

Fluxurile definite sa poata fi rulate atat in medii diferite (productie, dezvoltare) doar prin selectarea contextului de lucru

Ca suport hardware, mediul de integrare a datelor nu trebuie sa necesite resurse proprii ci trebuie sa delege efortul de integrare asupra bazelor de date accesate, singurele resurse necesare solicitate sa fie cele ale statiilor de lucru de pe care se configureaza si se monitorizeaza aplicatia

Sa ofere suport pentru web-services

Mediul de lucru sa nu necesite cunostinte avansate de programare



Politica de confidentialitate


logo mic.com Copyright © 2024 - Toate drepturile rezervate.
Toate documentele au caracter informativ cu scop educational.