Jak pobierane i przechowywane są dane w Power BI?

Naturalnym następstwem rozwoju organizacji jest konieczność tworzenia coraz większej liczby raportów i przeprowadzania coraz bardziej złożonych analiz. Ogólne analizy zaczynają być niewystarczające, a rodzące się na bieżąco pytania biznesowe generują potrzebę przeprowadzania coraz bardziej skomplikowanych kalkulacji. Konsekwencją tego jest powstawanie nowych plików, arkuszy kalkulacyjnych. Pomnóżmy je przez parametry związane ze  strukturą naszej  organizacji: liczbę działów, linii biznesowych, obsługiwanych obiektów, pracowników.

Wyobraźmy sobie, że wszystkie te arkusze spływają mailowo bądź wrzucane są na określoną przestrzeń serwerową do działu controllingu; często składającego się z jednej lub dwóch osób. To one muszą czuwać nad “obróbką” danych, porównywać je z poprzednimi raportami, systemami księgowymi, procedurami, danymi rynkowymi, etc.. Nieraz zdarza się, że zachodzi konieczność mailowego bądź telefonicznego wyjaśniania odchyleń z każdym pracownikiem. To wszystko pod presją czasu. Często przyczynia się do przypadkowego wycieku danych, co w obecnych czasach, kiedy ochrona danych ze względu chociażby na dynamiczną ewolucję przepisów prawa w tym zakresie,  jest wysokim priorytetem i może skutkować poważnymi konsekwencjami dla organizacji. Jeśli zastanawiasz się jak temu zaradzić jesteś w dobrym miejscu. Rozwiązaniem Twoich problemów może być  narzędzie analityczne klasy Business Intelligence, takie jak Power BI.  Jak rozwiązanie to działa od strony technicznej? Jak możemy pobierać i przetwarzać dane za pomocą ekosystemu Microsoft Power BI? Gdzie trafiają dane, jak są magazynowane, czy są bezpieczne?

Czy muszę najpierw zainwestować w hurtownię danych??

Główną zaletą Power BI i rozwiązań technologicznych, które mu towarzyszą, jest możliwość pobierania, przetwarzania i łączenia danych z rozmaitych źródeł jednocześnie. Power BI kompresuje dane z systemów księgowych, ERP, CRM, baz SQL, arkuszy kalkulacyjnych, stron internetowych i wielu innych źródeł w jednym miejscu; tworząc jedną, spójną hurtownię danych zasilającą końcowe zestawienia w modelu raportu. 

Zlecając wdrożenie rozwiązań Business Intelligence firmie outsourcingowej zastanawiasz się zapewne jak pobierane są dane i czy są one bezpieczne? 

Jeśli Twoja organizacja dysponuje już hurtownią danych, w której archiwizuje kompletne dane biznesowe i operacyjne, to początek będzie znacznie łatwiejszy. Wystarczy zdefiniować zakres i udzielić dostęp do tych danych w celu dalszych prac. Jeśli są to dane na serwerze stacjonarnym, niezbędna będzie dodatkowo tzw. brama danych (Gateway), pozwalająca łączyć się z lokalnymi źródłami danych bez konieczności ich przenoszenia. W przypadku jeśli korzystasz z rozwiązań chmurowych (Azure, AWS, inne) wówczas wystarczy skorzystać, po stosownej konfiguracji, z odpowiednich konektorów. 

Jeśli nie dysponujesz hurtownią danych – spokojnie, nie musisz od razu w nią inwestować, angażując się w dość skomplikowany i nierzadko dosyć kosztowny proces informatyczny. Wystarczy, że określisz zakres danych z poszczególnych źródeł i udzielisz odpowiednich dostępów firmie bądź osobie wdrażającej rozwiązanie Power BI. Na dalszym etapie dane zostaną zaimportowane do bezpiecznej chmury Microsoft, gdzie będzie można dalej z nimi pracować. 

Jak Power BI łączy się ze źródłami danych?

W praktyce Power BI pozwala na połączenie się z szeroką gamą rozmaitych źródeł danych. Połączenia z danymi mogą się odbywać na trzy sposoby:

1) DirectQuery – w tym trybie można połączyć się bezpośrednio z danymi w ich repozytorium źródłowym. Dane nie są wówczas przechowywane w ekosystemie Microsoftu i modelu danych Power BI. Pełni on wówczas rolę warstwy wizualizacji, a następnie za każdym razem „odpytuje” (query) dane ze źródła pierwotnego.

 2) LiveConnection – bardzo podobny tryb do DirectQuery pod względem sposobu pracy ze źródłem danych. Nie przechowuje ono danych w Power BI i za każdym razem wykonuje zapytanie do źródła danych. Różni się jednak tym od DirectQuery, że jest obsługiwane tylko dla wybranych zbiorów danych:

a. SQL Server Analysis Services (SSAS) Tabular

b. Usługi analityczne SQL Server (SSAS) wielowymiarowe

c. Usługa Power BI

Ponieważ te źródła danych są same w sobie silnikami modelującymi, więc Power BI łączy się tylko z nimi i pobiera wszystkie metadane modelu (nazwy miar, nazwy atrybutów, relacje, itd.). Dzięki tej metodzie użytkownik musi spełnić wszystkie wymagania dotyczące modelowania w źródle danych, a Power BI po prostu wyświetla te dane za pomocą wizualizacji.

 3) Import – dzięki tej metodzie dane ze źródła zostają załadowane do Power BI. Wszystkie dane przechowywane są w dwóch głównych repozytoriach: magazynie blokowym Azure oraz bazie danych Azure SQL. Magazyn blokowy Azure przechowuje zbiory danych przesłane przez użytkowników, a wszystkie metadane i dane związane z systemem są przechowywane w bazie danych Azure SQL.

Jest to najpopularniejsza metoda, gdyż uzyskuje się dzięki niej pełną funkcjonalność Power BI. Tylko ona pozwala w pełni wykorzystać potencjał m.in. środowiska Power Query do pracy danych z wielu źródeł, języka DAX do pisania zaawansowanych algorytmów lub tworzenia wizualizacji. 

Niezależnie od używanego trybu pracy z zestawami danych usługa Power BI może tymczasowo buforować wszystkie dane, aby zoptymalizować wydajność ładowania zapytań i raportów.

Czy moje dane będą bezpieczne?

Dostęp do raportów czy dashboardów stworzonych w ramach Power BI odbywa się za pomocą przeglądarki internetowej lub aplikacji mobilnej. Do zalogowania się będzie potrzebne indywidualne konto Microsoft, do którego przydzielony został określony dostęp. Dodatkowo możliwe jest włączenie weryfikacji wieloetapowej (MFA), na przykład do zalogowania się na indywidualne konto potrzebne będzie nie tylko hasło do konta ale także kod SMS, który trzeba przy każdym zalogowaniu wprowadzić.

Wszystkie dane utrwalane przez usługę Power BI są domyślnie szyfrowane przy użyciu kluczy zarządzanych przez firmę Microsoft. Dane przechowywane w bazach danych Azure SQL są w pełni szyfrowane przy użyciu technologii Azure SQL Transparent Data Encryption (TDE) . Dane klientów przechowywane w usłudze Azure BLOB Storage są szyfrowane przy użyciu usługi Azure Storage Encryption. Opcjonalnie możliwe jest skorzystanie z usługi Power BI Premium, aby używać własnych kluczy do szyfrowania przechowywanych danych, które są importowane do zestawu danych.

W przypadku importu użytkownik nawiązuje połączenie na podstawie loginu użytkownika i uzyskuje dostęp do danych za pomocą poświadczenia. Po opublikowaniu zestawu danych w usłudze Power BI usługa zawsze używa poświadczeń tego użytkownika do importowania danych. Po zaimportowaniu danych za pośrednictwem raportów użytkownik nie ma dostępu do bazowego źródła danych. 

Więcej na temat bezpieczeństwa usługi Power BI można przeczytać w oficjalnej dokumentacji Microsoft: Power BI Security White Paper .

Niezwykle ważną kwestią jest fakt, że dane, do których ma wgląd Power BI są danymi przeznaczonymi tylko do odczytu. Dane pierwotne zostają nienaruszone. Cały proces przekształcania ich do wysokiej jakości danych, czyli oczyszczania danych z duplikatów, usuwania danych niepełnych, usuwania konfliktów pomiędzy danymi, łączenia baz w celu uzyskania pełnego obrazu – odbywa się już na poziomie ekosystemu  Power BI. 

Źródła i częstotliwość pobierania danych przez Power BI

Zakres źródeł z jakiego można pobrać dane z wykorzystaniem Power BI jest bardzo szeroki, a Microsoft ciągle dba o zwiększenie elastyczności możliwych rozwiązań w tym obszarze. Baza źródeł jest tak obszerna, że jedynym ograniczeniem wydają się umiejętności dewelopera Power BI, dlatego warto skorzystać z pomocy naszych profesjonalistów, którzy nieustannie rozwijają swoje kompetencje w tych obszarze. Power BI jest w stanie pobrać dane między innymi z: 

• arkuszy kalkulacyjnych, plików PDF, plików tekstowych,
• baz SQL,
• hurtowni danych (Azure, Share Point,Dataverse, Power Apps,…)
• programów księgowych, ERP, 
• programów handlowych,
• systemów do zarządzania projektami, CRM, time-trackowych,
• stron i platform internetowych (np. GUS, NBP, Google Analytics, Google Search Control,  inne),

Szersza lista źródeł danych usługi Power BI jest udostępniona na stronie Microsoft.   

Zdarza się, że do przygotowania niektórych analiz wewnętrzne systemy księgowe czy bazy danych stają się niewystarczające i konieczne jest uzupełnienie wiedzy z innych źródeł np. stron czy platform internetowych (dane makroekonomiczne, walutowe, ceny surowców, statystyki GUS). Microsoft Power BI daje również możliwość deweloperom BI automatyzacji importu tych danych, którzy wykorzystując swoją zaawansowaną, specjalistyczną wiedzę i kompetencje potrafią pomocą stworzonych wtyczek (konektorów) pobierać je do hurtowni stojącej za Power BI i wykorzystania ich do analiz. 

Raporty w Power BI mogą czerpać dane bezpośrednio z systemów działających w chmurze (SaaS) oraz zainstalowanych lokalnie na serwerze klienta. Dedykowane wtyczki do najpopularniejszych systemów wspierających biznes zapewniają efektywność połączenia. Dane uzupełniane w plikach płaskich (np. excel) regularnie przez osoby z różnych działów mogą również być widoczne od razu w momencie odświeżenia raportu. Power BI ujednolica dane i łączy je w całość tworząc ustrukturyzowaną bazę danych bez konieczności manualnego łączenia wielu plików z różnych lokalizacji. Aktualizacja danych niezależnie od źródła jest dostosowywana do potrzeb klienta. Może ona odbywać się raz na miesiąc, tydzień, dzień lub częściej – w zależności od potrzeb organizacji i możliwości operacyjnych firmy (np. konieczność zaksięgowania czy zaewidencjonowania określonych zdarzeń gospodarczych). 

Jak można dzielić się raportami w ramach Power BI?

Demokratyzacja danych biznesowych to idea, która jest nam bardzo bliska i do której często po początkowo trudnych rozmowach. W końcu udaje nam się przekonywać naszych Klientów. Uważamy, że nowoczesne organizacje, stawiające na zwinny i efektywny rozwój powinny prowadzić działalności, zarządzać operacjami, podejmować decyzje strategiczne w oparciu o dane. Trudno to robić, jeśli dostęp do danych ma, na przykład, tylko Zarząd. Managerowie powinni stać się niejako “właścicielami” określonych, sparametryzowanych, mierzalnych celów finansowych i operacyjnych, za którymi stoją głębsze kalkulacje i rozmaite podwaliny liczbowe. Trudno jednak w ten sposób kształtować kulturę organizacji, jeśli ta nie posiada odpowiednich procedur i narzędzi. 

Na szczęście z pomocą przychodzą nowoczesne i dostępne kosztowo rozwiązania Business Intelligence jak właśnie Power BI, które pozwalają m.in. na efektywne i bezpieczne zarządzanie dostępami do określonych danych biznesowych, raportów, dashboardów analitycznych. Nic nie stoi na przeszkodzie, aby dla przykładu Kierownik Regionu miał dostęp wyłącznie do danych na temat sprzedaży i marży w danym regionie. A może powinien mieć także dostęp do informacji na temat kosztów stałych związanych z utrzymaniem sprzedaży i obsługą klienta w danym regionie? Może powinien też widzieć jak jego Region wypada na tle innych? Decyzja należy już do danej firmy, a odpowiednie zarządzanie siatką dostępów i procedur raportowych pozwoli na skrócenie ścieżki dostępu do danych, bieżące zarządzanie nieefektywnościami czy na przykład optymalizację marż.  

Wdrożenie Power BI w Twojej organizacji

Jeśli zainteresował Cię ten artykuł, rozwiązanie Power BI bądź  masz jakiekolwiek wątpliwości w zakresie wdrożenia rozwiązania Power BI w Twojej organizacji. zachęcamy do umówienia się na darmową, niezobowiązującą konsultację podczas, której odpowiemy na pytania i być może pomożemy Ci przejść transformację i stać się organizacją z kulturą oparta o dane. 

Skontaktuj się z nami.