Dark Data: o lado negro do Big Data

O filme Star Wars imortalizou o lado negro da força. O conceito Big Data promete agora imortalizar o lado negro dos dados. Com uma diferença. Nas Tecnologias de Informação, o lado negro é o mais apetecível por ser onde “lutam” os dados desconhecidos que agregam ainda mais valor aos negócios.

 O conceito faz parte das tendências que Hu Yoshida, CTO Global da Hitachi Data Systems, preconiza para o mercado de Tecnologias de Informação em 2014. O responsável admite que os dados detidos em silos podem conter informações valiosas para as empresas e que, por isso, devem ser armazenados de forma mais estratégica.

Uma das principais previsões de Yoshida para 2014 é precisamente que o termo “dark data” (dados obscuros) estará cada vez mais presente nas reuniões estratégicas de TI e, consequentemente, nos meios de comunicação social. “Gestores de TI, tech gurus e geeks discutirão o potencial que esses dados têm para gerar ainda mais valor para os negócios”. O Gartner define “dark data” como ativos de informação que as empresas coletam, processam e armazenam durante as suas atividades regulares, mas os quais essas empresas geralmente falham em utilizar para outros propósitos (por exemplo, para análise, relações de negócios e monetização direta). Por isso, diz Yoshida um dos fatores mais importantes com relação ao Big Data é ganhar acesso aos dados obscuros.

Aliás, este responsável assume que um dos principais motivos pelos quais as empresas não conseguem fazer pleno uso desses dados é o facto de estes estarem detidos em uma aplicação ou em silos ligados a fabricantes específicos. Um bom exemplo de como o mercado vem tentando agregar valor a esses dados vem da indústria da saúde, onde o tópico mais comentado do momento é o VNA – Vendor-Neutral Archive. A necessidade de um “arquivo neutro”, que possa ser acedido por sistemas de diferentes fabricantes, surge exatamente porque, ao longo dos últimos anos, as hospitais e empresas de saúde foram criando silos de dados em diferentes departamentos. “Além de setorizarem as aplicações, os silos não permitem que os profissionais da saúde possam compartilhar informações para promover o tratamento longitudinal de um paciente. Como as tecnologias de sistemas de imagens são constantemente atualizadas, um departamento pode vir a adquirir um sistema mais novo de outro fabricante, e então não ser capaz de utilizar as mesmas ferramentas de análise, já que os formatos de dados são diferentes”. E é desta forma que as empresas geram “dark data”, explicita Yoshida.

Para agregar valor a esse tipo de dados obscuros, o responsável advoga a necessidade das empresas serem capazes de separar o processamento de aplicações de front-end da função de armazenamento de back-end, eliminando os silos de aplicações/ dados. É aqui que entra o armazenamento de objetos.

“Quando se separam os dados da aplicação, eles nada mais são que um conjunto de bits, a não ser que sejam colocados em um ‘recipiente’ com metadados capaz decifrá-los. Esse ‘recipiente’ torna-se um objeto independente da aplicação que o criou e pode ser utilizado por outras aplicações por meio do acesso aos metadados”. Desta forma, explica Yoshida, a vida útil dos dados não mais é ditada pela vida útil da aplicação. “Sistemas de armazenamento de objetos permitem que os dados que armazenados sejam acedidos por diferentes aplicações por meio dos protocolos de rede”. Claro que o responsável salienta logo que na solução criada para objetos da Hitachi, Hitachi Contente Platform (HCP), por exemplo, estes dados podem ser encontrados por um mecanismo de busca de alta performance que possui diversas funções, incluindo indexação rápida, busca qualificada, booleana, por frase, com filtro anti-spam, por data e assim por diante. “Deduplicação, compressão e criptografia são todas funções-padrão. A HCP faz parte da infraestrutura de virtualização da Hitachi Data Systems, que permite que os dados permaneçam independentes da infraestrutura, bem como da aplicação que os criou”.

A verdade é que nem todos os sistemas de armazenamento de objetos têm essas funções de metadados estendidas. “Basicamente um sistema de armazenamento de objetos, de acordo com a Searchstorage, delega a cada objeto uma tag única que permite que um servidor ou um usuário final encontre o objeto sem a necessidade de saber a localização física desse objeto. A HCP melhora essa ‘tag única’ com metadados que não apenas permitem que os objetos sejam encontrados, mas também descrevem seu conteúdo, para que as informações sobre os objetos possam ser processadas algumas vezes sem que para isso seja necessário aceder o próprio objeto”.

Yoshida reforça que o armazenamento de objetos estará em evidência em 2014 e o principal objetivo será agregar valor ao “dark data” para gerar benefícios aos negócios a partir de ativos de dados já existentes.

 O potencial do Big Data

Aliás, Big e Open Data vão estar em força nos próximos anos, dizem os mais variados especialistas e consultoras. Uma tendência que a indústria das tecnologias não se importa nada de abraçar. Recentemente, a Microsoft lançou um documento que explora o potencial de crescimento do Big e Open Data de 206 mil milhões de euros na União Europeia até 2020.

Um relatório divulgado sobre o impacto do “Big e Open data” nos 28 Estados Membro da União Europeia (UE) concluiu que a transição para soluções orientadas por dados poderá representar um contributo de 206 mil milhões de euros para a economia europeia até 2020, o equivalente a um aumento de 1,9% no Produto Interno Bruto europeu.

O relatório demonstra que os ganhos serão sentidos em toda a EU28 e identifica ainda impactos no crescimento de 2,2% do PIB da Europa do norte (Bélgica, Dinamarca, Alemanha, Irlanda, França, Luxemburgo, Holanda, Áustria, Finlândia, Suécia e Reino Unido), de 1,9% nos novos Estados Membro (Bulgária, República Checa, Estónia, Croácia, Chipre, Letónia, Lituânia, Hungria, Malta, Polónia, Roménia, Eslovénia e Eslováquia) e de 1,6% no sul da Europa (Itália, Grécia, Espanha e Portugal). Os sectores identificados como os de maior potencial incluem o comércio (47 mil milhões de euros), indústria (45 mil milhões de euros), administração pública (27 mil milhões de euros) e cuidados de saúde (10 mil milhões de euros).

Realizado pelo Warsaw Institute for Economic Studies e com o patrocínio da Microsoft, o estudo ‘Big & Open Data in Europe: A growth engine or a missed opportunity?’ utiliza um modelo macroeconómico ascendente para estimar o potencial económico do big e open data. O modelo Big and Open Data Universal Impact Assessment (BOUDICA) incorpora dados detalhados sobre a economia europeia para fornecer estimativas de valor acrescentado para empresas em 21 sectores de cada país europeu.

O grande potencial do big e open data na criação de serviços do sector público mais eficientes e transparentes é outra das conclusões chave do relatório. Desde apps que permitem aos habitantes das cidades planearem facilmente as suas deslocações em transportes públicos até à disponibilização de informação aos cidadãos sobre medidas de poupança de consumo energético nas suas casas, o relatório destaca o potencial para reforçar o controlo público, bem como para promover o debate sobre iniciativas e serviços governamentais. As pequenas e médias empresas e os empreendedores podem ainda beneficiar de um maior acesso ao financiamento e aos mercados e a eficiência melhoradas nos processos de negócio oferecidos por big e open data.

Para assegurar a vantagem competitiva da Europa através da exploração do big e open data, ao reduzir o desfasamento entre a inovação e a proteção do financiamento destinado a soluções de dados inovadoras, o relatório encoraja os criadores de políticas a trabalharem em conjunto ao nível da UE em diversas iniciativas, tais como o reforço do mercado único digital através da harmonização das regulamentações e normas de dados.

Dirigindo-se ao Parlamento Europeu no lançamento do relatório, o presidente do Warsaw Institute for Economic Studies e coautor do relatório, Maciej Bukowski, salienta que “a Europa pode beneficiar de enormes vantagens para uma inovação acrescida e para o crescimento através da adoção do big e open data. No que se refere à UE em geral, a criação de um autêntico mercado único digital reduzirá as barreiras de acesso à indústria do big data, ao facilitar a criação de soluções de TIC pan-UE, universais, a custos reduzidos quer para os consumidores quer para o sector público. O desafio consiste em incorporar big e open data numa agenda de reforma mais ampla para a Europa: uma que reflita as realidades económicas pós-crise e impulsione novos mecanismos para o futuro crescimento económico.”

Já Jan Muehlfeit, presidente da Microsoft Europe, acrescentou que “o big e open data irá abrir caminho para novo crescimento, novos empregos e novas oportunidades para todos os Europeus, através da redução de custos, da criação de economias de escala e ao tornar mais fácil o acesso à inovação tecnológica. Podemos já assistir a este potencial na Europa, em cidades como Manchester, por exemplo, em que o projeto ‘Transport for Greater Manchester’ utiliza o Windows Azure para alojar uma nova plataforma de dados open em tempo real que ajuda os utentes a planear as suas deslocações. A utilização de big e open data é outra fase da constante revolução das TIC: a que poderá ajudar a Europa a manter-se competitiva e inovadora.”

 Em busca dos dados perdidos

Já a NetApp, por exemplo, admite que o Big Data vai evoluir da análise dos dados para a procura de novos dados para recolha. Ou seja, à medida que as empresas retiram valor dos dados já existentes, recolherão dados adicionais para aprofundar os seus conhecimentos. Os novos dispositivos recolherão mais informações acerca do comportamento do consumidor, processos industriais e fenómenos naturais. “Estas fontes de dados serão utilizadas de forma a incrementar o conhecimento, e darão lugar ao crescimento de novas aplicações de análise.”