Mobirise website creator

BIG DATA: O MITO E A REALIDADE

Por Luís Flávio Fernandes* - Janeiro, 2016

*Sócio fundador e membro do Conselho - DirectMind
www.directmind.com.br

Para as áreas de TI de grandes empresas, Big Data representa a próxima fronteira a ser desbravada. Neste artigo, analisamos esse desafio, e também o que as novas tecnologias realmente tem a oferecer para as áreas de negócios.

TECNOLOGIA: SOLUÇÃO OU PROBLEMA?

Desde que a tecnologia de informação invadiu as operações das empresas, principalmente a partir dos anos 1980, praticamente tudo mudou na forma de se fazer negócios. Mais eficiência, acesso mais fácil a um mercado consumidor cada vez maior e mais conectado, e uma maior controle sobre um volume crescente de informações, transformaram a forma de trabalhar das empresas. Com o passar do tempo, os sistemas se tornaram cada vez mais sofisticados e complexos, e verdadeiras fortunas foram investidas em TI. 

Mas a complexidade crescente, criando desafios de operação e manutenção, e a necessidade de integração entre diferentes sistemas dentro das empresas, associadas à demanda por investimentos cada vez maiores, começaram a transformar o sonho da tecnologia num pesadelo. Para muitas áreas de negócio, TI acabou se tornando um gargalo operacional e uma fonte insaciável de despesas (veja estes dois artigos sobre os problemas que atingem a maioria dos grandes projetos de TI: 5 Reasons IT Projects Fail e Why Do Big IT Projects Fail So Often?).

O lado perverso dessa transformação é que hoje a maioria das empresas não pode sequer sonhar com operações que não sejam intrinsecamente ligadas a sistemas de TI. A eficiência e o volume de transações necessários para que uma empresa seja competitiva são simplesmente impossíveis de atingir com processos manuais.

Não existe uma “bala de prata” tecnológica para resolver os problemas de uma empresa... o foco da inovação deve estar sempre nos negócios, e não na tecnologia.

Várias ondas de “revoluções” de TI surgiram nas últimas décadas para tentar solucionar esse paradoxo. De sistemas de gerenciamento a metodologias de desenvolvimento e operação, passando por novas gerações de hardware e software mais eficientes, todas essas ondas trouxeram basicamente um resultado: a necessidade de investimentos e/ou despesas ainda maiores. E esse aumento dos custos raras vezes se refletiu em maior faturamento para as empresas. Outras tendências, como a terceirização da área de TI e o surgimento de soluções em “nuvem”, trouxeram novas alternativas, mas não uma solução definitiva.

Cada vez mais, as empresas precisam de sistemas que tragam para seus negócios um nível de eficiência igual ou melhor que o de seus concorrentes. Novos modelos de negócio, na maioria das vezes baseados em novas tecnologias, são um fator de competitividade fundamental para aumentar a participação em mercados existentes ou atingir novos mercados.

Mas qual é então, o segredo do sucesso quando se trata de usar a tecnologia para obter vantagem competitiva? A experiência mostra que a última onda de inovação tecnológica não é necessariamente a resposta para essa pergunta. Não existe uma “bala de prata” tecnológica para resolver os problemas de uma empresa, sejam eles quais forem. É preciso planejar a inovação para atender demandas, novas ou existentes, que aumentem a competitividade do negócio. Em resumo, o foco da inovação deve estar sempre nos negócios, e não na tecnologia.


BIG DATA: A ÚLTIMA ONDA

A palavra da moda em tecnologia parece mudar a cada momento – Web Commerce, Cloud Computing, Social Media, Mobile Apps, e como consequência de todas as ondas anteriores, chegamos ao maravilhoso mundo de Big Data. Muitos “especialistas” se apressam em vender Big Data como uma ferramenta mágica para resolver todos os problemas do mundo. Aqui vai uma má notícia para eles: Big Data não é uma ferramenta, nem um conjunto de ferramentas. Neste ponto, talvez seja uma boa ideia enumerar algumas coisas que são normalmente consideradas como soluções de Big Data:

  • Uma implementação de Hadoop processando dados desestruturados capturados de milhões de posts em mídias sociais;
  • Um Data Warehouse com petabytes de dados passando por processamento massivamente paralelo;
  • Um sistema de captura e processamento in memory de volumes astronômicos de dados de telefones celulares e/ou sensores de equipamentos diversos em tempo real;
  • Uma ferramenta de BI analisando décadas de dados consolidados de sistemas transacionais.

A verdade é que cada um dos itens acima pode ser ou não ser uma implementação de Big Data. E mesmo tudo isso funcionando dentro de uma mesma empresa ainda não representa necessariamente Big Data. Mas então, o que é Big Data afinal? Vamos começar pelos 3 Vs. Big Data é um conceito que se originou a partir da existência de grandes volumes de dados, com enorme variedade de origens e formatos, que crescem com uma velocidade incalculável, e que precisam ser processados de forma cada vez mais rápida.

Até o começo do século XXI, a tecnologia disponível no mercado não era capaz de processar dados acumulados em bancos de dados relacionais durante décadas, cruzá-los com informações desestruturadas capturadas da Internet, identificar informações escondidas no meio de todo esse volume, e analisá-las com velocidade suficiente para que uma empresa pudesse tomar decisões estratégicas, que fizessem alguma diferença em seus negócios. A partir da virada do milênio, entretanto, a tecnologia começou a avançar decisivamente na direção do desafio apresentado pelos 3 Vs. Foi aí que começaram a surgir ferramentas capazes de atender as mais diversas necessidades de volume, variedade e velocidade no processamento de dados, tais como:  

  • Appliances de bancos de dados para processamento massivamente paralelo, com distribuição inteligente de registros e aceleração por hardware;
  • Clusters de processamento distribuído em paralelo, com uso de hardware heterogêneo controlado por sistemas open source;
  • Sistemas em real time para captura e processamento in memory de dados originados nos mais diversos tipos de dispositivos;
  • Sistemas distribuídos para armazenamento de grandes volumes de dados, com baixo custo e altíssimo desempenho em operações de escrita e leitura.

Mas, da mesma forma que nas ondas anteriores de inovação tecnológica, é preciso ressaltar que todas essas ferramentas são exatamente isso: apenas ferramentas. Que devem ser aplicadas naquilo que é sua função primordial: construir alguma coisa. No caso de Big Data, construir soluções que se apliquem a processos de negócio específicos, transacionais ou analíticos (preferencialmente ambos), tipicamente através de:  

  • automação em larga escala, com sistemas capazes de processar a entrada e saída de grandes volumes de dados com alta velocidade, facilitando o acesso à informação;
  • integração de dados de diferentes sistemas, estruturados e não estruturados, permitindo cruzamento através de processamento unificado;
  • consolidação e análise de grandes volumes de dados heterogêneos (como descrito no item acima) para identificação mais rápida de informações estratégicas, como por exemplo:
  • padrões de comportamento de consumidores;
  • localização e enriquecimento de dados por geoposicionamento ou associação a usuários ou grupos específicos;
  • ocorrência de relacionamentos ocultos entre dados de diferentes processos;
  • variações em métricas que impliquem na tomada de decisões para minimizar riscos ou mesmo aumentar faturamento de negócios;
  • dados relevantes para processos existentes ou novas oportunidades de negócios, até então ocultos em grande volumes de dados sem importância;

(veja exemplos de casos de uso de Big Data nos links Big Data: 6 Real-Life Business Cases e The Awesome Ways Big Data Is Used Today To Change Our World)

Como deveria acontecer em qualquer implementação de TI, o ponto mais importante é identificar a real necessidade da empresa, desenhar os processos adequados para atender essa necessidade, e só então escolher as ferramentas mais adequadas para automatizar esses processos da maneira mais eficiente. Isso também significa que é importante levar em conta o custo/benefício de cada implementação: não faria sentido, por exemplo, investir dez milhões de dólares em uma implementação ao longo de três anos, se o processo de negócio atendido pelo sistema tem previsão de gerar um faturamento de menor que esse valor no mesmo período (mesmo com os benefícios do novo sistema!). Além de existir uma grande chance de uma implementação de longa duração exigir novos investimentos após sua finalização, seja por custos de operação, atualização e/ou manutenção de ferramentas, ou até mesmo por elas (ou até os processos) estarem obsoletas após todo esse tempo. Pode parecer difícil de acreditar, mas algumas empresas não conseguem avaliar de forma correta o custo/benefício de uma implementação de TI, algumas vezes por não se darem conta dos custos operacionais que se somam ao investimento inicial, e em outros casos por não saber calcular o real impacto da implementação em seus negócios.

Os 3 Vs de Big Data devem gerar informação estratégica que seja efetivamente usada na gestão dos negócios... Não basta implementar ferramentas de TI, é necessário suportar e/ou aumentar a eficiência de processos que atendam os objetivos da empresa.

Se muitos projeto de TI são complexos e custosos, um projeto de Big Data traz desafios ainda maiores. Uma iniciativa real de Big Data deveria controlar todas as fontes de dados disponíveis para uma empresa, permitindo processar e correlacionar toda a informação dessas fontes para gerar um impacto positivo nos negócios. Tipicamente, os volumes de dados envolvidos, bem como sua heterogeneidade, implicam na necessidade de envolver diferentes departamentos, dividindo responsabilidades e exigindo um nível de compartilhamento de informações e comprometimento com resultados nem sempre fácil de se conseguir. O maior impacto, entretanto, deve ocorrer na própria da empresa, começando pelos níveis gerencias mais altos: de nada adianta empreender um enorme esforço para obter informações estratégicas se elas não forem utilizadas para orientar as decisões que definem os rumos dos negócios.


O FUTURO: BIG DATA É UMA MUDANÇA CULTURAL, NÃO TECNOLÓGICA

Para concluir, Big Data deveria significar para uma empresa o uso inteligente de volume, variedade e velocidade em processamento de dados, para gerar informações estratégicas que serão efetivamente usadas na gestão dos negócios de uma empresa. Isso significa que não basta implementar ferramentas de TI, mas é necessário planejar cuidadosamente qualquer implementação para suportar e/ou aumentar a eficiência de processos, criados especificamente para atender principalmente os objetivos estratégicos da empresa.

Um projeto de Big Data fará sentido somente após definir esses objetivos e obter o comprometimento de todas as áreas envolvidas. Só então as escolhas tecnológicas do projeto deveriam ser feitas, sempre com foco nos processos, e não nas ferramentas. E é importante lembrar que, sem uma equipe capacitada, que compreenda como usar as ferramentas de Big Data para implementar os modelos de processamento adequados a cada objetivo, todo o investimento feito num projeto de grandes proporções pode acabar não proporcionando qualquer tipo de retorno para a empresa. Afinal, não existe uma boa resposta para uma pergunta ruim, nem uma boa implementação para o projeto errado.

Mas, apesar da enormidade do desafio, a realidade atual torna necessário enfrentá-lo, e tomados os devidos cuidados, não há motivo para desânimo. Inúmeros casos de sucesso existem ao redor do mundo, e muitas empresas já utilizam Big Data para se posicionar de forma muito mais competitiva no mercado (leia alguns casos em 4 Big Companies Using Big Data Successfully e Big Data Success: 3 Companies Share Secrets). Uma cultura de gestão orientada por informações, cada vez mais dinâmicas e confiáveis, está levando empresas pioneiras a atingir um novo patamar de eficiência, nas mais diversas áreas de atividade. Mistificações à parte, Big Data é hoje, de fato, uma realidade.

Se você quer saber mais sobre Big Data, Data Science e suas aplicações práticas em processos de decisão e marketing, siga a DirectMind no Linkedin, ou visite www.directmind.com.br


Transformando inovação em vantagem competitiva