agosto 08 2017 0comment

O que compõe o perfil de um ótimo administrador SAS

Por Alessandro Lemes

Em mais de 15 anos de experiência e já com 10 em administração SAS, eu afirmaria que o melhor administrador SAS seria um indivíduo com uma compreensão profundamente experiente da administração de servidor e/ou desktop, bem como o uso dos softwares SAS, que compõem as suites de solução e que pertence ao mundo exclusivo dos utilizadores de TI e de negócios.

Para que as soluções SAS sejam implementadas e funcionem de forma otimizada, três componentes principais precisam ser configurados e gerenciados efetivamente:

  1. Software para instalação de hardware.
  2. Gerenciamento de metadados.
  3. Configuração e acesso do usuário.

A administração de todos os três componentes geralmente requer habilidades e treinamento com administração de servidor e desktop, além da configuração do software SAS, incluindo Metadados. O arranjo e a administração da infra-estrutura de TI da organização terão um impacto direto nos recursos humanos que são usados para lidar com cada um dos componentes.

Esta pessoa deve entender das interações de hardware e software para otimizar as configurações do sistema que irão tirar o melhor desempenho da solução e assegurar a integração adequada das ferramentas SAS Enterprise Business Intelligence.

Eu recomendaria que a função de administrador do SAS fosse ocupada por um veterano experiente com pelo menos 10 anos de experiência em programação SAS, juntamente com habilidades comprovadas em configuração de hardware para servidor e PC. Organizacionalmente, eu recomendaria que a função de administrador do SAS se reportasse para uma área operacional de negócios – servindo como uma ligação (pessoa do ponto) entre o grupo de suporte de TI e o setor empresarial.

É comum termos os administradores SAS lotados nas áreas de infraestrutura, não é o fim do mundo, mas esse administrador deve ter em mente que o seu cliente é negócios e o alinhamento de suas metas enquanto provedor de serviço deve passar por essas áreas.

Recomendo leitura detalhada do material contido na página do suporte SAS para você que é ou deseja ser um administrador.

 


Alessandro Lemes da Silva é colunista do Blog da Infomev e discute sobre o universo do Business Intelligence (BI).

junho 30 2016 0comment

Vamos Falar de Big Data

Por Alessandro Lemes da Silva

Nos últimos anos, grandes fabricantes de soluções de TI têm debatido com uma frequência muito alta a respeito do termo “Big Data”. Vários artigos e reportagens têm sido publicados ultimamente. Muitos desses artigos foram patrocinados por grandes empresas de soluções de TI. A grande maioria delas já possui produtos e soluções de consultoria à disposição em seus portfólios.

1As definições sobre “Big Data” têm sido aprimoradas com o tempo e, no decorrer do tempo, alguns mitos são extintos e outros novos são criados.

Um dos primeiros mitos que ainda persiste no mercado é o fato de que “Big Data” só se aplica a dados não estruturados. Outro mito, ou percepção geral, é de que a maioria das empresas ainda não está preparada ou não possui necessidades de trabalhar com este conceito.

Mas afinal o que é “Big Data”? De forma geral, quando falamos de “Big Data” estamos nos referindo ao crescimento exponencial dos dados, à utilização e ao armazenamento de dados em grandes volumes que desafiam os métodos convencionais de análise e gestão dos dados. Ou seja, é um volume enorme de dados que, por vezes, dependendo das características dos dados e das empresas, devem ser armazenados e processados por mecanismos diferentes do que estávamos habituados.

Vale destacar que os dados podem estar armazenados em formas estruturadas ou não.

Atualmente nossa sociedade gera dezenas de petabytes de informações por dia dos mais variados tipos, entre elas:

  • Informações comuns, como cadastro de clientes, fornecedores, funcionários, produtos, marketing e vendas.
  • Informações sobre dados manipulados nos sistemas de empresas, tais como movimentações bancárias, transações de venda e compra de conteúdo, produtos e serviços.
  • Dados das mídias sociais como Facebook, LinkedIn e Instagram.
  • Dados de sensores e monitoramentos temporais.
  • Dados oriundos de satélites e aplicações geoespaciais.
  • Dados em formato multimídia, como imagens, sons e vídeos.

Um único arquivo de vídeo ou imagem é infinitamente maior em bytes do que uma página simples de texto. Capturar, manusear e analisar este imenso volume de dados é um grande desafio. Adicione a isso o fluxo constante de novos dados em mudança e os desafios se tornam maiores. Entretanto, com esses desafios vêm grandes recompensas para as empresas que são capazes de explorar os dados de forma mais eficaz do que seus concorrentes. Agora as empresas não se contentam apenas em saber o que foi vendido, consumido, comprado. A concorrência e a dinâmica dos negócios trazem cada vez mais a necessidade de entender o comportamento, as tendências, as previsões e as incertezas acerca dos dados dos clientes. Fornecedores, parceiros e demais envolvidos em suas cadeias.

Um dos exemplos clássicos e mais ilustrativos do uso do “Big Data é o da empresa americana Target, que investiu no rastreamento das intensões de consumo de seus clientes. Certa vez, o pai de uma adolescente entrou furioso em uma loja da rede nos Estados Unidos, reclamou com o gerente que sua filha adolescente tinha recebido pelos correios cupons promocionais de produtos para gestantes e que a empresa estava estimulando a sua filha a pensar em engravidar. Imediatamente o gerente da loja pediu desculpas, porém, ao retornar  ao cliente uma semana depois, o gerente da loja foi comunicado pelo próprio pai da adolescente que a Target estava correta e sua filha adolescente já estava grávida. Ele apenas não sabia ainda da novidade naquela ocasião. http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/#3db0678a34c6

Outras histórias como essa são comuns quando falamos sobre “Big Data”, porém sempre me lembro das seguintes questões: a privacidade da cliente foi respeitada? Mesmo com a informação correta, a empresa poderia sofrer alguma sanção legal? Em alguns casos, o excesso de informação não pode ser uma “desvantagem” competitiva em vez de ser uma vantagem? Muitas das respostas para essas questões ainda não são unânimes. Para tanto, o mercado tem investido na formação de profissionais dedicados a terem essas respostas. Matemáticos, estatísticos e advogados têm atuado em conjunto para proporcionarem as respostas mais unânimes possíveis.

As tecnologias que sustentam “Big Data” podem ser analisadas sob duas visões: a primeira envolvida com as análises de dados de negócio, geralmente em ambientes de dados analíticos; a segunda com as tecnologias de infraestrutura, que armazenam e processam os petabytes de dados. Neste aspecto, destacam-se os bancos de dados NoSQL. “Big Data” é a comprovação  prática de que o enorme volume de dados gerados diariamente excede a capacidade das tecnologias atuais, geralmente baseadas em bancos de dados relacionais.

Devemos ter em mente que “Big Data” envolve uma grande mudança na forma de trabalho das empresas e não somente uma pequena mudança na adoção de novas ferramentas ou tecnologias. As mudanças são amplas e envolvem aspectos legais, de privacidade e principalmente de Governança de Dados. Neste ponto, a adoção da Gestão de Dados é um importante instrumento para preparar as empresas para o fenômeno “Big Data”.

Como caracterizar o Big Data?

Atualmente, os desafios do “Big Data” podem ser resumidos em cinco palavras ou dimensões, todas com as mesmas iniciais, mais conhecidas como as cinco dimensões “V” do “Big Data”.  São elas: volume, velocidade, variedade, veracidade e valor.

Vale ressaltar que as definições sobre “Big Data” vêm sendo aprimoradas com o decorrer do tempo. Quando iniciei minhas pesquisas sobre o tema, o mercado entendia como desafios apenas três dimensões (volume, velocidade e variedade). Atualmente já são cinco. Portanto, não se assuste se, ao ler futuramente outros materiais sobre o tema, os autores estiverem falando de uma ou duas dimensões a mais na definição deste conceito.

A imagem a seguir demonstra todas as cinco dimensões atuais do “Big Data”.

2

Volume

O volume é o primeiro desafio que as organizações enfrentam ao lidar com o “Big Data”. Corresponde à quantidade de dados armazenados, representados através do tamanho e da quantidade de registros/informações que um banco de dados possui. Quanto maior o volume, maiores os esforços na gestão dos dados.

 

Velocidade

É o desafio de lidar com o tempo rápido de resposta com que os novos dados são criados e os dados existentes, modificados. Esses dados devem estar disponíveis imediatamente para operações de pesquisas e análise dos dados. São os dados em ação.

 

Variedade

Consiste nas implementações de dados que requerem tratamento de vários formatos e tipos, incluindo dados estruturados e não estruturados. Os bancos de dados devem ser capazes de analisar todos estes tipos de dados e fundi-los para produzir resultados de pesquisa e análise que não poderiam ser alcançados anteriormente. São os dados em múltiplas formas e representações.

 

Veracidade

A veracidade consiste no grau de incerteza e inconsistência dos dados devida à ambiguidades, à baixa qualidade e à completeza dos dados. Representa a confiabilidade dos dados.

 

Valor

Corresponde ao retorno, financeiro ou não, que um determinado conjunto de dados fornece à empresa. Atualmente, boa parte dos dados considerados “Big Data” são redundantes, incompletos ou simplesmente não agregam valor ao negócio da empresa. Se a empresa consegue valorar os seus conjuntos de dados, ela consegue focar os esforços na gestão dos dados que dão maior retorno a ela. “Big Data” só faz sentido se o valor da análise dos dados compensar o custo de sua coleta, armazenamento e processamento.

 

Considerações Finais

“Big Data”  promete ser uma realidade nas empresas brasileiras. Seu potencial ainda não é totalmente reconhecido, porém já vemos sinais claros desta importância quando lemos diversos artigos de empresas e organizações internacionais sobre a adoção do “Big Data”.

No Brasil, muito tem se falado sobre o assunto, principalmente os vendedores de soluções, porém os casos reais de utilização ainda são poucos. Estima-se que esta onda de crescimento chegue rapidamente no Brasil, porém tanto as empresas quanto os profissionais ainda não estão totalmente preparados para utilizar o melhor da tecnologia.

A promessa de crescimento da tecnologia do “Big Data” e a falta de preparo dos profissionais não são exclusividade do Brasil. O Gartner prevê que, até 2018, a procura por recursos humanos relacionados com o assunto “Big Data” levará à criação de 4,4 milhões de empregos em todo o mundo, porém apenas um terço dos postos de trabalho será preenchido.

junho 02 2016 0comment

Governança de Dados: O CDO como gerador de valor ao acionista.

Por Alessandro Lemes da Silva

1Atualmente com o modelo de governança corporativa, um aspecto vital às corporações geralmente é desconsiderado. E umas das principais premissas de qualquer organização privada é: “Criar valor para o acionista. Se olharmos a governança corporativa simplesmente por essa abordagem, fica claro que há um grande contrassenso nas deliberações do executivos quanto à implementação da governança em suas empresas.

Hoje, no que é chamado de Economia Moderna, os indicadores que posicionam o valor de uma empresa, quando em processo de valoração, são a capacidade dessa empresa em proteger sua informação e a qualidade destas informações. Significa que a diferença entre uma empresa moderna e uma empresa em busca de modernização está no seu maior valor concentrado nos ativos intangíveis, como marca, percepção de mercado e conhecimento.

Com base nisso, entende-se que os ativos de valor de uma empresa se desdobram sob o prisma da informação. As informações são dotadas de condições de gerar valor ao negócio, validando estratégias e demonstrando cenários empresariais e de negócio por meio do conhecimento, maturidade e qualidade dessas informações. O que conta hoje não é mais o patrimônio imobilizado, mas principalmente na capacidade de gerar retorno sobre os investimentos numa perspectiva de dois ou cinco anos, em consequência de seus diferenciais. E os principais diferenciais agregadores de valor, são personificados em:

  • Bases de dados;
  • Cadastros;
  • Fórmulas e modelos matemáticos;
  • Estudos e técnicas de avaliação de mercado;
  • Projetos

Podemos concluir até aqui que hoje toda a alavancagem estratégica de uma empresa é baseada em informação.

Para ratificar esse pensamento, posso complementar com a ideia de que o cenário empresarial apresentado nos últimos cinco anos evidencia que algumas organizações que surgiram no inicio deste novo século já valem mais do que outras já centenárias. Entendo que pelo simples fato de haver um movimento forte para informatização e processos digitalizados já nascem junto com a empresa; frente à isso, ou as empresas modernizam a forma de captar e gerir suas informações, mudando também sua maneira de pensar e conduzir a gestão do negócio ou naturalmente sairão do jogo. Na caminhada rumo ao desenvolvimento, a palavra chave é informação.

Temos agora um quadro devidamente pintado com as cores das possibilidades e entra em cena um profissional relativamente novo nos quadros, que surgiu de iniciativas inovadoras ou agregou ao longo do tempo atribuições dentro das empresas que compuseram seu novo papel. O CDO, ou o Chief Data Office, atualmente tão valorizado.

O Diretor Executivo de Dados, tradução da sigla em inglês mencionada à cima, tem papel primordial na visão estratégica de governança de dados, considerando que nos últimos 5 anos fomos bombardeados com novidades para persistir grandes volumes de dados, enriquecê-los e analisá-los com a devida performance, o CDO tem atribuições operacionais de criar, tratar, integrar as informações num contexto corporativo com sua magnitude.

Através da figura do CDO, as empresas podem olhar com mais seriedade para as questões de riscos relacionados à informação, sua rastreabilidade e compartilhamento, contribuindo com o posicionamento estratégico, velocidade de respostas ao mercado, transformando bites  em novos produtos e implementando novas iniciativas para garantir a aderência e efetividade das ações de negócio com base nas informações compartilhadas, geradas e mantidas sob sua guarda. O que muitos executivos ainda não se deram conta, é que a responsabilidade final caso ocorra algum incidente relacionado ao vazamento de informação, ataque de um hacker, perda de dados, inconsistência de dados, pouca qualidade dos dados armazenados, entre outros, será sempre da alta administração.

A boa implementação e condução da governança de dados é refletido no potencial competitivo da organização, aumentando a vantagem competitiva, minimizando consequência financeiras. Levando em conta que a ciência dos dados da empresa fazem parte das atribuições do CDO, os modelos matemáticos, estudos preditivos e descritivos e a identificação consequente de novas oportunidades de negocio se dão em velocidade muito maior num ambiente de dados mapeados, rastreados e devidamente enriquecidos, formando uma fonte única de consulta que  traz agilidade e contribui imensamente para a adoção definitiva de um único lado da verdade, em se tratando de divulgação de informações para parceiros, clientes, órgãos regulatórios e seus acionistas.

Devemos ainda levar seriamente em consideração a formação de um fórum de segurança e qualidade. Este fórum já é uma realidade nas grandes organizações e geralmente é composto por membros da alta administração, pela área de administração de dados e pelo security officer (pessoa responsável pelas questões táticas da segurança na empresa), visando proteger os ativos de informação, tanto de ataques e perdas quanto na manutenção da qualidade destas informações. Este processo não é simples e traz consigo uma mudança na cultura administrativa, mas é tão importante, que deve ser tratado como ponto chave na estratégia de uma empresa que pretende continuar posicionada no mercado pelos próximos cinco anos.

 

Alessandro Lemes da Silva é colunista do Blog da Infomev e discute sobre o universo do Business Intelligence (BI).

alessandro@lemesdasilva.com

 

Análise de Dados através do SAS Visual Analytics

Por Alessandro Lemes 

O SAS Visual Analytics fornece self-service BI e geração de relatórios que visam ajudar os usuários não técnicos a identificar padrões significativos e relacionamentos em dados.

Todos sabem que o SAS é um player muito importante no mundo em ferramentas analíticas e que suas ferramentas viabilizam condiçoes de análise com muitos recursos estatísticos para análise descritiva, preditiva e comportamental.

Nos últimos anos o SAS vem investindo alto em unir sua competência analítica com recursos de visualização numa ferramenta de utilização intuitiva e interativa para atender os diversos publicos de usuários não-técnicos que necessidade analisar de forma simples seus conjuntos de dados. Esse resultado foi atingido através do lançamento da sua ferramenta SAS Visual Analytics.

Tenho estudado essa ferramenta desde 2014 em sua versão 6.1, além disso, também tenho acompanhado as inovações de outros players que também têm apresentado ferramentas interessantes e com recursos que visa transferir ao analista de negócios velocidade e independência em analisar dados com recursos de exibição com qualidade visual e mobilidade. Posso garantir que há hoje ferramentas de diversas cores e sabores para atender as expectativas e necessidades, porém quero aqui ressaltar pontos importantes que como usuário pude reconhecer no SAS Visual Analytics.

O SAS Visual Analytics (VA) é distribuído em algumas modalidades de licenciamento como:

SAS Visual Analytics for Cloud: Recurso não popularizado no Brasil, mas que têm vantagens interessantes na redução de custos com infraestrutura e que faz parte do chamado software as a service ou SaaS.

Versão Non-Distributed: Essa é a versão departamental desse produto com menos recursos no que tange à persistência de dados, porém muito recomendado para soluções mais simples para grupos restritos de usuários com objetivos de análise de dados em dados com maior nível de agregação.

Versão Distributed: Essa é a versão mais completa e que atende os requisitos de iniciativas mais abrangentes e que necessitem de análise de grandes volumes de dados com presistência, pois essa versão vem com o Apache Hadoop.

ARQUITETURA DO SAS VISUAL ANALYTICS

SAS VA é uma aplicação Web (web-based) que apresenta vantagens de análise de dados In-Memory.

Diversos componentes fazem parte dessa arquitetura para prover funcionalidades para exploração de dados, geração de relatórios, preparação de dados e administração do ambiente:

1

  • O SAS VA primeiramente provê um ambiente totalmente adequado à análise de dados;
  • O componente Designer viabiliza recursos práticos e sofiticados para a criação e distribuição de relatórios;
  • Analistas também podem criar DashBoards e painéis que podem ser compartilhados, inclusive com interação do grupo de trabalho;
  • Executivos e tomadores de decisão podem consumir os relatórios e DashBoards, visualizando os resultados através de acesso Web ou recursos de mobilidade como tablet ou celular;
  • Administradores de dados ou analístas avançados podem preparar dados e carregá-los no ambiente para que possam ser utilizados por outros grupos de trabalho;
  • Administradores de sistemas podem utilizar o componente VA Administrator para tratar dos mecanismos de LASR, carregar dados em memória e monitorar o ambiente.
    Arquitetura do SAS VA
    Arquitetura do SAS VA

    OS COMPONENTES DO SAS VISUAL ANALYTICS

    SAS Visual Analytics Explorer

    Esse componente oferece ferramenta de visualização interativa tais como gráficos e tabelas. O Explorer permite a análise de dados e recursos como forecasting e correlações. Veja abaixo um exemplo de análise com Forecasting apresentado num gráfico de linha.

  • Um gráfico de linha no SAS VA
    Um gráfico de linha no SAS VA Explorer

    Desde a versão 6.2, o componente Explorer oferece a condição de criar árvores de decisão, que representa graficamente uma tabela de decisão, esse é o recurso mais práticos e utilizados em influência inditiva. Esse recurso classifica instâncias ordenando-as da raíz para algum nó folha, onde cada nó da árvore representa um atributo.

    Veja abaixo um exemplo de Árvore de Decisão no SAS VA.

    Exemplo de árvore de decisão no SAS Visual Analytics
    Exemplo de árvore de decisão no SAS Visual Analytics

    Um  dos recursos que julgo ser muito importante e de fácil utilização é o GEO MAP  que oferece recurso de visualização em condições de GEO Localização, plotando mapas com base em resultados referênciados por latitude e longitude.

    1 Esse tipo de gráfico oferece todo o recurso de Drill-Down para que sejam analisados resultados com níveis até cidade. É possíveis tornar esse recurso ainda mais detalhado com serviços especializados de mapas.

     

     

 

 

Painéis com aparência profissional e de visualização simples, com objetos relacionados que possibilita a exploração em diversos níveis da mesma informação através de recursos de drill-down.

1Esse tipo de painel mescla formas diversas de gráficos onde é possível relacioná-los de maneira que ao clicar sobre uma fatia do gráfico de pizza, automaticamente os outros gráficos da tela sensibilizem o resultado baseado no valor da fatia da pizza que foi selecionada. Elegância e praticidade reunidas numa mesma tela e com um processo de desenvolvimento muito mais rápido do que os métodos tradicionais.

 

 

SAS Visual Analytics Data Builder

Administradores de Dados podem usar o módulo Data Builder para preparar dados à serem analisados. É possível desenhar queries que juntam dados, selecionam e os cruzam de maneira à obter-se consultas que respondam a necessidade do negócio, além disso, pode-se incluir as chamadas “colunas calculadas” que são registros de valores derivados e definidos condicionalmente.

1

O administrador dos dados pode simplesmente cruzar tabelas já carregadas na memória ou somar ao conjunto de dados tabelas que ainda não foram carregadas, mantendo em memória. A versão 6.3 do SAS VA trouxe a possibilidade de criar modelos em estrela ou star schemas.

Por fim, as instruções de cruzamento de dados obtidas através do Data Builder podem ser programadas para execuções em periodicidades fixas conforme algum intervalo de tempo.

SAS Visual Analytics Versão Distribuída

SE vocês tem um grande volume de dados para serem analisados e um histórico grande de informações que precisa ser armazenada de maneira persistente para futuros estudos e análise, considere adotar o VA em sua versão distribuída. Veja a arquitetura dessa versão:

2Nessa arquitetura temos diversos outros componentes que viabilizam acesso rápido a grandes volumes de dados armazenados em um ecossistema Hadoop com a facilidade de utilizar-se de nós computacionais para acessar e consumir todo o volume de dados conforma a necessidade.

Esse tipo de solução também é muito indicado para projetos de Business Analytics corporativos, pois podem atender a diversos grupos de negócio com processamento paralelo e centrado num repositório único de dados.

 

 

Como se pode ver na figura à cima, nessa versão do produto o SAS LASR Server está distribuído em múltiplos nós processando informações à partir de um recipiente único de dados. Vale dizer que esse tipo de repositório de dados oferece redundância suficiente aos dados com cópias armazenadas em diferentes nós e com isso a velocidade obtida como resposta às requisições é bem alta. Dessa forma as requisições são paralelizadas através dos diversos nós computacionais trazendo a velocidade esperada pelos cientistas de dados e analistas de negócio.

É possível utilizar outras distribuições de Hadoop num ambiente Visual Analytics como, por exemplo:

  • SAS High-Performance Deplyment of Hadoop (nativo)
  • Cloudera´s Distribuition Including Apache Hadoop
  • Teradata Data Warehouse Appliance
  • Pivotal Data Computing Appliance
  • Hortonworks Data Platform

 CONSIDERAÇÕES AO IMPLEMENTAR

Para que seu projeto em SAS Visual Analytics não se torne um problema institucional, cabe observar fatores importantes para adequação dos dados e equilíbrio do entorno tecnológico de um ambiente SAS.

  1. Detalhe cuidadosamente os requisitos: Os requisitos do projeto devem oferecer a resposta para a decisão de usar tecnologia Analytics ou solução de Bisuiness Intelligence clássica. Se houver necessidade de análise descritiva, comportamental ou preditiva baseada em informações para modelagem estatística clássica, você deve considerar outras soluções como o SAS Visual Statistics, por outros lado se o seu cliente necessidade explorar dados, analisar resultados sob outras perspectivas, gerar relatórios ou Dashboards para compartilhamento com outros grupos de trabalho, certamente o SAS VA irá atende-lo muito bem e por último, se seu cliente precisa apenas acompanhar resultados concluídos, performance de indicadores e índices sem inferência ou exploração desses dados, considere o BI Clássico, em outras palavras o SAS Enterprise BI.
  2. Avalie suas origens de dados: A rastreabilidade dos dados numa solução de BI ou BA é fundamental para questões de compliance e auditoria, principalmente para empresas que tratam com regras normativas ou regulatórias. Criei soluções de carga de dados baseada em rastrear a origem, documentar as transformações e registrar o consumo, tomando cuidados com a avaliação volumétrica inicial e vegetativa, uma vez que seu repositório de dados passa a ser o organismo principal da solução.
  3. Avalie a maturidade do seu cliente: Através e Workshops internos e/ou treinamentos externos, envolva seu cliente na discussão sobre o uso prático da solução, independente da ferramenta que será adotada, lembre-se que seu cliente valoriza soluções de grande apelo visual e simplicidade de uso, porém a falta de maturidade pode condenar mesmo a ferramenta mais impressionante em recursos. Lembre-se que a escolha da ferramenta certa é:
  4. a junção da maturidade de quem irá utilizá-la;
  5. a qualidade das informações disponíveis;
  6. a facilidade de uso da ferramenta;
  7. a performance da obtenção dos resultados.