maio 04 2018 0comment

Do conhecimento a sabedoria – A interação humana aos dados

Por Alessandro Lemes da Silva

Nos atuais dias, tenho acompanhado iniciativas computacionais que visam enriquecer o ambiente corporativo com uma infinidade de informações, tratadas à medida e disponíveis a todo o segmento do conhecimento interno nas corporações.

Grandes repositórios de dados têm sido criados, nomes e termos semânticos específicos para qualificá-los, ambientes complexos e com tecnologia complexa têm surgido como meios de atender a demanda e a velocidade do negócio.

Projetos de longa duração e com custos significativos são instituídos para capturar, enriquecer e distribuir informação que por sua vez é armazenada em volumes de dados antes ainda não vistos.

Diversos vendors têm invadido o mercado com ferramentas diversas e propostas diversas, além de formas diversas para implementar e interagir com essas informações com o objectivo de ser visualmente impactante, usualmente simples e que ofereça velocidade na análise de volumes consideráveis destas informações.

As novas técnicas de administração dessas ferramentas, arquitetura de dados e governança têm obrigado as empresas a criar novos departamentos, totalmente voltados ao fortalecimento das competências centralizadas de gestão e distribuição destas informações, por meio de federação, data lakes, níveis de maturidade e diversas outras técnicas de organização.

Passamos décadas acumulando dados e outras tantas transformando-os em informação e agora chegamos na altura de extrairmos os resultados esperados que nos traga velocidade na tomada de decisão, time to marketing e outros nomes que encontramos no mercado.

 

Chegamos na onda do Big Data, da inteligência artificial e deixamos de lado os aspectos críticos relacionados com a recolha, processamento, enriquecimento e tratamento destes dados no âmbito da análise. É importante que quem pratica a ciência dos dados o faça compreendendo estes aspectos críticos e tenha a consciência da primazia humana sobre os tais dados no sentido de acrescentar-lhes elementos baseados na experiência do contexto onde as análises são feitas, particularidades criadas à partir das histórias que os dados contam e a sensibilidade em interpretar resultados frios gerados à partir do modelos estatísticos, tendo à mão o conhecimento estrito do negócio, seu segmento e o contexto em que este está inserido.

Relaciono a baixo pontos que podem melhor ilustrar esse pensamento:

  1. Cuidados dedicados aos dados

Cada fragmento de dados está ligado direta ou indiretamente aos seres humanos. Pode ser a data de nascimento de alguém, data de mudança do seu estado civil, endereço, rendimentos e detalhes da vida financeira, etc. As organizações têm a responsabilidade de cuidar destes dados mais do que nunca, por uma questão regulatória ou por razões comerciais, afinal informação é dinheiro e informações que lhe podem criar nova oportunidades de negócio são ativos de alto valor. Os que negligenciam a proteção aos dados podem hoje pagar alto preço e comprometer a sobrevivência da organização. Exemplo disto está na recente fuga de dados da Equifax, esta falha de segurança trouxe-nos lições importantes e reforçou o cuidado como atitude que visa o compliance e fortalece o compêndio de segurança das corporações como sinal de maturidade no uso das informações.

 

  1. Compreender o contexto dos dados

Nenhuma solução analítica ou de inteligência de negócios, BI clássico, dinâmicas preditivas, Inteligência artificial ou qualquer outra técnica conhecida irá disponibilizar resultados mágicos de que está à procura. É preciso compreender o contexto ao qual os dados estão a ser empregados. Negligenciar características populacionais ou geográficas pode comprometer uma campanha de marketing por falhar na abordagem correta.

Um modelo preditivo pode perder toda a sua eficácia se aquilo que em princípio parece ser um mero detalhe, no montante do universo dos dados se tornar uma característica comportamental ou superar os limites da estatística descritiva. Outro exemplo é o modo como os números de vendas de uma empresa precisam de ser analisados. Tipicamente as mudanças nos números das vendas devem ser analisadas a partir de contexto econômico, político e social, para se conseguir obter informações úteis.

 

  1. Os dados nos permitem contar histórias

Um dos recursos analíticos é a possibilidade de se montar um cenário que nos traz ao longo do tempo o contexto histórico através dos dados, especialmente dentro do âmbito do Big Data, a densidade de informações e sua abrangência, permite visualizar todo o contexto histórico acerca de um assunto de negócio. Existe uma enorme lacuna de recursos humanos, nomeadamente em termos de capacidades de interpretação das informações analíticas e na explicação das mesmas numa linguagem simples e de fácil compreensão. O storytelling de dados já não é um trabalho imaginário. É uma capacidade essencial que todas as pessoas que trabalham com dados deveriam ter!

 

Afinal, qual a importância da interacção humana com os dados?

Muitos projetos de Big Data falham, em parte, porque as organizações falham em adicionar um toque humano ao contexto dos Dados. Ao melhorar a qualidade das informações analíticas podemos reduzir a taxa de insucesso dos projetos de big data. Através do storytelling de dados podemos garantir que os conhecimentos analíticos têm um maior e mais profundo impacto sobre as pessoas e organizações. Além disso, ao tomar medidas de proteção dos dados as organizações eliminam o elevado risco causado pelas quebras de segurança dos dados.

Em suma, podemos afirmar que os dados trazem conhecimento as organizações, entretanto a interação humana aos dados resultam em sabedoria.

 


Alessandro Lemes da Silva é colunista do Blog da Infomev e discute sobre o universo do Business Intelligence (BI).

fevereiro 27 2018 0comment

Informação rara ou comum, qual a mais importante?

Por Alessandro Lemes da Silva

No mundo de análise de dados, encontrar um padrão que seja muito frequente é ótimo. Por exemplo, um supermercado descobrir que a maioria das pessoas compram feijão às Terças-feiras (hipotético). Ou uma área de engenharia mecânica de uma empresa de bens de capital, descobrir que 90% das causas de quebra em máquinas é devido ao mau uso delas. Isto permitirá a estas organizações melhorarem suas estratégias de marketing, investimentos, produção, logística, estoque, vendas, compras, etc.

Por outro lado, imagine se o referido supermercado descobrisse que há pessoas a comprar feijão aos Domingos e o número dessas pessoas representasse uma grande minoria, talvez duas ou três pessoas. O que isto tem de interessante? E se um engenheiro da tal empresa de bens de capital descobrisse que 1% das quebras são devido a uma única peça?

Primeiro, o valor da descoberta pode estar associado ao retorno do investimento (ROI), o quanto a informação pode trazer financeiramente para a empresa. Por exemplo, o pequeno universo de 1% de máquinas que quebram, pode ser evitado ao se descobrir a peça defeituosa e muito dinheiro para a empresa pode ser poupado.

Segundo, algumas raridades de padrões podem suscitar hipóteses para novas teorias. No caso do supermercado, talvez seja interessante fazer campanhas para as pessoas comprarem o feijão aos Domingos. Pode ser um novo padrão, ainda adormecido (que precisa ser despertado). As fábricas de cerveja já descobriram que muitas mulheres bebem cerveja, apesar de serem a minoria. Mas as propagandas ainda são voltadas majoritariamente ao público masculino. Pode ser esta uma nova oportunidade de promoção. São os chamados “nichos de mercado”, a estratégia do Oceano Azul. Steve Jobs não perguntou se as pessoas queriam um iPad. Ele fez e foi o maior sucesso.

Terceiro, mas não esgotando as possibilidades, o que é raro pode fazer uma enorme diferença no mundo competitivo. Saber o que ninguém mais sabe, pode ser uma vantagem econômica (veja os investidores nas Bolsas de Valores). Há uma lenda de um inglês que ficou sabendo, durante a guerra entre Inglaterra e França, que a Inglaterra iria vencer. Então ele voltou às pressas para seu país e começou a vender tudo o que tinha. As pessoas, sabendo que ele voltava do campo de batalha, também começaram a vender tudo, achando que a Inglaterra tinha perdido. Aí ele então passou a comprar tudo por baixíssimos preços, informação traz privilégio e oportunidade.

Agir de forma diferente pode chamar atenção (produtos personalizados, novos estilos de moda). O novo gênio do xadrez, o norueguês Magnus Carlsen (o “Mozart do Xadrez”) não usa técnicas usuais. Todos grandes jogadores conhecem todas as estratégias. Então ele faz algo inesperado, fora dos padrões, e desconcerta os adversários, que não entendem o padrão, não conseguem prever as próximas jogadas e ficam nervosos. Aconteceu assim com Gary Kasparov.

No munda das fraudes, profissionais especializados utilizam técnicas de Data Mining para prever ações e comportamento de fraudadores, um novo comportamento pode ser uma nova atitude fraudulenta e, portanto, antever através de técnicas de mineração de dados em busca de padrões comportamentais pode ser o diferencial para evitar perdas financeiras.

Por isto, processos de BI devem procurar padrões com alta frequência ou probabilidade estatística, mas os analistas de BI devem também estar atentos a momentos raros, eventos pouco frequentes.

 

O valor da Informação

Na história da humanidade, o valor de uma mercadoria é diretamente proporcional à raridade dela. É assim com ouro, diamante, carros, obras de arte e livros antigos. Um produto muito comum no mercado perde valor e seu preço diminui, em outras palavras, isso é a chamada lei da oferta e procura.

A Teoria da Informação diz que a quantidade de informação de um evento é calculada pela sua probabilidade. Quanto menos provável o evento, maior a quantidade de informação associada ou que ele carrega. Por exemplo, alguém dizer que meteoritos rondam nosso planeta tem menos informação que alguém dizer que um meteorito vai se chocar com a Terra dentro de 1 ano.

 

Valor pela Demanda

Mas pela Lei da oferta e da procura, se também poucos querem ou precisam da mercadoria, o valor é menor. Então o valor também é diretamente proporcional à sua demanda ou necessidade. Se há maior demanda, o preço sobe.

Por isto, redes sociais, aplicativos como Waze e aparelhos tipo fax só têm valor se muitas pessoas aceitarem e usarem. O Youtube só foi vendido por 1,6 bilhão de dólares porque tinha muitos fiéis. O Google tinha o Google Vídeos com tecnologia melhor, mas bem menos usuários.

Esse fenômeno se viu com o Orkut, que ao se popularizar, provou da migração em massa para a então novidade do momento chamado Facebook.

Chris Anderson identificou o fenômeno da Cauda Longa na Era da Internet. Há muitas empresas oferecendo produtos que vendem pouco. A Amazon tem todo tipo de livro e aceita vender e entregar mesmo os que são pouco procurados. O custo da entrega é muito baixo, efeitos da globalização, combinada ao ótimo processo de logística apoiado por software de workflow e simulação de rotas, e parceiros de transporte.

Se você for numa revistaria agora, verá que há muitas revistas especializadas, para públicos muito pequenos. Não sei como as editoras ganham dinheiro imprimindo tais revistas. É possível que você encontre uma revista de náutica só sobre lanchas. Há também canais em TVs por assinatura que são muito específicos (exemplo: canal de dança).

Uma possível explicação pode estar na necessidade de diferenciação, de ter algo raro, como já comentei antes.

 

Esgotamento e Imunidade

Uma explicação possível é o esgotamento ou imunidade. Malcolm Gladwell, no livro “O ponto da virada”, diz que as pessoas perdem interesse em algumas tecnologias quando há muitos usuários. E aí tendem a trocar por algo mais novo ou inovador.

Exemplo disso pode ser o facto de poucas pessoas atenderem ao telefone fixo hoje em suas residências ou mesmo preferirem não o ter em casa, porque as empresas de telemarketing estão a esgotar a paciência de todos.

A participação das massas, da maior parcela da população, faz grupos restritos como as elites desertarem. Deixa de ser moda, não é mais atraente e perde o valor. Gladwell fala da Regra dos 150 de Dunbar. Quando a rede ou grupo chega a este número de membros ou elementos, fica difícil coordenar ou participar ou entender as relações, e os relacionamentos enfraquecem, o interesse diminui (Granovetter, 1973).

Final

Algumas pessoas querem ser pioneiras. Outras só aceitam algo se outros já aceitaram. Outros só aceitam depois que muitos já aceitaram. E outros esperam a grande maioria. Carl Rogers propôs um modelo que explica a adoção de inovações. O modelo divide as pessoas em: inovadores, primeiros adeptos, a maioria, e os retardatários. Onde você se encaixa?

 

BIBLIOGRAFIA:

GLADWELL, Malcolm. O ponto da virada – como pequenas coisas podem fazer uma grande diferença (original: the tipping point). Rio de Janeiro: Sextante, 2013.

GRANOVETTER, Mark S. The strength of weak ties. American Journal of Sociology, v.78, n.6, Maio de 1973, p.1360-1380.

ROGERS, E. M. Diffusion of innovations. 5.ed. New York: Free Press, 2003.

agosto 08 2017 0comment

O que compõe o perfil de um ótimo administrador SAS

Por Alessandro Lemes

Em mais de 15 anos de experiência e já com 10 em administração SAS, eu afirmaria que o melhor administrador SAS seria um indivíduo com uma compreensão profundamente experiente da administração de servidor e/ou desktop, bem como o uso dos softwares SAS, que compõem as suites de solução e que pertence ao mundo exclusivo dos utilizadores de TI e de negócios.

Para que as soluções SAS sejam implementadas e funcionem de forma otimizada, três componentes principais precisam ser configurados e gerenciados efetivamente:

  1. Software para instalação de hardware.
  2. Gerenciamento de metadados.
  3. Configuração e acesso do usuário.

A administração de todos os três componentes geralmente requer habilidades e treinamento com administração de servidor e desktop, além da configuração do software SAS, incluindo Metadados. O arranjo e a administração da infra-estrutura de TI da organização terão um impacto direto nos recursos humanos que são usados para lidar com cada um dos componentes.

Esta pessoa deve entender das interações de hardware e software para otimizar as configurações do sistema que irão tirar o melhor desempenho da solução e assegurar a integração adequada das ferramentas SAS Enterprise Business Intelligence.

Eu recomendaria que a função de administrador do SAS fosse ocupada por um veterano experiente com pelo menos 10 anos de experiência em programação SAS, juntamente com habilidades comprovadas em configuração de hardware para servidor e PC. Organizacionalmente, eu recomendaria que a função de administrador do SAS se reportasse para uma área operacional de negócios – servindo como uma ligação (pessoa do ponto) entre o grupo de suporte de TI e o setor empresarial.

É comum termos os administradores SAS lotados nas áreas de infraestrutura, não é o fim do mundo, mas esse administrador deve ter em mente que o seu cliente é negócios e o alinhamento de suas metas enquanto provedor de serviço deve passar por essas áreas.

Recomendo leitura detalhada do material contido na página do suporte SAS para você que é ou deseja ser um administrador.

 


Alessandro Lemes da Silva é colunista do Blog da Infomev e discute sobre o universo do Business Intelligence (BI).

junho 30 2016 0comment

Vamos Falar de Big Data

Por Alessandro Lemes da Silva

Nos últimos anos, grandes fabricantes de soluções de TI têm debatido com uma frequência muito alta a respeito do termo “Big Data”. Vários artigos e reportagens têm sido publicados ultimamente. Muitos desses artigos foram patrocinados por grandes empresas de soluções de TI. A grande maioria delas já possui produtos e soluções de consultoria à disposição em seus portfólios.

1As definições sobre “Big Data” têm sido aprimoradas com o tempo e, no decorrer do tempo, alguns mitos são extintos e outros novos são criados.

Um dos primeiros mitos que ainda persiste no mercado é o fato de que “Big Data” só se aplica a dados não estruturados. Outro mito, ou percepção geral, é de que a maioria das empresas ainda não está preparada ou não possui necessidades de trabalhar com este conceito.

Mas afinal o que é “Big Data”? De forma geral, quando falamos de “Big Data” estamos nos referindo ao crescimento exponencial dos dados, à utilização e ao armazenamento de dados em grandes volumes que desafiam os métodos convencionais de análise e gestão dos dados. Ou seja, é um volume enorme de dados que, por vezes, dependendo das características dos dados e das empresas, devem ser armazenados e processados por mecanismos diferentes do que estávamos habituados.

Vale destacar que os dados podem estar armazenados em formas estruturadas ou não.

Atualmente nossa sociedade gera dezenas de petabytes de informações por dia dos mais variados tipos, entre elas:

  • Informações comuns, como cadastro de clientes, fornecedores, funcionários, produtos, marketing e vendas.
  • Informações sobre dados manipulados nos sistemas de empresas, tais como movimentações bancárias, transações de venda e compra de conteúdo, produtos e serviços.
  • Dados das mídias sociais como Facebook, LinkedIn e Instagram.
  • Dados de sensores e monitoramentos temporais.
  • Dados oriundos de satélites e aplicações geoespaciais.
  • Dados em formato multimídia, como imagens, sons e vídeos.

Um único arquivo de vídeo ou imagem é infinitamente maior em bytes do que uma página simples de texto. Capturar, manusear e analisar este imenso volume de dados é um grande desafio. Adicione a isso o fluxo constante de novos dados em mudança e os desafios se tornam maiores. Entretanto, com esses desafios vêm grandes recompensas para as empresas que são capazes de explorar os dados de forma mais eficaz do que seus concorrentes. Agora as empresas não se contentam apenas em saber o que foi vendido, consumido, comprado. A concorrência e a dinâmica dos negócios trazem cada vez mais a necessidade de entender o comportamento, as tendências, as previsões e as incertezas acerca dos dados dos clientes. Fornecedores, parceiros e demais envolvidos em suas cadeias.

Um dos exemplos clássicos e mais ilustrativos do uso do “Big Data é o da empresa americana Target, que investiu no rastreamento das intensões de consumo de seus clientes. Certa vez, o pai de uma adolescente entrou furioso em uma loja da rede nos Estados Unidos, reclamou com o gerente que sua filha adolescente tinha recebido pelos correios cupons promocionais de produtos para gestantes e que a empresa estava estimulando a sua filha a pensar em engravidar. Imediatamente o gerente da loja pediu desculpas, porém, ao retornar  ao cliente uma semana depois, o gerente da loja foi comunicado pelo próprio pai da adolescente que a Target estava correta e sua filha adolescente já estava grávida. Ele apenas não sabia ainda da novidade naquela ocasião. http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/#3db0678a34c6

Outras histórias como essa são comuns quando falamos sobre “Big Data”, porém sempre me lembro das seguintes questões: a privacidade da cliente foi respeitada? Mesmo com a informação correta, a empresa poderia sofrer alguma sanção legal? Em alguns casos, o excesso de informação não pode ser uma “desvantagem” competitiva em vez de ser uma vantagem? Muitas das respostas para essas questões ainda não são unânimes. Para tanto, o mercado tem investido na formação de profissionais dedicados a terem essas respostas. Matemáticos, estatísticos e advogados têm atuado em conjunto para proporcionarem as respostas mais unânimes possíveis.

As tecnologias que sustentam “Big Data” podem ser analisadas sob duas visões: a primeira envolvida com as análises de dados de negócio, geralmente em ambientes de dados analíticos; a segunda com as tecnologias de infraestrutura, que armazenam e processam os petabytes de dados. Neste aspecto, destacam-se os bancos de dados NoSQL. “Big Data” é a comprovação  prática de que o enorme volume de dados gerados diariamente excede a capacidade das tecnologias atuais, geralmente baseadas em bancos de dados relacionais.

Devemos ter em mente que “Big Data” envolve uma grande mudança na forma de trabalho das empresas e não somente uma pequena mudança na adoção de novas ferramentas ou tecnologias. As mudanças são amplas e envolvem aspectos legais, de privacidade e principalmente de Governança de Dados. Neste ponto, a adoção da Gestão de Dados é um importante instrumento para preparar as empresas para o fenômeno “Big Data”.

Como caracterizar o Big Data?

Atualmente, os desafios do “Big Data” podem ser resumidos em cinco palavras ou dimensões, todas com as mesmas iniciais, mais conhecidas como as cinco dimensões “V” do “Big Data”.  São elas: volume, velocidade, variedade, veracidade e valor.

Vale ressaltar que as definições sobre “Big Data” vêm sendo aprimoradas com o decorrer do tempo. Quando iniciei minhas pesquisas sobre o tema, o mercado entendia como desafios apenas três dimensões (volume, velocidade e variedade). Atualmente já são cinco. Portanto, não se assuste se, ao ler futuramente outros materiais sobre o tema, os autores estiverem falando de uma ou duas dimensões a mais na definição deste conceito.

A imagem a seguir demonstra todas as cinco dimensões atuais do “Big Data”.

2

Volume

O volume é o primeiro desafio que as organizações enfrentam ao lidar com o “Big Data”. Corresponde à quantidade de dados armazenados, representados através do tamanho e da quantidade de registros/informações que um banco de dados possui. Quanto maior o volume, maiores os esforços na gestão dos dados.

 

Velocidade

É o desafio de lidar com o tempo rápido de resposta com que os novos dados são criados e os dados existentes, modificados. Esses dados devem estar disponíveis imediatamente para operações de pesquisas e análise dos dados. São os dados em ação.

 

Variedade

Consiste nas implementações de dados que requerem tratamento de vários formatos e tipos, incluindo dados estruturados e não estruturados. Os bancos de dados devem ser capazes de analisar todos estes tipos de dados e fundi-los para produzir resultados de pesquisa e análise que não poderiam ser alcançados anteriormente. São os dados em múltiplas formas e representações.

 

Veracidade

A veracidade consiste no grau de incerteza e inconsistência dos dados devida à ambiguidades, à baixa qualidade e à completeza dos dados. Representa a confiabilidade dos dados.

 

Valor

Corresponde ao retorno, financeiro ou não, que um determinado conjunto de dados fornece à empresa. Atualmente, boa parte dos dados considerados “Big Data” são redundantes, incompletos ou simplesmente não agregam valor ao negócio da empresa. Se a empresa consegue valorar os seus conjuntos de dados, ela consegue focar os esforços na gestão dos dados que dão maior retorno a ela. “Big Data” só faz sentido se o valor da análise dos dados compensar o custo de sua coleta, armazenamento e processamento.

 

Considerações Finais

“Big Data”  promete ser uma realidade nas empresas brasileiras. Seu potencial ainda não é totalmente reconhecido, porém já vemos sinais claros desta importância quando lemos diversos artigos de empresas e organizações internacionais sobre a adoção do “Big Data”.

No Brasil, muito tem se falado sobre o assunto, principalmente os vendedores de soluções, porém os casos reais de utilização ainda são poucos. Estima-se que esta onda de crescimento chegue rapidamente no Brasil, porém tanto as empresas quanto os profissionais ainda não estão totalmente preparados para utilizar o melhor da tecnologia.

A promessa de crescimento da tecnologia do “Big Data” e a falta de preparo dos profissionais não são exclusividade do Brasil. O Gartner prevê que, até 2018, a procura por recursos humanos relacionados com o assunto “Big Data” levará à criação de 4,4 milhões de empregos em todo o mundo, porém apenas um terço dos postos de trabalho será preenchido.