Muito tem se falado de Big Data, e começam a aparecer algumas soluções interessantes no mercado, inclusive open source, mas poucas são as definições do que é Big Data e qual sua importância para o mundo dos negócios.
O termo tem sido usado para definir grandes quantidades de dados armazenados pelas empresas mas, principalmente, dados não estruturados, como logs de acesso, dados de sensores, frases escritas por funcionários e clientes, dados de redes sociais, posições geográficas, e-mails, arquivos no servidor de arquivos, entre outros.
Todos sabem que a evolução da tecnologia tem seguido a Lei de Moore, que prevê que a capacidade de processamento e armazenamento dobra a cada 18 meses, e isso tem nos proporcionado cada vez mais capacidade de armazenamento.
Por outro lado, a Lei de Parkinson, quando aplicada a computação, determina que toda a capacidade disponível tende a ser ocupada, e isso nos dá mais dados para armazenar e, principalmente, analisar, o que tem se tornado inviável com ferramentas convencionais.
É aí que entram as ferramentas de análise de Big Data, que permitem o tratamento de grandes quantidades de informações, estruturadas ou não, para gerar novas análises e entendimento sobre as informações existentes.
Arquiteturas de Big Data
O grande diferencial dessas ferramentas é a capacidade de processamento distribuído, o que permite criar um cluster dedicado com vários servidores, com grande capacidade de processamento e armazenamento, sem a necessidade de equipamentos especializados e normalmente tolerantes a falha.
Em termos de arquitetura, as ferramentas de Big Data utilizam a capacidade de processamento e armazenamento em paralelo, ao invés de utilizar um computador único cada vez maior. Esse conceito já era defendido por Grace Hopper:
“In pioneer days they used oxen for heavy pulling, and when one ox couldn’t budge a log, we didn’t try to grow a larger ox. We shouldn’t be trying for bigger computers, but for more (systems of computers).”
Casos de Uso
Estima-se que apenas 20% dos dados de uma empresa são dados estruturados, usados para a tomada de decisões, e é aí que entra a capacidade das novas ferramentas, que vão além do banco de dados relacional, permitindo correlacionar dados de diversas fontes e nos mais variados formatos, como documentos, planilhas, emails, imagens e até vídeos.
Um caso de uso bem comum é utilizar o cluster de Big Data para Business Analytics ou Business Inteligence. Em empresas maiores, a quantidade de dados estruturados pode chegar a números bem expressivos, o que pode inviabilizar a consulta em um banco de dados relacional comum.
Nesses casos, exportar o conteúdo desses bancos para um ambiente de Big Data pode viabilizar a execução, pois o SGBD em Big Data é focado apenas no dado, e não na indexação, relacionamento e validação dos dados como num SGBD comum, permitindo executar consultas que seriam inviáveis em termos de tempo de execução e recursos computacionais das soluções convencionais.
Desafios
O primeiro desafio do Big Data é a coleta de dados para dentro do cluster. Normalmente fala-se de enormes quantidades de dados sendo gerados em uma taxa maior do que um servidor seria capaz de processar e armazenar, e é aí que entram os clusters, com vários nós capturando essas informações e distribuindo entre os outros nós do cluster para manter a tolerância a falha.
O segundo desafio é processar essas informações. Como elas estão distribuídas, a aplicação deve ser capaz de consumir pequenas partes das informações e gerar pequenas partes de dados processados, que depois serão calculados em conjunto para criar o resultado final. Isso normalmente requer um desenvolvimento específico para o processamento desses dados.
A parte mais simples é a exibição dos resultados, os arquivos gerados normalmente são resumos das informações, agrupando conforme necessário, de forma que alguém possa entender e tomar uma decisão sobre aqueles dados.
Existe SQL em Big Data?
Uma das formas criadas para aproveitar o conhecimento já existente no mercado sobre a linguagem SQL, foi desenvolver ferramentas que suportassem SQL (Structured Query Language), comumente utilizada em SGBD.
Assim, nasceram aplicações como Cassandra, MongoDB, Hive e Impala (essas duas últimas rodam sobre Hadoop), capazes de executar comandos comuns de SQL em clusters de Big Data.
Isso torna um pouco mais fácil o desenvolvimento para Big Data, pois aproveita um conhecimento já existente, mas Big Data ainda não é um conceito tão simples quanto Plug and Play.
Também o uso dessas ferramentas pode gerar uma expectativa irreal quanto a performance e funcionamento, todas essas ferramentas são muito novas, com comandos limitados, e o fato de executar distribuído faz consultas pequenas demorarem muito mais do que em um SGBD comum. A vantagem delas está realmente na hora de trabalhar grandes quantidades de dados, onde o overhead da computação distribuída é insignificante frente a quantidade de dados a serem processados.
Conclusão
Big Data é uma tecnologia que é realidade para grandes empresas. Tem tido rápida adoção para pesquisas, análise de negócios, detecção de fraudes, entendimento de comportamento dos consumidores, entre outros; mas os requisitos iniciais estão longe da realidade da maioria das pequenas e médias empresas, principalmente no Brasil.
Também as aplicações ainda são muito específicas e normalmente desenvolvidas sob demanda, o que aumenta ainda mais os custos iniciais de implantação e desenvolvimento.
Mas a predominância principalmente de ferramentas open source, a capacidade de executar sobre hardware comum e a tendência de aparecerem novos fornecedores nesse mundo deve trazer essa realidade em breve para pequenas e médias empresas.
Também deve ser comum a adoção de Big Data em Cloud Computing, principalmente para processar dados obtidos na própria Internet.
ENGENHARIA DE REDES E PROTEÇÂO ATIVA CONTRA CYBERATAQUES - (11) 4384 4325 - WWW.DERECO.COM.BR
Seu ambiente de TI monitorado e sempre à disposição.
Através de seu Centro de Gerenciamento (NOC), a DERECO TECNOLOGIA gerencia a infraestrutura de TI e monitora redes, servidores e serviços, mantendo-os sempre disponíveis, com correções preventivas, para tornar o ambiente cada vez mais atualizado e seguro.
Consulte-nos
www.dereco.com.br
(11)4384 4325
----------------------------------------------------------------------------------------------------------------------------------
Monitoramento de redes Serviços
Monitoramento de redes Empresas
Monitoramento de redes Consultoria
Monitoramento de redes Osasco
Monitoramento de redes Alphaville
analise de trafego de redes Serviços
analise de trafego de redes Empresas
analise de trafego de redes Consultoria
analise de trafego de redes Osasco
analise de trafego de redes Alphaville
engenharia de redes Serviços
engenharia de redes Empresas
engenharia de redes Consultoria
engenharia de redes Osasco
engenharia de redes Alphaville
implantação de redes Serviços
implantação de redes Empresas
implantação de redes Consultoria
implantação de redes Osasco
implantação de redes Alphaville
configuração de redes Serviços
configuração de redes Empresas
configuração de redes Consultoria
configuração de redes Osasco
configuração de redes Alphaville
cabeamento estruturado Serviços
cabeamento estruturado Empresas
cabeamento estruturado Consultoria
cabeamento estruturado Osasco
cabeamento estruturado Alphaville
projetos de redes Serviços
projetos de redes Empresas
projetos de redes Consultoria
projetos de redes Osasco
projetos de redes Alphaville
configuração de load balance Serviços
configuração de load balance Empresas
configuração de load balance Consultoria
configuração de load balance Osasco
configuração de load balance Alphaville
configuração de fail over Serviços
configuração de fail over Empresas
configuração de fail over Consultoria
configuração de fail over Osasco
configuração de fail over Alphaville
implantação de ubiquiti Serviços
implantação de ubiquiti Empresas
implantação de ubiquiti Consultoria
implantação de ubiquiti Osasco
implantação de ubiquiti Alphaville
configuração de ubiquiti Serviços
configuração de ubiquiti Empresas
configuração de ubiquiti Consultoria
configuração de ubiquiti Osasco
configuração de ubiquiti Alphaville
roteador wireless Serviços
roteador wireless Empresas
roteador wireless Consultoria
roteador wireless Osasco
roteador wireless Alphaville
implantação rede wireless Serviços
implantação rede wireless Empresas
implantação rede wireless Consultoria
implantação rede wireless Osasco
implantação rede wireless Alphaville
implantação rede wifi Serviços
implantação rede wifi Empresas
implantação rede wifi Consultoria
implantação rede wifi Osasco
implantação rede wifi Alphaville
implantação rede cabeada Serviços
implantação rede cabeada Empresas
implantação rede cabeada Consultoria
implantação rede cabeada Osasco
implantação rede cabeada Alphaville
manutenção rede Serviços
manutenção rede Empresas
manutenção rede Consultoria
manutenção rede Osasco
manutenção rede Alphaville
cabo de rede Serviços
cabo de rede Empresas
cabo de rede Consultoria
cabo de rede Osasco
cabo de rede Alphaville
certificação de cabeamento Serviços
certificação de cabeamento Empresas
certificação de cabeamento Consultoria
certificação de cabeamento Osasco
certificação de cabeamento Alphaville
certificação de cabos cat5 Serviços
certificação de cabos cat5 Empresas
certificação de cabos cat5 Consultoria
certificação de cabos cat5 Osasco
certificação de cabos cat5 Alphaville
certicação de cabos cat6 Serviços
certicação de cabos cat6 Empresas
certicação de cabos cat6 Consultoria
certicação de cabos cat6 Osasco
certicação de cabos cat6 Alphaville
suporte técnico Serviços
suporte técnico Empresas
suporte técnico Consultoria
suporte técnico Osasco
suporte técnico Alphaville
informática Serviços
informática Empresas
informática Consultoria
informática Osasco
informática Alphaville
Ti Serviços
Ti Empresas
Ti Consultoria
Ti Osasco
Ti Alphaville
cabeamento estruturado Serviços
cabeamento estruturado Empresas
cabeamento estruturado Consultoria
cabeamento estruturado Osasco
cabeamento estruturado Alphaville
monitoramento de redes Serviços
monitoramento de redes Empresas
monitoramento de redes Consultoria
monitoramento de redes Osasco
monitoramento de redes Alphaville
Revenda Bitdefender Serviços
Revenda Bitdefender Empresas
Revenda Bitdefender Consultoria
Revenda Bitdefender Osasco
Revenda Bitdefender Alphaville
Antivirus Serviços
Antivirus Empresas
Antivirus Consultoria
Antivirus Osasco
Antivirus Alphaville
helpdesk Serviços
helpdesk Empresas
helpdesk Consultoria
helpdesk Osasco
helpdesk Alphaville
engenharia elétrica Serviços
engenharia elétrica Empresas
engenharia elétrica Consultoria
engenharia elétrica Osasco
engenharia elétrica Alphaville
terceirização ti Serviços
terceirização ti Empresas
terceirização ti Consultoria
terceirização ti Osasco
terceirização ti Alphaville
contrato de manutenção informática Serviços
contrato de manutenção informática Empresas
contrato de manutenção informática Consultoria
contrato de manutenção informática Osasco
contrato de manutenção informática Alphaville
manutenção ti Serviços
manutenção ti Empresas
manutenção ti Consultoria
manutenção ti Osasco
manutenção ti Alphaville
virtualização Serviços
virtualização Empresas
virtualização Consultoria
virtualização Osasco
virtualização Alphaville
cloud computing Serviços
cloud computing Empresas
cloud computing Consultoria
cloud computing Osasco
cloud computing Alphaville
suporte
técnico Serviços
|
suporte
técnico Empresas
|
suporte
técnico Consultoria
|
suporte
técnico Osasco
|
suporte
técnico Alphaville
|
informática
Serviços
|
informática
Empresas
|
informática
Consultoria
|
informática
Osasco
|
informática
Alphaville
|
Ti
Serviços
|
Ti
Empresas
|
Ti
Consultoria
|
Ti
Osasco
|
Ti
Alphaville
|
cabeamento
estruturado Serviços
|
cabeamento
estruturado Empresas
|
cabeamento
estruturado Consultoria
|
cabeamento
estruturado Osasco
|
cabeamento
estruturado Alphaville
|
monitoramento
de redes Serviços
|
monitoramento
de redes Empresas
|
monitoramento
de redes Consultoria
|
monitoramento
de redes Osasco
|
monitoramento
de redes Alphaville
|
Revenda
Bitdefender Serviços
|
Revenda
Bitdefender Empresas
|
Revenda
Bitdefender Consultoria
|
Revenda
Bitdefender Osasco
|
Revenda
Bitdefender Alphaville
|
Antivirus
Serviços
|
Antivirus
Empresas
|
Antivirus
Consultoria
|
Antivirus
Osasco
|
Antivirus
Alphaville
|
helpdesk
Serviços
|
helpdesk
Empresas
|
helpdesk
Consultoria
|
helpdesk
Osasco
|
helpdesk
Alphaville
|
engenharia
elétrica Serviços
|
engenharia
elétrica Empresas
|
engenharia
elétrica Consultoria
|
engenharia
elétrica Osasco
|
engenharia
elétrica Alphaville
|
terceirização
ti Serviços
|
terceirização
ti Empresas
|
terceirização
ti Consultoria
|
terceirização
ti Osasco
|
terceirização
ti Alphaville
|
contrato
de manutenção informática Serviços
|
contrato
de manutenção informática Empresas
|
contrato
de manutenção informática Consultoria
|
contrato
de manutenção informática Osasco
|
contrato
de manutenção informática Alphaville
|
manutenção
ti Serviços
|
manutenção
ti Empresas
|
manutenção
ti Consultoria
|
manutenção
ti Osasco
|
manutenção
ti Alphaville
|
virtualização
Serviços
|
virtualização
Empresas
|
virtualização
Consultoria
|
virtualização
Osasco
|
virtualização
Alphaville
|
cloud
computing Serviços
|
cloud
computing Empresas
|
cloud
computing Consultoria
|
cloud
computing Osasco
|
cloud
computing Alphaville
|
Repr
NOSSAS OUTRAS ESPECIALIDADES:
cabeamento estruturado
servidor de arquivos
compartilhamento de arquivos
dominio de rede
domínio de rede
windows server 2016
kaspersky
antivirus corporativo
bitdefender
monitoramento de ativos
redes de computadores
manutenção de rede
suporte à computadores e servidores
servidores de rede
virtualização de computadores
virtualização de servidores
virtualização de aplicações
virtualização de desktops
software de gestão de ativos
service desk
helpdesk em osasco
suporte técnico informática
manutenção de computadores
manutenção de servidores
manutenção de notebooks
suporte técnico ti
consultoria de informática
consultoria em informática
controle de acesso internet
bloqueio de acesso internet
bloqueio de softwares
licenciamento de softwares
empresas de segurança da informação sp
empresas de segurança de informação
segurança da informação pentest
empresas de terceirização de ti
Terceirização de informática em Osasco
Terceirização de suporte técnico em Osasco
Terceirização de TI em Osasco
Terceirização de ti em Osasco
Suporte técnico para empresas em Osasco.
Consultoria de ti em Osasco
Infraestrutura de ti em Osasco
Redes de computadores em Osasco
Terceirização de ti em Osasco
Suporte técnico em ti em Osasco
Suporte técnico de TI em Osasco
Suporte técnico de em informática em Osasco
Suporte técnico de computadores em Osasco
Suporte técnico de computador em Osasco
Suporte técnico em informática em osasco
Suporte técnico em informatica
contrato de manutenção e suporte técnico
contrato de suporte tecnico de software
contrato de suporte tecnico em informatica
contrato de suporte tecnico ti
contrato de suporte técnico
contrato de suporte técnico informatica
contrato de suporte técnico remoto
contrato suporte tecnico
contrato suporte tecnico informatica
contrato suporte técnico
suporte técnico para contrato Dereco Tecnologia
empresa de suporte técnico em informática
empresas de suporte remoto
empresas de suporte tecnico
empresas de suporte tecnico em informatica
empresas de suporte tecnico em informatica sp
empresas de suporte tecnico em sp
empresas de suporte ti
empresas de suporte técnico
suporte tecnico de informatica para empresas
empresa de informatica sp
empresa de informática
empresa informatica brasil
empresa informatica guarulhos
empresa informatica sp
empresa manutenção informatica
empresa suporte informatica
empresa tecnologia informatica
empresa terceirizada informatica
empresa auditoria informatica
empresa de informatica sp
empresa de informática
empresa informatica sp
empresa manutenção informatica
empresa suporte informatica
empresa tecnologia informatica
empresa terceirizada informatica
informatica para empresa
informatica para empresarios
informatica para empresas
informática empresas
analista de infraestrutura de redes
equipamentos para infraestrutura de redes
analista de suporte técnico
analista de suporte técnico salario
d-link suporte técnico
hp suporte técnico
suporte tecnico 1 nivel
suporte tecnico a distancia
suporte tecnico a domicilio
suporte tecnico a internet
suporte tecnico java
suporte tecnico osasco
suporte tecnico ubiquiti
suporte tecnico ubiquiti brasil
suporte tecnico webmail
suporte tecnico windows 7
suporte tecnico windows 8
suporte técnico
suporte técnico 1
suporte técnico 24x7
suporte técnico a usuários
suporte técnico da microsoft
suporte técnico dell
suporte técnico em informática
suporte técnico em informática instalação configuração
e manutenção de programas
suporte técnico em ti
suporte técnico help desk
suporte técnico intelbras
suporte técnico kaspersky
suporte técnico lenovo
suporte técnico lenovo brasil
suporte técnico locaweb
suporte técnico manutenção e outros serviços em
tecnologia da informação
suporte técnico notebook hp
suporte técnico nível 2
suporte técnico online
suporte técnico online dell
suporte técnico outlook
suporte técnico rede
suporte técnico t.i
suporte técnico ti
suporte técnico whatsapp
suporte técnico windows
suporte técnico windows 8
suporte técnico windows 10
windows 7 suporte técnico
Suporte técnico para empresas em Osasco.
Consultoria de ti em Osasco
Suporte técnico Windows server 2008 r2
Suporte técnico Windows server 2012
Suporte técnico Windows server 2012 r2
Suporte técnico Windows server 2016
Infraestrutura de ti em Osasco
Redes de computadores em Osasco
Cabeamento estruturado Osasco
Cabeamento estruturado São Paulo
Cabeamento estruturado
Terceirização de ti em Osasco
Suporte técnico em ti em Osasco
Suporte técnico de TI em Osasco
Suporte técnico de em informática em Osasco
Suporte técnico de computadores em Osasco
Suporte técnico de computador em Osasco
Suporte técnico em informática em osasco
Suporte técnico em informatica
contrato de manutenção e suporte técnico
contrato de suporte tecnico de software
contrato de suporte tecnico em informatica
contrato de suporte tecnico ti
contrato de suporte técnico
contrato de suporte técnico informatica
contrato de suporte técnico remoto
contrato suporte tecnico
contrato suporte tecnico informatica
contrato suporte técnico
suporte técnico para contrato Dereco Tecnologia
empresa de suporte técnico em informática
empresas de suporte remoto
empresas de suporte tecnico
empresas de suporte tecnico em informatica
empresas de suporte tecnico em informatica sp
empresas de suporte tecnico em sp
empresas de suporte ti
empresas de suporte técnico
suporte tecnico de informatica para empresas
empresa de informatica sp
Dropbox Bussines implantação
Dropbox Bussines integração Ad
Dropbox Bussines SSO
ANTIVIRUS PARA SERVIDORES
antivirus para servidor
antivirus para servidores windows server
antivirus para pequenas e médias empresas
antivirus bitdefender para servidores
antivirus bitdefender para windows server
antivirus bitdefender para windows server 2008
Backup de notebooks e desktops empresariais
Backup de servidores na nuvem
Cloud Backup de servidores
Backblaze backup
Revenda autorizada Bitdefender
Revenda autorizada Kaspersky
Revenda autorizada Backblaze
Revenda autorizada Dropbox Bussines
Revenda autorizada TrendMicro
Suporte técnico para empresas
Suporte técnico para contabilidades
Suporte técnico para escritórios jurídicos
Suporte técnico para pequenas e médias empresas Osasco
Representante autorizado bitdefender Serviços
Representante autorizado bitdefender Empresas
Representante autorizado bitdefender Consultoria
Representante autorizado bitdefender Osasco
Representante autorizado bitdefender Alphaville
Autorizada Bitdefender Serviços
Autorizada Bitdefender Empresas
Autorizada Bitdefender Consultoria
Autorizada Bitdefender Osasco
Autorizada Bitdefender Alphaville
Cotação antivirus Bitdefender Serviços
Cotação antivirus Bitdefender Empresas
Cotação antivirus Bitdefender Consultoria
Cotação antivirus Bitdefender Osasco
Cotação antivirus Bitdefender Alphaville
Implantação antivirus Bitdefender Internet Security
Serviços
Implantação antivirus Bitdefender Internet Security
Empresas
Implantação antivirus Bitdefender Internet Security
Consultoria
Implantação antivirus Bitdefender Internet Security
Osasco
Implantação antivirus Bitdefender Internet Security
Alphaville
Antivirus Bitdefender Serviços
Antivirus Bitdefender Empresas
Antivirus Bitdefender Consultoria
Antivirus Bitdefender Osasco
Antivirus Bitdefender Alphaville
Antivirus Cloud Serviços
Antivirus Cloud Empresas
Antivirus Cloud Consultoria
Antivirus Cloud Osasco
Antivirus Cloud Alphaville
antivirus servidores Serviços
antivirus servidores Empresas
antivirus servidores Consultoria
antivirus servidores Osasco
antivirus servidores Alphaville
antivirus cotação Serviços
antivirus cotação Empresas
antivirus cotação Consultoria
antivirus cotação Osasco
antivirus cotação Alphavilleesentante
autorizado bitdefender Serviços
Representante
autorizado bitdefender Empresas
Representante
autorizado bitdefender Consultoria
Representante
autorizado bitdefender Osasco
Representante
autorizado bitdefender Alphaville
Autorizada
Bitdefender Serviços
Autorizada
Bitdefender Empresas
Autorizada
Bitdefender Consultoria
Autorizada
Bitdefender Osasco
Autorizada
Bitdefender Alphaville
Cotação
antivirus Bitdefender Serviços
Cotação
antivirus Bitdefender Empresas
Cotação
antivirus Bitdefender Consultoria
Cotação
antivirus Bitdefender Osasco
Cotação
antivirus Bitdefender Alphaville
Implantação
antivirus Bitdefender Internet Security Serviços
Implantação
antivirus Bitdefender Internet Security Empresas
Implantação
antivirus Bitdefender Internet Security Consultoria
Implantação
antivirus Bitdefender Internet Security Osasco
Implantação
antivirus Bitdefender Internet Security Alphaville
Antivirus
Bitdefender Serviços
Antivirus
Bitdefender Empresas
Antivirus
Bitdefender Consultoria
Antivirus
Bitdefender Osasco
Antivirus
Bitdefender Alphaville
Antivirus
Cloud Serviços
Antivirus
Cloud Empresas
Antivirus
Cloud Consultoria
Antivirus
Cloud Osasco
Antivirus
Cloud Alphaville
antivirus
servidores Serviços
antivirus
servidores Empresas
antivirus
servidores Consultoria
antivirus
servidores Osasco
antivirus
servidores Alphaville
antivirus
cotação Serviços
antivirus
cotação Empresas
antivirus
cotação Consultoria
antivirus
cotação Osasco
antivirus
cotação Alphaville
Comentários
Postar um comentário