Big data yani büyük veri, verinin analiz edilip sınıflandırılmış, anlamlı ve işlenebilir hale dönüştürülmüş halidir. Hem yapılandırılmış hem de yapılandırılmamış veri türlerini içeren büyük veri, genellikle işletmelerin analiz yapmaları ve daha iyi iş stratejileri oluşturmalarına yardımcı olabilecek içgörüler elde etmelerine olanak tanır. Büyük veri (big data), işletmeler için günümüzün en önemli varlıklarından biridir.

Tüm iş alanları ve günlük yaşam, büyüyen büyük veri yığınına katkıda bulunur. Perakende, gayrimenkul, seyahat, turizm, finans, sosyal medya, teknoloji vb. örneklerden tutun da attığımız adımdan finansal geçmişimize kadar hayatınızın her yönü veridir.

2017’de dünya nüfusunun yaklaşık %47’sinin yani yaklaşık 3,8 milyar insanın, internet kullandığı ve günlük çıktı verisinin 2,5 kentilyon bayt olduğu tahmin ediliyor. İnterneti kullananların sayısının katlanarak artmasıyla, veriler de katlanarak büyüyor.

Peki büyük verideki, veriler nereden geliyor?

Akıllı (Nesnelerin İnterneti) cihazları: İnternet bağlantısı, şirketlerin akıllı ev sistemleri, robotik elektrikli süpürgeler, akıllı TV’ler ve giyilebilir fitness izleyicileri gibi cihazlar aracılığıyla veri toplamasına olanak tanır.

Sosyal medya: Beğeniler, paylaşımlar, gönderiler, yorumlar, bir gönderiye bakmak için ne kadar zaman harcadığınız vb. tüm bu bilgiler, insanların davranışları, duyguları ve tercihleri ​​hakkında kapsamlı veriler olarak kabul edilir.

Web siteleri: Şirketler veya diğer web sitesi sahipleri, sayfa ziyaretlerini, ziyaretçilerin genel konumlarını izleyebilir, kitlelerin bir sayfada ne kadar zaman geçirdiğini, hangi bağlantıların en çok tıklandığını ve imleç hareketini görebilir.

Ticari işlemler: Veriler, çevrimiçi olarak ve şahsen ürün satın alan müşterilerden gelebilir. Fiyat, satın alma zamanı, ödeme yöntemleri ve diğer ayrıntılar, bir işletmeye, ürünleri için müşteri talebi hakkında bilgi verebilir.

Makine: İnternet bağlantısı olmasa bile yol kameraları, sensörler ve tıbbi ekipman gibi makineler bilgileri kaydedebilir.

Sağlık: Sağlık hizmetleri sistemi verilerle doludur. Veri analistleri, yeni içgörüler elde etmek ve hasta bakımını geliştirmek için sağlık hizmetleri kayıtları, sigorta ve hasta özetleri hakkındaki toplu bilgileri kullanabilir.

Hükümet: Hükümetler politik kararları vermek için birçok kaynaktan gelen verileri (otomobil trafik bilgileri, tarımsal verimler, hava durumu izleme sistemleri, sayımlardan gelen demografik bilgiler) kullanabilir.

Büyük Verinin Özellikleri Nelerdir?

Büyük Veri 5 V’si evrensel olarak kabul edilmektedir:

  • Volume (Veri Hacmi)
  • Velocity (Veri Hızı)
  • Variety (Veri Çeşitliliği)
  • Veracity (Veri Doğruluğu)
  • Value (Veri Değeri)

1. Volume (Veri Hacmi)

Büyük veriyi bir piramit olarak düşünürsek, volume (veri hacmi) bu piramitin en geniş tabanını oluşturur. 

Dünyanın dört bir yanındaki şirketlerin yönettiği veri hacmi, kuruluşların her gün üç milyondan fazla veri toplamaya başlamasıyla birlikte 2012 yılında hızla artmaya başlamıştır. Antonio de Nebrija Üniversitesi’nden bir MBA Profesörü’ne göre, o zamandan beri bu hacmin her 40 ayda bir ikiye katladığı tahmin ediliyor.

2. Velocity (Veri Hızı)

‘Velocity (Veri Hızı) terimi, verilerin üretildiği hızı ifade eder.

Büyük veri sadece veri hacmi ile ilgili değildir, aynı zamanda verinin ne kadar hızlı aktığı, yani hızı da önemlidir. Gerçek zamana yakın olan verilerden eyleme geçirilebilir ve değerli içgörüler elde etmek, rekabet avantajı açısından çok önemlidir.

Bir yemek dağıtım şirketinin, büyük bir spor etkinliğinin başlamasından 45 dakika önce satış verilerine dayanarak bir Google Ads kampanyası hazırlaması, buna bir örnektir. Aynı veriler birkaç saat içinde alaka düzeyini kaybedecektir.

Bu hızlı veri ihtiyacını yönlendiren teknolojiler arasında RFID etiketleri, akıllı ölçüm ve çeşitli sensör türleri bulunur.

3. Variety (Veri Çeşitliliği)

Variety (Veri Çeşitliliği), bir şirketin veri elde edebileceği kaynak yelpazesini ve bunların içindeki anlamlandırılabilir verileri ifade eder. Akıllı telefonlar, şirket içi cihazlar, sosyal medya sohbetleri, hisse senedi verileri ve finansal işlemlerden elde edilen veriler gibi verileri içerir. Fakat kaynağın, özellikle verilerin toplandığı işin doğasıyla ilgili olması gerekir. Örneğin, bir tekstil şirketi, yakın zamanda piyasaya sürdüğü koleksiyonları hakkında, kullanıcıların sosyal medyada söylediklerini dinlemelidir. Bir üretim şirketinin ise, sosyal medyayı takip etmesi onlara daha az değer katacaktır.

4. Doğruluk (Veri Doğruluğu)

Veracity (Veri Doğruluğu), verilerin kalite ve doğruluğunu sorgular. Kuruluşlar, temiz veri elde etmek için verilerini sistemlere bağlamalı, temizlemeli ve dönüştürmelidir. Verilerini kontrol altında tutmak için hiyerarşilere ve çoklu veri bağlantılarına ihtiyaçları vardır.

5. Value (Veri Değeri)

Piramidin zirvesinde, değer yani veri yığının içinden uygulanabilir iş içgörüleri elde etme yeteneği bulunur.

Değer, web sitesine kaç yeni üyenin katılacağını, kaç müşterinin sigorta poliçelerini yenileyeceğini, ürünlerle ilgili kaç sipariş olacağının vb. tahmin edilmesi; işletmelerin en iyi müşterilerinin kim olduğunu ve kimin birkaç hafta veya ay içinde müşterisi olmaktan vazgeçeceğini bilmesidir.

Şirketler, büyük verinin sağladığı içgörülerden para kazanma becerileriyle değer kazanır. Müşterilerini daha iyi tanırlar ve daha alakalı teklifler sunmaya çalışırlar.

Büyük Veri Nasıl Kullanılır?

Sağlık sistemlerinde büyük veri, hastalıkların yaygın semptomlarını bulmak veya herhangi bir zamanda bir hastane katına ne kadar personel yerleştirileceğine karar vermek için kullanılabilir. Hükümetler, yeni yollar planlamak için trafik verilerini kullanabilir ya da bir işletme, müşteri tercihlerini daha iyi anlamak için topladıkları verileri analiz edebilir. 

Tüm bu analizleri yapabilmek için büyük veriyle çalışan veri analistleri ve diğer profesyoneller aşağıdaki araçları ve yöntemleri kullanır:

1. Tahmine dayalı analitik

Analistler, tahmine dayalı modeller ve makine öğrenimi teknolojisini kullanarak gelecekteki olayların veya eğilimlerin olasılığını tahmin etmek için verileri kullanabilir.

2. Veri madenciliği

Veri madenciliği, kalıpları, eğilimleri ve korelasyonları bulmak için büyük miktarda veriyi tarayan bir süreci ifade eder. Veri noktaları arasındaki ilişkileri bulmak, kuruluşların karar vermesine yardımcı olmak için anahtardır.

3. Makine öğrenimi

Sürekli öğrenen ve kendini geliştiren bir yapay zeka biçimi olan makine öğrenimi, büyük veri kümelerinde eğilimleri tahmin etmeye ve kalıpları bulmaya yardımcı olur. Makine öğrenimi, yeni veri akışlarına uyum sağlamada yararlı olabilir.

4. Derin öğrenme

Derin öğrenme, yapay sinir ağlarına dayanan ve insan beyninin öğrenme sürecini taklit eden bir makine öğrenimi alt kümesidir. Derin öğrenme genellikle konuşma, metin tanıma ve bilgisayarla görme teknolojisinde kullanılır.

5. Veri ambarları

Veri ambarları büyük miktarda geçmiş veriyi depolar. Veriler tipik olarak temizlenir, düzenlenir ve daha sonraki bir tarihte analiz edilmek üzere erişilebilir olur.

6. Hadoop

Hadoop, çeşitli bilgisayar kümelerinde çalışabilen büyük miktarda veriyi depolamak ve işlemek için kullanılan bir yazılım  framework’üdür. Hadoop’un kolayca ölçeklenebilme kapasitesi ve çeşitli veri türlerini aynı anda depolayabilme yeteneği, onu büyük verileri işlemek için başvurulan bir platform haline getirmüştir.

7. Apache Spark

Apache Spark, veri analizini yapay zeka ile birleştiren bir yazılım framework’üdür. Birçok durumda Hadoop’tan daha büyük veri kümeleri üzerinde analizleri daha hızlı gerçekleştirebilir.

Büyük Veriden En Çok Veriyi Çıkarmak İçin Araçlar

Büyük veri, yapay zeka gibi çağımızın gelişmiş analitik çabalarını besleyen şeydir. Bir şirket topladığı verileri ne kadar verimli kullanırsa, ondan daha fazla potansiyel çıkarabilir. Büyük hacimli verileri, özellikle gerçek zamanlı olarak yönetebilen ve analiz edebilen yazılıma yatırım yapmak, büyük veri yönetimi için hayati bir adımdır.

MapReduce, BigTable ve Hadoop: Büyük miktarda veri depolanacaksa ve iş faaliyetlerini yürütmenin daha iyi veya daha verimli yolları belirlenecekse, Hadoop ve bulut tabanlı analitik gibi araçlar kullanılır. Bunlar, maliyet avantajları sağlamak için süreçleri optimize etmeye yardımcı olur.

Ayrıca, bellek içi analitik ile birleştirilmiş Hadoop gibi araçların yüksek hızı, kullanılmayan kaynakların, yani analiz için daha yeni veri kaynaklarının belirlenmesine yardımcı olur. Verileri yakalama ve analiz etme hızı, şirketlerin hızlı kararlar alması için büyük bir varlıktır.

Karmaşık zorluklar akıllı çözümlere ihtiyaç duyar. Platformların, kurumları en az BT bilgisine sahip olanların bile kullanabilmesini sağlayan sezgisel, basit arayüzlerle güçlendirmesi gerekir. Platform aynı zamanda büyük verinin tüm yelpazesinden yararlanabilmeli ve bu da doğru, gerçek zamanlı analitik ile sonuçlanmalıdır. Çeşitli kaynaklardan gelen çok terabaytlık veri kümelerini işleyebilmek ve bunu başarılı bir şekilde yararlı içgörüler ve iş akışı analitiği sağlayan gösterge tablolarına dönüştürmek, bir sistemi başarılı kılar.

Büyük Veri Analizi Ne İşe Yarar?

Büyük veri analizi, üretimi veya tedarik planlamasını optimize etmek için mevcut pazar koşulları, müşterilerin satın alma davranışı, ürün popülerliği vb. hakkında daha derin bir anlayış sağlar.

Benzer şekilde, bir işletmenin müşterilerinin neleri sevdiğini bilmesine, ödeme yapan müşterilerinin hangi demografiye girdiğine odaklanmasına ve ardından müşterileri uzun vadede elde tutmak için sadakatlerini ödüllendirmenin ve güçlendirmenin yollarını bulmasına yardımcı olur.

Müşterileri mutlu etmek, işletmenin uzun ömürlülüğü için çok önemlidir. Büyük verinin sağladığı içgörüler, beklentileri yönetmeye ve çeşitli müşteri kişilikleri için akılda kalıcı ve etkili pazarlama kampanyaları tasarlamaya yardımcı olabilir.

Büyük veri analitiği, ayrıca tüketicilerin markanız, hizmetiniz veya ürününüz hakkında ne hissettiğini ölçen bir duyarlılık ölçer de olabilir. Bu, marka imajınızı yönetmede size yardımcı olur. Büyük veri içgörüleri, çevrimiçi görünürlüğü ve popülerliği artırmaya da yardımcı olabilir.

Büyük veri analitiği tarafından sağlanan içgörüler, şirketlerin rekabette bir adım önde olması için ürünlerini sürekli olarak yenilemelerine ve yeniden geliştirmelerine yardımcı olur.

Büyük veri, kalıpları belirlemeye, risk portföylerini hesaplamaya ve ciddi hasar oluşmadan önce sahtekarlığı önlemeye de yardımcı olur.

Büyük Verilerin İşlenmesinden Elde Edilen Uzun Vadeli Faydalar

Kuruluşlar, büyük verileri işlemek için gereken altyapıya zaman ve kaynak yatırdıktan sonra, aşağıdaki avantajlardan yararlanmayı bekleyebilir:

  • Kaynak ve envanter planlamasını optimize etme
  • Daha iyi varlık yönetimi
  • Müşteri profillerinin daha sezgisel anlaşılması
  • İyileştirilmiş müşteri, satıcı ve tedarikçi ilişkileri
  • Daha kısa sipariş-teslimat süreleri
  • Tüm tedarik zincirlerinde daha iyi entegrasyon
  • Daha etkili stratejik planlama
  • Tedarik zinciri sorunlarını çözmek için daha kısa reaksiyon süresi
  • İyileştirilmiş müşteri hizmetleri ve daha hızlı geri dönüş

Büyük Veri Sektörleri Nasıl Etkiliyor?

1. Eğitim Sektöründe Büyük Veri

Büyük veri, eğitim sektöründe, özellikle aşağıdaki alanlarda büyük değişikliklere neden oldu:

  • Daha özelleştirilmiş, dinamik ve etkileşimli öğrenme ve geliştirme programları oluşturma.
  • Ders materyallerinin kapsamının yeniden tanımlanması.
  • Not verme sistemlerini değiştirme.
  • Kariyer tahmini ve danışmanlığı.

2. Sigortacılık Sektöründe Büyük Veri

Bir müşteri belirli bir ülkede seyahat ederken araba sigortası satın almakla ilgileniyorsa, sigorta şirketi o ülkedeki sürüş koşulları ve yol güvenliği verilerini toplayıp çalıştırarak primi buna göre ayarlayabilir. Ayrıca, kişinin sürüş güvenliği kaydını toplayabilir ve ona bir satın alma politikası sunmadan önce bunu hesaba katabilir.

Bu tür bir risk değerlendirmesine ek olarak, sigorta şirketleri, tehdit haritalaması için büyük verileri kullanabilir. Bu, belirli bir müşteri veya şirkette işlerin ters gidebileceği ve bir hak talebinde bulunmalarına yol açabilecek farklı olasılıkları hesaba katabilecekleri anlamına gelir.

3. Devlette Büyük Veri

Büyük verilerin özellikle dünya çapında hükümetler için etkili olduğu kanıtlanmıştır. Karmaşık sorunları ele alma, yönetimi sağlama ve büyük olayları sadece yerel değil, aynı zamanda ulusal ve küresel ölçekte ele almakta etkilidir.