Büyük Veri (Big Data) Nedir? Temel Özellikleri ve Günlük Hayattan Örnekler

Büyük verinin tanımı

Büyük veri, geleneksel veri işleme yazılımlarıyla ele alınamayacak kadar büyük ya da karmaşık hâle gelen veri kümeleridir. Buradaki “büyük” ifadesi sabit bir dosya boyutunu göstermez. Bir kuruluşun kullandığı araçlar yüzlerce gigabaytı yönetebilirken başka bir kuruluş için aynı miktar önemli bir zorluk oluşturabilir. Bu yüzden büyük veri, miktarın yanı sıra verinin karmaşıklığı ve işlenme güçlüğüyle birlikte değerlendirilir.

Büyük verinin çalışma mantığı, farklı kaynaklardan üretilen kayıtların toplanması, saklanması ve anlamlı ilişkiler bulmak üzere incelenmesine dayanır. Bu kaynaklar arasında mobil cihazlar, uygulamalar, sosyal medya, kameralar, mikrofonlar, yazılım günlükleri ve çeşitli sensörler bulunabilir. Veriler tek bir tabloya sığmayacak kadar farklı biçimlerde veya çok kısa aralıklarla üretildiğinde, geleneksel araçlarla arama, sorgulama, güncelleme ve görselleştirme zorlaşır.

Örneğin bir alışveriş uygulaması; kullanıcıların aradığı ürünleri, inceledikleri sayfaları ve yaptıkları alışverişleri farklı zamanlarda kaydedebilir. Bu kayıtların her biri tek başına küçük olabilir. Ancak çok sayıda kullanıcının verisi sürekli biriktiğinde, toplam veri hem büyür hem de farklı türleri bir araya getirir. Büyük veri yaklaşımı, bu dağınık kayıtları birlikte değerlendirerek kullanıcı davranışlarındaki örüntüleri görmeye çalışır. Büyük veri işleme mimarileri ve veri hattı aşamaları ise bu sürecin ayrıntılı olarak ele alındığı ayrı bir konudur.

Büyük verinin temel özellikleri: hacim, hız ve çeşitlilik

Büyük veriyi tanımlamak için en sık kullanılan üç özellik hacim, hız ve çeşitliliktir. Hacim, toplanan verinin miktarını; hız, verinin üretilme, aktarılma ve işlenme temposunu; çeşitlilik ise verilerin farklı kaynaklardan ve farklı biçimlerde gelmesini anlatır. Bir veri kümesinin büyük veri olarak değerlendirilmesinde bu özelliklerden biri veya birkaçı birlikte etkili olabilir.

Hacim, çok sayıda kaydın zamanla birikmesiyle ortaya çıkar. Örneğin bir sosyal medya hizmetinde kullanıcı paylaşımları, görseller, aramalar ve etkileşimler sürekli kaydedilir. Tek bir kullanıcının verisi küçük olsa da milyonlarca kaydın birleşimi geleneksel tablolarla yönetilmesi zor bir büyüklüğe ulaşabilir. Bilimsel sensörlerde de benzer bir durum görülür: Büyük Hadron Çarpıştırıcısı deneylerinde çok sayıda sensör çok yüksek sıklıkta veri üretir; bu akışın tamamını saklamak yerine belirli olaylar filtrelenerek kaydedilir. Bu örnek, hacmin tek başına depolama değil, seçme ve işleme sorunlarını da beraberinde getirdiğini gösterir.

Hız, verinin yalnızca fazla olmasını değil, sürekli ve kısa aralıklarla ortaya çıkmasını vurgular. Trafik sensörleri, mobil cihazlar veya çevrim içi uygulamalar yeni kayıtları arka arkaya oluşturabilir. Böyle bir durumda veriyi uzun süre bekletip sonra incelemek yeterli olmayabilir; verinin zamanında alınması ve işlenmesi önem kazanır. Çeşitlilik ise aynı ortamda tablo satırlarının, metinlerin, görsellerin, seslerin, sensör ölçümlerinin ve uygulama kayıtlarının bulunabilmesidir. Bu tür verileri ortak bir anlayışla birleştirmek, yalnızca büyük bir tabloyu açmaktan daha karmaşıktır.

Örneğin bir şehirdeki ulaşım verileri; sensör ölçümlerini, mobil uygulama kayıtlarını ve konum bilgilerini içerebilir. Bu veriler hem büyük hacimli olabilir hem hızlı üretilebilir hem de farklı biçimlerde gelebilir. Bu nedenle büyük veriyi ayırt ederken yalnızca “kaç gigabayt?” sorusu değil, “ne kadar hızlı üretiliyor ve kaç farklı tür içeriyor?” soruları da sorulur. Büyük verinin işlenmesinde dağıtık sistemler, veriyi birden fazla bilgisayarın birlikte ele almasına olanak tanıyabilir; bu başlık burada yalnızca temel düzeyde tanıtılmaktadır.

Veri türlerinin yapısı

Büyük veri; yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verileri birlikte içerebilir. Yapılandırılmış veri, önceden belirlenmiş satır ve sütunlara düzenli biçimde yerleştirilen tablolardaki kayıtlar gibi belirli bir düzene sahiptir. Örneğin bir alışveriş kaydında ürün kodu, tarih ve fiyat ayrı alanlarda tutulabilir.

Yarı yapılandırılmış veride bazı düzenleyici bilgiler bulunur, ancak veri tamamen sabit satır ve sütunlardan oluşmaz. Etiketler veya alan adları verinin bölümlerini ayırabilir; uygulama kayıtları buna örnek gösterilebilir. Yapılandırılmamış veri ise belirli bir tablo düzenine bağlı olmayan metin, görsel, ses ve video gibi içerikleri kapsar. Büyük veri ortamlarında bu üç türün birlikte bulunması, veriyi yalnızca depolamayı değil, farklı biçimleri anlamlandırmayı ve ilişkilendirmeyi de gerektirir.

Günlük hayattan büyük veri örnekleri

Günlük yaşamda büyük veri, insanların ve cihazların dijital işlemleri sırasında sürekli ortaya çıkar. Bir sosyal medya platformunda paylaşımlar, beğeniler, aramalar ve kullanıcı etkileşimleri; bir mobil uygulamada kullanım kayıtları; akıllı cihazlarda ise sensör ölçümleri birikir. Kameralar, mikrofonlar, kablosuz sensör ağları ve RFID okuyucuları da farklı türlerde veri üreten kaynaklardır.

Örneğin bir alışveriş uygulaması, kullanıcıların ürün aramalarını, ürün sayfalarında geçirdikleri hareketleri ve satın alma kayıtlarını birlikte değerlendirebilir. Böylece benzer kullanıcı davranışları ve ilgi örüntüleri görülebilir. Bu kayıtların sürekli üretilmesi, çok sayıda kişiden gelmesi ve metin ya da işlem bilgisi gibi farklı biçimler içermesi onları büyük veri bağlamına taşır.

Bilimsel çalışmalarda da büyük veri görülür. Büyük Hadron Çarpıştırıcısı deneylerinde sensörlerden çok hızlı veri akışları gelir; astronomi araştırmalarında teleskoplar uzun süre boyunca görüntü ve ölçüm toplar; iklim araştırmalarında gözlemler ve benzetim sonuçları büyük veri kümeleri oluşturur. Bu örneklerde ortak nokta yalnızca veri miktarı değil, verinin yüksek hızda üretilmesi veya farklı özellikte kayıtların birlikte işlenmesinin gerekmesidir.

Büyük veri ile geleneksel veri arasındaki temel fark

Geleneksel veri çoğunlukla belirli bir yapıya sahip, sınırlı sayıda kaynaktan gelen ve kullanılan veri tabanı araçlarıyla yönetilebilen kayıtlar şeklinde ele alınır. Büyük veri ise çok daha fazla kaynağın birleştiği, verilerin farklı biçimlerde üretilebildiği veya kayıtların çok hızlı aktığı durumları kapsar. Bu nedenle fark yalnızca dosyanın boyutunda değildir; verinin karmaşıklığı ve işlenmesi için gereken yaklaşım da belirleyicidir.

Geleneksel bir tabloda birkaç bin satış kaydını sorgulamak kolay olabilir. Ancak aynı işlemi çok sayıda kullanıcının metin, görsel, uygulama hareketi ve sensör verisini içeren sürekli akışına uygulamak zorlaşır. İlişkisel veri tabanı yönetim sistemleri ve masaüstü istatistik yazılımları, bu tür büyük ve karmaşık kümeleri işleme ve analiz etmede yetersiz kalabilir. Büyük veri yaklaşımında farklı kaynaklardan gelen kayıtların toplanması, uygun biçimde saklanması ve birlikte incelenmesi gerekir.

Örneğin yalnızca aylık satış tablosu tutan bir mağaza, geleneksel veriyle çalışabilir. Aynı mağaza buna web sitesi aramaları, mobil uygulama hareketleri, müşteri etkileşimleri ve sürekli güncellenen sensör kayıtlarını eklediğinde veri daha hızlı, çeşitli ve karmaşık hâle gelir. Böylece büyük veri kavramı, “en büyük dosya”yı değil, geleneksel araçlarla yönetilmesi zorlaşan veri ortamını ifade eder. Dağıtık depolama ve paralel işleme teknolojileri bu zorlukları çözmeye yönelik ayrı başlıklardır.

Büyük verinin temel kullanım amacı

Büyük verinin temel amacı, farklı kaynaklardan gelen kayıtları inceleyerek ilişkileri, davranış örüntülerini ve olası eğilimleri ortaya çıkarmaktır. Bu bilgiler karar vermeyi desteklemek, hizmetleri kişiselleştirmek veya gelecekteki sonuçlara ilişkin tahminler üretmek için kullanılabilir. Büyük veri analitiği ve veri madenciliği bu inceleme sürecinin daha ayrıntılı konularıdır.