Veri Madenciliği Nedir? Verilerden Anlamlı Bilgi Çıkarma

Veri madenciliğinin tanımı ve temel amacı

Veri madenciliği, büyük veri kümelerini bilgisayar destekli yöntemlerle inceleyerek daha önce açıkça görülmeyen örüntüleri, ilişkileri ve yararlı bilgileri ortaya çıkarma işidir. Buradaki amaç yeni verileri toplamak değil, zaten elde bulunan verilerden karar vermeyi destekleyecek anlamlı sonuçlar çıkarmaktır. Bu nedenle veri madenciliği; makine öğrenmesi, istatistik ve veri tabanı sistemlerinin kesiştiği bir çalışma alanı olarak düşünülebilir.

Süreçte bilgisayar, verilerdeki tekrarları, benzerlikleri, olağan dışı kayıtları veya birlikte ortaya çıkan durumları arar. İnsan tarafından önceden bütün ilişkilerin tek tek yazılması yerine, yöntemler çok sayıdaki kaydı karşılaştırarak dikkat çekmeye değer yapıları belirler. Bulunan yapı daha sonra özet, tahmin ya da karar desteği biçiminde kullanılabilir. Örneğin bir marketin alışveriş kayıtları incelendiğinde bazı ürünlerin müşteriler tarafından sık sık birlikte alındığı görülebilir. Bu bilgi, ürünlerin yerleşimini veya kampanya planını düzenlemek için kullanılabilir. Ancak veri madenciliği yalnızca bu sonucu bulmakla bitmez; elde edilen örüntünün gerçekten anlamlı olup olmadığı ve başka verilerde de işe yarayıp yaramadığı ayrıca değerlendirilmelidir.

Veri madenciliği, veritabanlarında bilgi keşfi adı verilen daha geniş sürecin analiz aşaması olarak da ele alınır. Veri toplama, veriyi hazırlama ve sonuçları raporlama bu genel sürecin parçalarıdır; veri madenciliğinin kendisi ise verilerden örüntü veya bilgi çıkarma görevine odaklanır.

Veriden örüntü, ilişki ve tahmin çıkarma

Veri madenciliğinin temel çıktısı, ham kayıtların kendisi değil, bu kayıtlar arasında bulunan anlamlı bir yapıdır. Örüntü; belirli durumların tekrar etmesi veya benzer kayıtların bir araya gelmesi olabilir. İlişki, iki ya da daha fazla değişkenin birlikte görülme eğilimini gösterir. Tahmin ise geçmiş verilerde öğrenilen yapının yeni bir kayıt ya da gelecekteki bir durum hakkında sonuç üretmek için kullanılmasıdır.

Örneğin e-posta kayıtlarında bazı özelliklerin istenmeyen iletilerle, bazılarının ise normal iletilerle daha sık birlikte bulunduğu fark edilebilir. Bu ilişkiler yeni bir iletinin hangi gruba ait olabileceğini tahmin etmeye yardım eder. Benzer biçimde veri madenciliği, kayıtları benzer gruplara ayırabilir veya olağan dışı bir kaydı işaretleyebilir. Böylece büyük bir veri kümesi, insanın incelemesini kolaylaştıran daha kısa ve anlamlı bir yapıya dönüşür. Fakat bulunan her ilişki kesin bir neden-sonuç bağlantısı değildir; yalnızca verilerde birlikte görülen bir düzen olabilir.

Veri madenciliğinin temel çalışma türleri

Veri madenciliğinde farklı sorulara karşılık gelen temel çalışma türleri vardır. Sınıflandırma, önceden bilinen kategorilere yeni kayıtları yerleştirmeyi amaçlar; örneğin bir e-postanın istenmeyen ya da normal olarak sınıflandırılması buna örnektir. Kümeleme, önceden belirlenmiş sınıflar kullanmadan birbirine benzeyen kayıtları gruplar. Böylece veride baştan bilinmeyen topluluklar veya yapılar keşfedilebilir.

İlişkilendirme, değişkenlerin ya da olayların birlikte görülme biçimlerini arar. Bir markette hangi ürünlerin aynı alışverişte sıkça bulunduğunu belirlemek bu türün anlaşılır bir örneğidir. Regresyon ise değişkenler arasındaki ilişkiyi bir işlevle modelleyerek bir değeri tahmin etmeye çalışır. Bunlara ek olarak anomali tespiti, olağan düzenin dışına çıkan kayıtları bulur; özetleme ise büyük veri kümesini daha kısa bir görünüm, rapor veya görselleştirme hâline getirir. Bu türlerin her biri farklı bir soruya yanıt verir: kayıt hangi gruba ait, hangi kayıtlar benzer, neler birlikte görülüyor veya bir değer nasıl tahmin edilebilir?

Bu türlerin arkasındaki sınıflandırma, kümeleme, ilişkilendirme ve regresyon algoritmalarının ayrıntılı karşılaştırması ayrı bir konudur.

Veri madenciliği sürecinin genel aşamaları

Veri madenciliği, tek bir komutla sonuç veren kopuk bir işlem değildir; verinin seçilmesinden sonuçların yorumlanmasına kadar ilerleyen bir akışa sahiptir. Önce hangi sorunun yanıtlanacağı ve hangi veri kümesinin kullanılacağı belirlenir. Ardından veriler incelenir ve analize uygun hâle getirilir. Eksik, tutarsız veya farklı biçimlerdeki kayıtlarla ilgili hazırlama işlemleri bu aşamada yer alır; veri ön işleme ve veri hazırlama tekniklerinin ayrıntıları ayrı bir konudur.

Sonraki adımda soruya uygun bir çalışma türü ve yöntem seçilir. Yöntem, verilerdeki benzerlikleri, ilişkileri, sınıfları veya tahmin edilebilir bağlantıları arar. Ortaya çıkan örüntüler arasından anlamlı ve kullanılabilir olanlar incelenir. Sonuçlar bir özet, görselleştirme, tahmin ya da karar desteği biçimine dönüştürülebilir. Bu aşamada yalnızca bilgisayarın bulduğu sonuca bakmak yeterli değildir; örüntünün gerçek veri kümesinde de geçerli olup olmadığı kontrol edilmelidir. Yeni verilerde işe yaramayan veya yalnızca incelenen örneklerde görülen yapılar güvenilir bir sonuç sayılmayabilir. Model değerlendirme ve başarı ölçütleri bu doğrulama konusunu ayrıntılı olarak ele alır.

Sonuçların yorumlanması, bulunan yapının gerçek dünyadaki anlamını açıklamayı ve uygun biçimde raporlamayı içerir. Kod kullanılarak yapılan veri madenciliği uygulamaları ile çözümlü örnekler ise bu genel akışın uygulamalı bir devamıdır.

Yapay zekâ, makine öğrenmesi ve veri analiziyle ilişkisi

Veri madenciliği, yapay zekâ, makine öğrenmesi ve veri analiziyle yakın ilişkilidir; ancak bu kavramların kapsamları aynı değildir. Yapay zekâ, bilgisayarların algılama, öğrenme veya karar verme gibi insan zekâsıyla ilişkilendirilen görevleri yerine getirmesini amaçlayan daha geniş bir alandır. Makine öğrenmesi, bilgisayarın verilerden örnekler ve yöntemler aracılığıyla bir yapı öğrenmesini sağlayan yaklaşımları ifade eder. Veri analizi ise verileri inceleyip soruları yanıtlamak, modelleri veya varsayımları değerlendirmek ve sonuç çıkarmak için kullanılan daha genel çalışmadır.

Veri madenciliği, bu alanlardan yararlanarak özellikle büyük veri kümelerinde daha önce fark edilmemiş örüntüleri keşfetmeye odaklanır. Bu yüzden makine öğrenmesi yöntemleri veri madenciliğinde kullanılabilir; fakat makine öğrenmesi yalnızca veri madenciliğine ait değildir. Yapay zekâ da veri madenciliğinden daha geniş bir çerçeveye sahiptir. Veri analizi belirli bir varsayımı veya soruyu sınamak için yapılabilir; veri madenciliğinde ise çoğu zaman verinin içinde gizli kalmış, önceden açıkça bilinmeyen yapılar aranır. Veri tabanı sistemleri de verinin saklanması ve büyük ölçekte işlenmesi için altyapı sağlar. Kısacası veri madenciliği, bu alanların kesişiminden yararlanan, örüntü keşfine özel bir çalışma alanıdır.

Kullanım alanları ve sınırlılıkları

Veri madenciliği; alışveriş davranışlarını inceleme, e-postaları sınıflandırma, benzer kayıtları gruplama, olağan dışı durumları fark etme ve gelecekteki değerleri tahmin etme gibi alanlarda kullanılabilir. Ancak bulunan bir örüntü her zaman neden-sonuç ilişkisi ya da geleceğe yönelik kesin bir tahmin anlamına gelmez; veri kümesinde tesadüfen oluşabilir veya yeni verilerde tekrarlanmayabilir. Veri kalitesi düşükse sonuçların güvenilirliği de azalabilir. Ayrıca kişisel verilerin birleştirilmesi, mahremiyet, yasal sorumluluk ve veri güvenliği açısından sorunlar doğurabileceği için bu boyutlar dikkate alınmalıdır.