Weka ile Veri Madenciliği

By Sadi Evren SEKER

Bu kitabın amacı veri madenciliği kavramlarına hızlı bir giriş yapmak ve bu kavramları weka yazılımı üzerinden uygulayarak çalıştırmaktır.

• Language: Türkçe
• Publisher: Sadi Evren SEKER
• Release date: Jan 5, 2016
• ISBN: 9781524255350

Sadi Evren SEKER

2000 ylında, Yeditepe Üniversitesi Bilgisayar Mühendisliği bölümünü tek mezunu olarak tamamladım. Mezuniyetimin ardından yine aynı bölümde yüksek lisansıma ve araştırma görevlisi olarak çalışmaya başladım. 2003 yılındaki mezuniyetimden önce Istanbul Teknik Üniversitesinde benim için ikinci bir yüksek lisans programı olan, Bilim Teknoloji ve Toplum programına kayıt yaptırdım ve 2004 yılında da ikinci yüksek lisansımı tamamladım. 2004-2005 yılları arasında genel kurmayda internet subayı olarak askerlik görevimi tamamladım. 2005- 2010 yılları arasında Yıldız Teknik Üniversitesi’nde doktoramı tamamladım ve bu sürede çeşitli üniveristelerde ders verdim. Doktora sonrası araştırma için bulunduğum UT Dallas’ta Yönetim Bilişim Sistemleri alanına geçiş yaptım ve doçentliğimi bu alanda aldım. Akademik çalışmalarım akan veri madenciliği, büyük veri yönetimi ve bilgi yönetimi konularındadır.

Book preview

Sadı evren seker

Weka ve Veri Madenciliği

© Bilgisayar Kavramları Yayınları

Ercüment Batanay Cad. Dumankaya Ikon

A1-376, Yeni Sahra Ataşehir İstanbul

www.BilgisayarKavramlari.com

Önsöz

Bu kitap bir eğitim ve internet hikayesinin ürünüdür. İngilizce eğitim verilen bir üniversite okudum ve okurken İngilizce yüzünden çoğu kavramı anlayamamanın sıkıntısını yakından hissettim. Okurken sınıf arkadaşlarım, sonrasına akademik hayatım boyunca öğrencilerim hep konuların bir de Türkçe anlatılmasını istiyorlardı. Ne yazık ki yapacak çok fazla şey yoktu çünkü çoğu henüz bir kaç sene önce literatüre girmiş ve henüz Türkçe kitapların çıkmasına yıllar olan bilişim kavramlarından bahsediyorduk. Karşılaştığımız terimlerin Türkçelerinin ne olacağı bile kesin değildi.

O dönemleri hatırlıyorum ve İngilizce dışında bir çıkar yol olmadığını, bu konuda çalışacak kişilerin mutlaka İngilizce bilmesi gerektiğini savunduğumu hatırlıyorum. Ben de kendimi İngilizce içerik üretmek için adeta zorluyordum. Sonra zaman ilerledikçe ve artık nispeten daha iyi İngilizce öğrenince herkesin bu acıları çekmemesi için önce bildiklerimi Türkçe olarak insanlara anlatmaya başladım. Ufak dersler şeklinde başladıktan sonra 2007 yılında, şimdi ismi bilgisayarkavramları.com olarak bilinen siteyi oluşturmaya başladım. Gelen talepler ve geri dönüşler insanı cesaretlendiriyordu, elimden geldiğince vakit ayırıp işimden artan vakitlerde bilebildiğim kadarıyla yazılar yazmaya çalışıyordum. Yazılarımın bir kısmında hatalarım oluyordu, veya anlatılması gerekli ama benim atladığım noktalar oluyordu, çok sayıda yorum, soru ve eleştiri neticesinde başlangıçta bir iki paragraf ile başladığım anlatımlar sayfalarca uzunluğa erişiyor ve benim tek başıma asla yapamayacağım kadar kaliteli hale geliyordu. Üstelik siteye bağlanan kişilerin soruları ve yorumları, bir sonraki yazılacak olan veya en fazla ihtiyaç olan yazıyı da anlamakta yol gösteriyordu. Vakit buldukça oluşturduğum içerik şu anda 2000’e yakın maddeye dönüşmüş durumda. Yazıları yazarken internette aratıyor ve acaba Türkçe başka bir yazı var mı diye bakıyordum. Çoğu yazının ilk kez Türkçe için açık olarak yazıldığı bir kaynak olduğunu söyleyebilirim. Belki ücretli bazı kitaplarda Türkçe içerik olarak bu yazıların benzerleri bulunabilir ancak en azından ben arattığımda genelde hiçbir içeriğe ulaşamıyordum. Elbette zaman geçtikçe çok daha kaliteli yazılar internete eklenmiştir ve bu kitabın tarihi itibariyle çoğu konuda, Bilgisayar Kavramları içeriğinden daha iyilerine ulaşılabilir.

2015 yılına geldiğimizde bu dünyadaki insanların yeni sorunları vardı. Birincisi çok fazla kaynak olmasına karşılık kaliteli ve güvenilir kaynak sıkıntısıydı. Artık her konuda en az iki üç yazı bulunabiliyordu ama ne kadar doğru olduğundan emin olunamıyordu. Bazen bir lise öğrencisi, bilgisayar mühendisliğinde doktora yapan birsinin bile anlamakta zorluk çektiği konularda uzman gibi yazılar yazabiliyordu ve ne yazık ki çoğu zaman bu yazılar anlamsız hatalarla dolu oluyordu. Eh benim yıllar önce yazdığım yazılar, her ne kadar okuyucular tarafından demirin çekiçle dövülmesi gibi onlarca kere dövülmüş olsa da zaman içerisinde cazibesini yitirmiş bir kenarda kalmış yazılara dönüştü ve laf aramızda eskisi kadar çok okuyan da kalmamıştı. Bunun bir sebebi insanların konuları artık video gibi görsel kaynaklardan öğreniyor olmalarıydı. Amerika’nın, Hindistan’ın veya Japonya’nın en iyi üniversitelerinin en iyi hocaların artık YouTube üzerinden izlemek mümkündü. Çoğu yazılımın tanıtımını veya eğitimini doğrudan yazılımı yazan ekipten dinlemek ve hatta sorularınızı sormanız mümkün hale gelmişti. Yine tek problem İngilizceydi ve insanlar anlamasalar bile videoları izleyerek anlatılanlardan çıkarım yapmaya çalışıyorlardı. Her gün 40 milyon videonun izlendiği Türkiye’de artık insanlar  okumaktan çok vaktini izlemek ve dinlemek için harcıyordu. Yine kolları sıvayıp, yine nasıl faydalı olabiliriz sorusu üzerine giderek video çekmeye başladım. İlk başlarda amatörce videolar çekiyordum (hala tam profesyonel olduğum söylenemez) ve yarım saatlik bir video için şanslıysam bir günde montajı bitirerek, başarısız montaj sonunda çıkmışım gigabyte’larca uzunluktaki videoyu kısıtlı internetim ile bir günde ancak yükleyebiliyordum. Ancak yine duyarlı bir kitle vardı ve gelen olumlu yorumlar doğru yolda olduğumu gösteriyordu. Giderek montaj yazılımlarını öğrenmeye başladım, artık montajlanan videolar daha küçük oluyor, daha hızlı yükleniyor ve bütün bunlar daha hızlı gerçekleşiyordu. Kısa sürede yüzlerce video yüklenmiş ve YouTube hesabım karmaşık bir yer olmuştu bile. İnsanlar videodaki konuya yönelik yorum ve sorularından çok aradıkları konuları nasıl bulacaklarını veya daha önce anlatıp anlatmadığımı soruyor, yorum olarak videoların düzene sokulmasını istiyorlardı. Diğer sık yapılan bir yorum ise videosu çekilen konuların yazılı malzemeye dönüştürülmesiydi. Elbette, hatırı sayılır bir grup insan okuyarak öğrenmeye alışmıştı veya bilgiye basit bir aramayla daha hızlı ulaşmak istiyordu. Henüz teknolojik olarak videonun içerisinde geçen bir kelimeyi aramak mümkün değildi ve konuya hakim birisi için videoyu baştan sona izlemek sıkıcı olabiliyordu.

Bir şekilde, yeniden yazılı kaynak üretmenin vakti gelmişti ancak video çekmekten de vaz geçmek istemiyordum. Tanıdığım kişilere ulaşmaya çalıştım, Muhammed Murat Tutar ve Abdullah Tutar kardeşler, videolarımı yazıya geçirmek için bir yaz boyunca benimle aynı ofiste vakit harcama nezaketinde bulundular. Yaz sonunda gelindiğinde bu kitapta okuyacağınız içeriğin henüz küçük bir kısmı tamamlanmıştı ve henüz mizanpaj ve şekil açısından çok fazla eksik bulunuyordu. Hatta nasıl bir yolla basılacağı bile belli değildi. Kaderin bir tecellisi olarak yolları benimle birleşen Havva Yüksel ve Gülsüm Yiğit, üç aya yakın bir vakit harcayarak ham halde bulunan bu yazıları sizlerin şu anda okuduğunuz hale getirdiler ve benim çok sayıda hatamı bularak düzelttiler. Elbette bu kadar çalışmalarına rağmen düzeltilecek çok sayıda hatam olduğu kesin ve iş biraz da size düşüyor. Bu kitapta gördüğünüz hataları veya görmek istediğiniz konuları not alarak bana ulaştırma nezaketinde bulunursanız, ve hatta içerik yazarak kendiniz eksik bir kısmı tamamlarsanız bu büyük iyi niyet projesinin bir parçası olabilirsiniz. Yazılarını bana ulaştıran herkesin yazısını kendi ismi ile bu kitabın yeni sürümlerine eklemekten büyük bir onur duyarım.

Kitap Hakkında

Kitap, yukarıda da bahsettiğim gibi maceralı ve aylar süren bir sürecin sonunda, çok sayıda kişinin katkısı ile oluştu. Kitabın içeriğine geçmeden önce kitabın kurgusu hakkında bilgi vermek isterim. Bu kitap bilimsel veya akademik bir kitap değildir.  Hatta bu kitabın bir ders kitabı olduğunu söylemek bile güçtür. Kitabın esas amacı, YouTube üzerinde hazırlanan eğitim serisini tamamlayıcı yazılı materyal oluşturmaktır. Elbette kitap tek başına okunabilir ve videolar olmaksızın tek başına Weka yazılımını öğrenmeyi sağlayıcı niteliktedir ancak bu kitabı edinecek kişileri iki ayrı grupta düşünebiliriz. Birinci grupta, kavramları ve dolayısıyla Weka yazılımını ilk kez öğrenecek olan kişiler, ikinci grupta ise konuları ve kavramları belki benden bile daha iyi bilen ve takıldıkları bazı konularda hızlıca veriye ulaşmak isteyen kişiler.

Şayet ilk gruptaysanız ve konuyu yeni öğreniyorsanız, sizlere tavsiyem kesinlikle atlamadan sırasıyla videoları izlemeniz ve kitaptan takip etmenizdir. Eğitim serisini sıralı bir şekilde hazırladım ve videoların içerisinde bazı kavramları dağıttım. Videoları genel olarak sıkıcı olmaması için kısa tutmaya çalıştığımdan video serisindeki bütün videolar izlenmeden tam bir bilgi sahibi olmanın zor olacağını söyleyebilirim.

Şayet ikinci grupta ve herhangi bir bilgiye hızlı bir şekilde ulaşmaya çalışan birisiyseniz, bu kitapta hızlı bir arama sonunda cevabınıza ulaşabilirsiniz. Şayet yine de kitaptan tatminkar bir cevap elde edemiyorsanız, kitaptaki her başlık, YouTube kanalındaki bir videoya karşılık gelecek şekilde düzenlenmiş olduğundan ilgili videoyu açıp hızlıca ilgili dakikaya gitmeniz ve izleyerek görmeniz mümkün olacaktır. Yine de aradığınızı bulamıyorsanız, lütfen ilgili videonun altına yorum yazmaktan çekinmeyin. Unutmayın ki bu içeriği şekillendiren ve bu içeriğin var olmasında en önemli katkıyı yapanlar benimle internet üzerinden iletişime geçen kitledir ve yorumlarınız ve sorularınız benim için çok kıymetli.

Son olarak kitabı takip edebileceğiniz YouTube kanalımızın adresi aşağıdaki şekildedir:

https://www.youtube.com/+Sadievrenseker_bk

İÇİNDEKİLER

Önsöz

Sınıflandırma

Gözetimli ve Gözetimsiz Öğrenme(Supervised and unsupervised learning)

Sınıflandırma

Sayısal tahmin(numeric prediction)

Kural Tabanlı SınıflandırmaYöntemi

Weka-1 Giriş ve Ekranları Tanıma

Explorer

Exprerimenter

KnowledgeFlow

Command Line Interface(CLI)

Weka-2 ARFF Dosya Tipi ve Temel Filtreleme

ARFF’deki Temel Tanımlar

CSV-ARFF Dosya Dönüşümü

Bilinmeyen Değerlerin ARFF’de Tanımlanması

SparceMatrix ve ARFF Dosya Türü

Weka’da Temel Filtreleme

Weka-3 ZeroR Algoritması

Weka-4 OneR Algoritması

Naïve Bayes Algoritması

Laplace Düzeltmesi

Naïve Bayes Sınıflandırmasının Temel Özellikleri

Weka-5 Naïve Bayes Algoritması

Karar Ağaçları

Özellik Seçme Kriteri:Bilgi Kazancı

Bilgi Oranı

Aşırı Öğrenme

Budama

Ön Budama

Son Budama

Weka-6 Karar Ağaçları

Model Seçimi

Duyarlılık ve Özgüllük Değerleri

Değerlerin Ölçülmesi

Yüzdesel Bölmek

Cross