Hadoop Nasıl Kurulur? (Windows için)
Bir MapReduce Framework teknolojisi olan Hadoop’u Windows işletim sistemi üzerinde kullanabiliriz. Fakat Hadoop bize Windows için hazır binary çıktısı sunmuyor. İşte bu yüzden Hadoop kaynak kodlarını kendi sisteminizde inşa etmeniz gerekmektedir. Birazdan bahsedilecek adımlar Windows 7 x64 işletim sistemi üzerinde denenmiştir.
Adımlar
-1. Hadoop Java diliyle yazıldığı için, inşa sürecinde JDK (Java Development Kit) gerekmektedir. JDK 1.6 ve yukarısı sürümlerle Hadoop’u inşa edebilirsiniz.
|
Not
|
|
0. Hadoop kaynak kodları projelerini Maven proje yapısında tutmaktadır. Bu sebeple Apache Maven 3.x versiyonu sisteminizde bulunmalıdır.
1. Hadoop kaynak kodları git aracıyla Github yansısından indirilir.
E:/> git clone https://github.com/apache/hadoop.git hadoop-source (1)
E:/> cd hadoop-source (2)
E:/hadoop-source> git checkout branch-2.5 (3)- Kaynak kodlar
hadoop-sourcedizinine indirilir. hadoop-sourcedizinine geçilir.- Stabil sürüme geçilir.
|
Not
|
Bu denemede kaynak kodlar Kaynak kodların indirildiği dizin kısa olmalıdır. Örneğin |
2. Hadoop inşası sürecinde bazı Linux komutlarına ihtiyaç duyulmaktadır. Gereken Linux komutlarını Windows ortamında kullanabilmek için gnuwin32 projesinden faydalanabiliriz.
- gnuwin32 indirilir.
- İndirilen
.exebir dizine ayıklanır. - Ayıklanılan dizine konsoldan geçilir ve
download.batçalıştırılır. download.batsonrasıinstall.batçalıştırılır. Belirli bir süre sonra yükleme tamamlanır ve Linux komutlarını taklit eden araçlar ayıklanan/gnuwin32/bindizininde belirir.
/bin dizini Environment Variables ‘a eklenir.|
Not
|
Hadoop inşasında ek olarak Protobuf aracına ihtiyaç duyulmaktadır. Bu aracı indirdikten sonra protoc.exe aracını /gnuwin32/bin veya C:/Windows/System32 dizinine kopyalayabiliriz. |
3. Kurulum işlemlerinde MsBuild aracıyla derleme işlemleri yapılacaktır. Bu sebeple Microsoft Windows SDK for Windows 7 and .NET Framework 4 sisteminize kurulmalıdır. Kurulum sırasında C++ Compiler seçeneklerinin seçili olduğundan emin olunuz.
4. Windows SDK kurulumundan sonra, SDK’nın kendi konsol aracı açılmalıdır. Başlat ⇒ Ara kısmına Windows SDK 7.1 Command Prompt yazıldığında Windows 7 SDK konsol aracı belirecektir.
5. Açılan konsol aracında Hadoop kaynak kodlarının indirildiği dizine geçilir ve sırasıyla aşağıdaki komutlar koşturulur.
E:/> set Platform=x64 // OS 64 bit ise bunu,
E:/> set Platform=Win32 // 32 bit ise bunu tercih edelim
E:/> cd hadoop-source
E:/hadoop-source> mvn clean package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=trueBu işlemden sonra BUILD SUCCESS mesajını gördüğümüzde işlem tamam demektir.
İnşa sonucu üretilen çıktı E:/hadoop-source/hadoop-dist/target dizininde hadoop-2.5.2-SNAPSHOT.tar.gz olarak görülecektir.
Şimdilik bu kadar, tekrar görüşmek dileğiyle. Üretilen çıktıya hazır olarak buradan erişebilirsiniz.
You may also like
Swagger Nedir? Neden kullanılır?
Spring CLI ile Spring Boot Projeleri Hazırlamak
7 Comments
“mvn clean package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true” kodunu yazarken şu hatayı alıyorum. “mvn is not recognized as an internal or external command, operable program or batch file”
maven yüzünden mi yoksa başka bir problem mi?
Maven yüklememişsiniz veya mvn aracı sistem değişkenleri üzerinden erişilebilir değil.
tekrar merhaba. maven’ı yüklemek gerekiyormuş, şimdi onu hallettim windows sdk command ekranında sorun yaşıyorum.aldığım ilk hata bu: http://imgim.com/hadooperror.jpg
mvn -e komutu ile ilk hata çözüldü ama son olarak bu hatayı alıyorum : http://imgim.com/hadooperror2.jpg
mvn -X komutunu yazınca olmuyor.
windows 7 x86 üzerine kurmaya çalışıyorum. yardımcı olursanız sevinirim
Belirttiğiniz hatanın sebebini bilmiyorum. Mail grubunda sorabilirsiniz. http://hadoop.apache.org/mailing_lists.html#Issues .
Merhaba http://www.oreilly.com/programming/free/hadoop-with-python.csp belki işinize yarar.
normal cmd(windows terminalden) den girsek komutları oluyormu windows sdk nın cmd si şartmı ben win10 kullanıyorum çünkü onda bu promt yok
Windows 10 ile denemedim fakat sanırım https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10 yardımcı olabilir.