क्या आपको ऐसी मशीन की आवश्यकता है जो प्रति सेकंड सैकड़ों खरबों फ्लोटिंग-पॉइंट गणनाएं प्रदान कर सके? या क्या आपको बार कहानी की आवश्यकता है कि आपके बेसमेंट में सुपरकंप्यूटर ने ब्रेकर कैसे फ़्लिप किया? अपना खुद का हाई परफॉर्मेंस कंप्यूट क्लस्टर, उर्फ सुपरकंप्यूटर बनाना, किसी भी विशेषज्ञ गीक के पास खाली समय के सप्ताहांत के साथ एक चुनौती है और जलाने के लिए कुछ नकदी से निपट सकते हैं। तकनीकी रूप से कहें तो, एक आधुनिक, मल्टी-प्रोसेसर सुपरकंप्यूटर एक समस्या को हल करने के लिए समानांतर में एक साथ काम करने वाले कंप्यूटरों का एक नेटवर्क है। यह आलेख हार्डवेयर और सॉफ़्टवेयर पर ध्यान केंद्रित करते हुए प्रक्रिया के प्रत्येक चरण का संक्षेप में वर्णन करेगा।
कदम
चरण 1. सबसे पहले आवश्यक हार्डवेयर घटकों और संसाधनों का निर्धारण करें।
आपको एक हेड नोड, कम से कम एक दर्जन समान कंप्यूट नोड्स, एक ईथरनेट स्विच, एक बिजली वितरण इकाई और एक रैक की आवश्यकता होगी। बिजली की मांग, शीतलन और आवश्यक स्थान का निर्धारण करें। यह भी तय करें कि आप अपने निजी नेटवर्क के लिए कौन सा आईपी पता चाहते हैं, नोड्स का नाम क्या है, आप कौन से सॉफ़्टवेयर पैकेज स्थापित करना चाहते हैं, और आप कौन सी तकनीक समानांतर कंप्यूटिंग क्षमताओं को प्रदान करना चाहते हैं (इस पर बाद में अधिक)।
- यद्यपि हार्डवेयर महंगा है, इसमें सूचीबद्ध सभी सॉफ़्टवेयर कैसे-कैसे निःशुल्क हैं, और अधिकांश खुले स्रोत हैं।
- यदि आप यह देखना चाहते हैं कि सैद्धांतिक रूप से आपका सुपरकंप्यूटर कितना तेज़ होगा, तो इस उपकरण का उपयोग करें:
चरण 2. कंप्यूट नोड्स बनाएँ।
आपको कंप्यूट नोड्स को असेंबल करना होगा या प्री-बिल्ड सर्वर हासिल करना होगा।
- एक कंप्यूटर सर्वर चेसिस चुनें जो अंतरिक्ष, शीतलन और ऊर्जा दक्षता को अधिकतम करता है।
- या आप एक दर्जन या इतने ही पुराने सर्वरों का उपयोग कर सकते हैं - जिनका पूरा हिस्सा उनके हिस्से के योग से अधिक होगा, फिर भी आपके लिए एक बड़ी मात्रा में नकदी की बचत होगी। पूरे सिस्टम को अच्छी तरह से चलाने के लिए सभी प्रोसेसर, नेटवर्क एडेप्टर और मदरबोर्ड समान होने चाहिए। बेशक, प्रत्येक नोड के लिए रैम और स्टोरेज और हेड नोड के लिए कम से कम एक ऑप्टिकल ड्राइव के बारे में मत भूलना।
चरण 3. सर्वर को रैक में स्थापित करें।
नीचे से शुरू करें, ताकि रैक ऊपर से भारी न हो। इसमें आपकी मदद करने के लिए आपको एक मित्र की आवश्यकता होगी - घने सर्वर बहुत भारी हो सकते हैं और उन्हें रैक में रखने वाली रेल में मार्गदर्शन करना मुश्किल है।
चरण 4. सर्वर चेसिस के ऊपर ईथरनेट स्विच स्थापित करें।
स्विच को कॉन्फ़िगर करने के लिए इस क्षण को लें: 9000 बाइट्स के जंबो फ्रेम आकार की अनुमति दें, आईपी पते को चरण 1 में तय किए गए स्थिर पते पर सेट करें, और एसएमटीपी स्नूपिंग जैसे अनावश्यक रूटिंग प्रोटोकॉल को बंद करें।
चरण 5. पीडीयू (विद्युत वितरण इकाई) स्थापित करें।
आपके नोड्स को अधिकतम लोड पर कितने करंट की आवश्यकता हो सकती है, इस पर निर्भर करते हुए, आपको उच्च प्रदर्शन कंप्यूटिंग के लिए 220 वोल्ट की आवश्यकता हो सकती है।
चरण 6. सब कुछ स्थापित होने के साथ, आप कॉन्फ़िगरेशन प्रक्रिया शुरू कर सकते हैं।
एचपीसी समूहों के लिए लिनक्स वास्तविक ओएस है-न केवल यह वैज्ञानिक कंप्यूटिंग के लिए आदर्श वातावरण है, बल्कि इसे सैकड़ों या हजारों नोड्स पर स्थापित करने के लिए एक चीज भी खर्च नहीं होती है। कल्पना कीजिए कि उन सभी नोड्स पर विंडोज़ स्थापित करने में कितना खर्च आएगा!
- मदरबोर्ड BIOS और फर्मवेयर के नवीनतम संस्करण को स्थापित करने के साथ शुरू करें, जो सभी नोड्स पर समान होना चाहिए।
- हेड नोड के लिए ग्राफिकल यूआई के साथ, प्रत्येक नोड पर अपना पसंदीदा लिनक्स डिस्ट्रो स्थापित करें। लोकप्रिय विकल्पों में CentOS, OpenSuse, वैज्ञानिक Linux, RedHat और SLES शामिल हैं।
- यह लेखक रॉक्स क्लस्टर वितरण का उपयोग करने की अत्यधिक अनुशंसा करता है। कंप्यूट क्लस्टर के कार्य करने के लिए आवश्यक सभी उपकरणों को स्थापित करने के अलावा, रॉक्स पीएक्सई बूट और रेड हैट 'किक स्टार्ट' प्रक्रिया का उपयोग करके बहुत जल्दी नोड्स में खुद के कई उदाहरणों को 'वितरित' करने के लिए एक महान विधि का उपयोग करता है।
चरण 7. संदेश-पासिंग इंटरफ़ेस, संसाधन-प्रबंधक, और अन्य आवश्यक पुस्तकालय स्थापित करें।
यदि आपने पिछले चरण में रॉक्स को स्थापित नहीं किया है, तो आपको समानांतर कंप्यूटिंग तंत्र को सक्षम करने के लिए आवश्यक सॉफ़्टवेयर को मैन्युअल रूप से सेटअप करना होगा।
- सबसे पहले आपको एक पोर्टेबल बैश प्रबंधन प्रणाली की आवश्यकता होगी, जैसे कि टॉर्क रिसोर्स मैनेजर, जो आपको कई मशीनों को कार्यों को तोड़ने और वितरित करने की अनुमति देता है।
- सेटअप पूरा करने के लिए टॉर्क को माउ क्लस्टर शेड्यूलर के साथ पेयर करें।
- आगे आपको समान डेटा साझा करने के लिए अलग-अलग गणना नोड्स पर अलग-अलग प्रक्रियाओं के लिए आवश्यक संदेश पासिंग इंटरफ़ेस स्थापित करने की आवश्यकता होगी। ओपनएमपी एक नो-ब्रेनर है।
- अपने समानांतर कंप्यूटिंग प्रोग्राम बनाने के लिए मल्टी-थ्रेडिंग गणित पुस्तकालयों और कंपाइलरों को न भूलें। क्या मैंने उल्लेख किया है कि आपको सिर्फ चट्टानों को स्थापित करना चाहिए?
चरण 8. कंप्यूट नोड्स को एक साथ नेटवर्क करें।
हेड नोड कंप्यूट कार्यों को कंप्यूट नोड्स को भेजता है, जो बदले में परिणाम को वापस भेजना चाहिए, साथ ही एक दूसरे को संदेश भेजना चाहिए। जितनी जल्दी हो उतना अच्छा।
- क्लस्टर में सभी नोड्स को जोड़ने के लिए एक निजी ईथरनेट नेटवर्क का उपयोग करें।
- हेड नोड ईथरनेट नेटवर्क पर NFS, PXE, DHCP, TFTP और NTP सर्वर के रूप में भी कार्य कर सकता है।
- आपको इस नेटवर्क को सार्वजनिक नेटवर्क से अलग करना होगा, जो यह सुनिश्चित करता है कि प्रसारण पैकेट आपके LAN के अन्य नेटवर्क में हस्तक्षेप न करें।
चरण 9. क्लस्टर का परीक्षण करें।
अपने उपयोगकर्ताओं को यह सारी गणना शक्ति जारी करने से पहले आखिरी चीज जो आप करना चाहते हैं, वह है इसके प्रदर्शन का परीक्षण करना। एचपीएल (हाई परफॉर्मेंस लिनपैक) बेंचमार्क क्लस्टर की कम्प्यूटेशनल गति को मापने के लिए एक लोकप्रिय विकल्प है। आपके द्वारा चुने गए आर्किटेक्चर के लिए आपके कंपाइलर ऑफ़र के सभी संभावित अनुकूलन के साथ आपको इसे स्रोत से संकलित करने की आवश्यकता होगी।
- बेशक, आपको अपने मंच के लिए सभी संभावित अनुकूलन विकल्पों के साथ स्रोत से संकलन करना होगा। उदाहरण के लिए, यदि AMD CPU का उपयोग कर रहे हैं, तो Open64 के साथ -0fast अनुकूलन स्तर के साथ संकलित करें।
- अपने क्लस्टर की तुलना दुनिया के सबसे तेज़ 500 सुपर कंप्यूटरों से करने के लिए TOP500.org पर अपने परिणामों की तुलना करें!
वीडियो - इस सेवा का उपयोग करके, कुछ जानकारी YouTube के साथ साझा की जा सकती है।
टिप्स
- वास्तव में उच्च नेटवर्क गति के लिए, InfiniBand नेटवर्क इंटरफेस देखें। हालांकि प्रीमियम कीमतों का भुगतान करने के लिए तैयार रहें।
- आईपीएमआई केवीएम-ओवर-आईपी, रिमोट पावर साइकलिंग, और बहुत कुछ प्रदान करके बड़े क्लस्टर के प्रशासन को आसान बना सकता है।
- नोड्स पर कम्प्यूटेशनल लोड की निगरानी के लिए गैंग्लिया का प्रयोग करें।
