第 1章. 硬體安裝與作業系統配置

如要設定硬體配置以及安裝 Red Hat Enterprise Linux,請遵照這些步驟:

在設定好硬體配置並安裝好 Red Hat Enterprise Linux 之後,請安裝叢集軟體。

提示建議
 

請參考位於 http://hardware.redhat.com/hcl/Red Hat Hardware Compatibility List 以取得相容硬體的清單。 請執行名詞 cluster 的一個 Quick Search,以找出通過 Red Hat 叢集管理員 認證或與 其相容的電源開關與共用儲存裝置硬體。 如要進行一般的系統硬體相容性搜尋,請使用製造商、廠牌或者是型號等 關鍵字來檢查與 Red Hat Enterprise Linux 的相容性。

1.1. 選擇一個硬體配置

Red Hat 叢集管理員 使得系統管理員可以使用可用的硬體來設定一個叢集的配置,以符合應用程式 與使用者之效能表現、可用度以及資料整合性的需求。 叢集的硬體泛從低價的最小配置 (僅包括叢集操作所需的元件),到包含冗餘的乙太網路頻道、硬體 RAID 以及電源開 關等的高階配置。

不管組態設定的配置,建議您在從集中使用高品質的硬體,因為硬體發生錯誤是系統 停機時間的主要因素。

雖然所有的叢集配置都提供可存取性,有些配置會保護每一個單一節點失效的狀況 ,除此之外所有的叢集配置提供資料的整合性,不過有些配置會在每一種系統 錯誤的狀況下保護資料。 因此系統管理員必須完全了解他們電腦操作環境的需求,以及 不同硬體配置的可存取性與資料完整性特色,才能選擇合乎適當需求的叢集硬體。

當您選擇一個叢集硬體配置時,請考慮以下的情況:

應用程式與使用者的效能表現需求

請選擇提供適當的記憶體、CPU 以及 I/O 存取資源的硬體配置,請確定所選擇的配置足以 處理未來可能增加的負載量。

成本的限制

所選擇的硬體配置也必須符合預算的需求,例如含有多重 I/O 埠的系統通常比含有較少擴充 能力之低階系統還要貴很多。

可存取性的需求

假如一個電腦作業環境需要最高的可存取性,例如一個用作生產的環境,建議您使用可保護所有單一節點失效狀況(包括磁碟、互連的儲存裝置、乙太網路通道以及電源等的失效情況。) 的叢集硬體配置。 至於可以承受存取性中斷的環境(例如用作開發的環境)也許不需要如此的保護措施。 請參考 第 1.4.3 節第 1.4.4 節 以取得關於使用冗餘硬體以提供 高存取性的更多資訊。

在所有錯誤狀況下的資料完整性需求

在叢集配置中使用電源切換器將可保證所伺服的資料在每一個失效的狀況受到保護,這些 裝置使得一個成員在容錯移轉時以及在重新啟動一個失效成員的服務之前,可以 power-cycle 該失效的成員。 當一個沒有反應(或當機)的成員轉為有反應時(在它的服務已經容錯 移轉,並且傳達 I/O 到一個也接收來自其他成員 I/O 的磁碟中),電源切換器可以保護 資料免於毀損的狀況。

此外,假如一個叢集成員的 quorum 系統程式失效了,該叢集成員將不再能夠監控 共用的叢集分割區,假如您在叢集中沒有使用電源切換器,這個錯誤的狀況也許會 導致由一部以上的成員來執行服務,這將會造成資料毀損。 請參考 第 1.4.2 節 以取得關於在叢集中使用電源切換器的更多資訊。 建議您在用作生產的環境中使用電源切換器或看門狗計時器在叢集配置中。

1.1.1. 共用的儲存需求

叢集的操作仰賴可靠且協調地存取共用儲存裝置,在硬體失效的情況下,最好可以從 共用儲存裝置中中斷一個成員的連線以進行修復,而不影響到其他的成員。 共用儲存裝置 對叢集配置是具有絕對重要性的。

假如可行的話,如使用標準的 SCSI 介面卡來設定可靠的 multi-initiator 平行 SCSI 配置使資料傳輸速率在每秒 80MB 以上,測試顯示出這是很困難的,進一步的測試也顯示出 這些配置無法支援線上的修復,因為當 HBA 阻斷器已停用,而使用外部的阻斷器時,匯流排 無法運作順利。 由於這些原因,使用標準介面卡的 multi-initiator SCSI 配置並沒有受 支援,將需要 single-initiator SCSI 的匯流排介面卡(連接至多連接埠的儲存裝置)或 Fibre Channel 的介面卡。

Red Hat 叢集管理員 需要所有的叢集成員都能夠同時存取共用儲存裝置,某些主機 RAID 介面卡可以提供這種類型的存取給共用的 RAID 裝置,這些產品需要更多的測試以確保能夠正常運作,特別是當共用的 RAID 裝置是以平行的 SCSI 匯流排為基礎的。 這些產品基本上並不允許一個發生錯誤的成員進行線上修復,只有 Red Hat Hardware Compatibility List 所列出的主機 RAID 介面卡才受支援。

使用軟體 RAID 或軟體邏輯磁區管理(LVM)並不被共用儲存裝置支援,這是因為這些產品並不 協調多重主機存取共用的儲存裝置,軟體 RAID 或 LVM 也許可以使用在叢集成員的非共用 儲存裝置上(例如開機與系統分割區,以及不與任何叢集服務關聯的其他檔案系統)。

1.1.2. 最低的硬體需求

一個最低硬體的配置僅包含叢集運作所需的硬體元件,如下所示:

  • 用來執行叢集服務的兩部伺服器

  • 用來傳送 heartbeat ping 以及用戶端網路存取的乙太網路連線

  • 用於共用叢集分割區與服務資料的共用磁碟儲存

表格 1-1所描述的硬體元件可以使用來設定一個最低 的叢集配置,不過這樣的配置並不保證在所有系統發生錯誤的狀況下資料的完整性,因為 其中並不包含電源切換器。 請注意,這只是一個範例的配置,尚可使用其他的硬體來設定 一個最基本的配置。

硬體說明
兩部伺服器每部成員含有用作用戶端存取以及乙太網路連線的一個網路介面,以及一個當作共用儲存 裝置連線的 SCSI 介面卡 (停用阻斷功能)
含有 RJ45 接頭的兩條網路線連接每一成員的乙太網路介面到網路的網路線(當作用戶端存取與 heartbeat pings)。
RAID 儲存的附件RAID 儲存的附件包含至少兩個主機連接埠的一個控制卡。
兩條 HD68 SCSI 傳輸線每一條傳輸線連接一部 HBA 到 RAID 控制卡上的一個連接埠,以建立兩個 single-initiator SCSI 匯流排。

表格 1-1. 最低叢集配置的範例

最低的硬體配置是最經濟的叢集配置,然而它卻含有多節點失效的狀況,舉例來說, 假如 RAID 控制卡失效了,則所有的叢集服務都將無法存取。 當您配置最低的硬體配置時, 最好設定軟體的 watchdog timers 當作資料完整性的儲備,請參考 第 B.1.2.3 節 以取得詳細資訊。

為了改善可用性、保護系統元件以免發生錯誤的狀況以及在所有的錯誤狀況下確保資料的 完整性,您可以擴展這個最低的硬體配置,如 表格 1-2 所示。

問題解決方法
磁碟失效復寫資料在多個磁碟的硬體 RAID
RAID 控制卡失效雙重的 RAID 控制卡以提供冗餘的存取磁碟資料
Heartbeat 失效乙太網路的 channel bonding 以及容錯移轉
電源來源失效冗餘的不斷電系統(UPS)
所有失效狀況下的資料毀損電源切換器或硬體為基礎的 watchdog timer

表格 1-2. 改善可用性以及確保資料的完整性

一個不含單一節點失效狀況的硬體配置,且在所有系統失效狀況下可保證資料的完整性, 可以包含下列的元件:

  • 至少需兩部伺服器來執行叢集服務

  • 用於每一成員間用來傳送 heartbeat ping 以及用戶端網路存取的乙太網路連線

  • 雙重控制卡的 RAID 陣列以重複共享的分割區與所伺服的資料

  • 在容錯移轉的過程中允許每一成員 power-cycle 其他成員的電源切換器

  • 設定使用 channel bonding 的乙太網路介面

  • 至少兩部 UPS 系統以提供高存取性的電源來源

表格 1-3 所描述的元件可以使用來設定一個非單一節點失效 狀況的叢集配置,其中包含兩個 single-initiator 的 SCSI 匯流排以及電源切換器以確保 在所有系統失效狀況下資料的完整性。 請注意這只是一個範例的配置,仍然可以使用其他的 硬體來設定一個非單一節點失效狀況的配置。

硬體說明
兩部伺服器(最多支援到 8 部)

每一個成員都含有下列的硬體裝置:
兩張網路介面卡用於:
點對點的乙太網路連線
用戶端的網路存取與乙太網路的 heartbeat pings
三個序列埠用於:
遠端電源切換器的連線
連線到終端伺服器
一個 Tekram Ultra2 DC-390U2W 配接卡 (啟用阻絕)用於共用磁碟儲存裝置的連線。

一個網路交換器一個網路交換器以連接多個成員到網路中。
一部 Cyclades 終端伺服器一部終端伺服器使您可以從一個固定的位置來管理遠端的成員機器。(叢集的操作並不 需要終端伺服器。)
四條網路線用來連接終端伺服器與每一成員上之網路介面卡到網路交換器的網路線。
兩條 RJ45 轉 DB9 的跳接線RJ45 轉 DB9 的跳接線連接每一成員上的序列埠到 Cyclades 的終端伺服器。
兩部序列連線的電源切換器電源切換器使得每一成員在重新啟動它的服務前 power-cycle 其他成員,每一成員的電源線都連接到它自己的電源開關。請注意序列連線的電源開關僅在兩部成員的叢集才受支援。
兩條 Null 數據機纜線Null 的數據機纜線連接每一成員的序列埠到提供電源給其他成員的電源切換器,這樣的連線 使得每一成員可以 power-cycle 其他成員。
含有雙控制卡的 FlashDisk RAID 磁碟陣列雙 RAID 控制卡保護磁碟與控制卡的失效,RAID 控制卡提供同時存取主機連接埠上的所有 邏輯單位。
兩條 HD68 SCSI 傳輸線HD68 纜線連接每一部主機的匯流排配接卡到一部 RAID 中的 "in" 連接埠, 以建立兩條 single-initiator 的 SCSI 匯流排。
兩個終止器終止器連接 RAID 上的每一個 "out" 連接埠,以阻斷兩條 single-initiator 的 SCSI 匯流排。
冗餘的 UPS 系統UPS 系統提供高可用性的電源來源,電源切換器與 RAID 附件的電源線連接到兩部 UPS 系統。

表格 1-3. 非單一節點失效狀況配置的範例

圖形 1-1 顯示一個無單一節點失效狀況的硬體配置範例, 這個範例含有之前所描述的硬體、兩條 single-initiator 的 SCSI 匯流排與電源切換器以 確保在所有失效的情況下資料的完整性。 在一個環狀中的 "T" 代表一個 SCSI 的終止器。

圖形 1-1. 無單一節點失效狀況的配置範例

叢集的硬體配置也可以含括其他在電腦操作環境常見的額外硬體元件,舉例來說,一個叢集 可以含有一部『網路交換器』或『網路集線器, 這將可建立成員與網路間的連線。 一部叢集也會含有一部『主控台切換器』, 以幫助多部成員機器的管理,以及減少加裝螢幕、滑鼠與鍵盤到每一成員的必要。

主控台切換器的其中一個類型是一部『終端伺服器』,它使得您 可以從一個遠端的位置連線到序列主控台以及管理許多成員機器。 如要採用較低價替代方案, 您可以使用一部 KVM(鍵盤、顯示器與滑鼠)的切換器,它可讓多 部成員機器分享一組鍵盤、螢幕與滑鼠。 當您必須使用圖形使用者介面來執行系統管理工作, 使用 KVM 是相當方便的。

當您選取一部系統時,請確定它有提供必要的 PCI 插槽、網路插槽以及序列埠,舉例來說,一個無單一節點失效狀況的設定需要多個結合在一起的乙太網路連接埠,請參考 第 1.2.1 節 以取得更多資訊。

1.1.3. 選擇電源控制器的類型

Red Hat 叢集管理員 的實作中含有一個一般的電源管理層,與用來容納一系列電源管理類型的一組裝置特定的模組。 當選擇適當的電源控制器類型來用於叢集中,了解關於使用特定裝置類型的含意是很重要的,以下將描述所支援的電源切換器類型以及一個總結的表格。 如需更多關於一部電源切換器在確保資料完整性所扮演之角色的詳細資訊,請參考 第 1.4.2 節

序列連接與網路連接的電源切換器是不同的裝置,它們使得一部叢集成員可以 power cycle 其他成員,這就類似一個電源的多重插座,其中每一個插座都可以經由一條序列或網路纜線在軟體的控制下開啟與關閉。 網路連線的電源切換器與序列連線是不同的, 它們是透過一個乙太網路的集線器或交換器來連線到叢集成員,而不是直接連線到叢集 成員。 一個網路連線的電源切換器不能直接使用一條跳接線連接到一部叢集成員,因為 如此的設定將使得電源切換器無法 power-cycle 其他成員。

在另一部成員取代失效成員的服務前,看門狗計時器為失效的成員提供一種將它們於叢集中移除的方法,而不是讓一個叢集成員來 power-cycle 另一部成員。 看門狗計時器的正常操作模式是叢集軟體必須在效期失效前定期地重設計時器,假如叢集軟體沒有重設計時器,在假設成員也許當機或者是失效的情況下,便會啟動看門狗。 在認定另一部叢集成員已經失效,一個正常運作的叢集成員允許一段緩衝的時間(預設為 12 秒),看門狗計時器的時間間隔必須少於一部叢集成員認定另一部已經失效的時間長短,在這樣的情況下,一部正常運作的叢集成員(在取代服務之前)可以假定失效的叢集成員已經安全地從叢集中移除(藉由重新開機),而且已不再影響資料的完整性。 主要 Linux 核心中已經含括看門狗的支援,Red Hat 叢集管理員 經由標準的 APIs 與設定機制來 利用這些看門狗的特色。

有兩種看門狗計時器的類型 - 硬體為基礎的以及軟體為基礎的。 硬體為基礎的看門狗 計時器通常包含

軟體為主的看門狗計時器沒有任何既定的硬體,實作的方式是由一個定期執行的核心執行緒, 假如計時器的執行週期過期後,該執行緒便會初始一個系統的重新開機。 軟體看門狗計時器 的弱點在於當某種失效的狀況下,如在中斷值被阻斷時發生系統當機,核心執行緒將不會被 呼叫。 因此在如此的狀況下,絕對無法確保資料的完整性,這將會導致運作正常的叢集成員 接收一個在某些狀況下將導致資料毀損之當機成員的服務。

最後,系統管理員可以選擇完全不使用電源控制器,在不使用電源控制器的情況下,將沒有任何的預備空間讓一個叢集成員來 power cycle 一個失效的成員。 同樣的,失效的成員將無法保證能夠在所有失效的狀況下重新啟動系統。

重要重要
 

在用作生產的環境中,強烈建議您使用一個電源控制器。

最終,由於資料完整性的需求性仍然大於外部電源切換器的花費與使用,因此還是需要配置 一個正確類型的電源控制器在叢集中。

表格 1-4 總結了有支援之電源管理模組的類型以及個別 討論它們的優缺點。

類型備註優點缺點
序列連接的電源切換器(僅支援兩部成員的叢集)兩個序列連線的電源控制器使用於叢集配置中(每一部成員連接一個)提供高的資料完整性 — 電源控制器本身並不屬於一個單一節點失效狀況,因為一個 叢集的配置中含有兩個。需要購買電源控制器硬體與線材,使用序列埠,這種配置只能使用在含有兩個成員的叢集中
網路連線的電源切換器每一個叢集需要一部網路連線的電源控制器(取決於成員的數量),然而每一部叢集成員最多可支援到三部電源控制器提供高的資料完整性保證而且可使用在含有兩個成員以上的叢集需要購買電源控制器硬體 — 電源控制器本身可能成為一個單一節點的失效狀況(雖然 基本上它們是相當可靠的裝置)
硬體的看門狗計時器提供高度的資料完整性保證排除購買外部電源控制器硬體的需求非所有系統皆含有支援的看門狗硬體
軟體的看門狗計時器提供可接受的資料完整性儲備排除購買外部電源控制器硬體的需求,在任何系統上皆可使用在某些系統失效的情況下,軟體的看門狗將無法使用,這將會為系統駭客開啟一個入侵點
無電源控制器沒有使用中的電源控制器功能排除購買外部電源控制器硬體的需求,在任何系統上皆可使用在某些系統失效的情況下,顯露出資料毀損的弱點

表格 1-4. 電源切換器

1.1.4. 叢集硬體元件

使用下列的表格來找出叢集配置所需的硬體元件。

表格 1-5 含有叢集成員所需的硬體。

硬體數量說明必要的
叢集成員八個(最多可支援的)每一個成員都必須提供足夠的 PCI 插槽、網路插槽以及序列埠,以用作叢集的硬體配置。 由於每一個成員的磁碟裝置都必須擁有相同的名稱,因此建議成員上最好有對稱的 I/O 子系統,也建議您在叢集成員上使用適當的微處理器速度與系統記憶體容量, 以使程序能在叢集成員上運行。 請參閱 Red Hat Enterprise Linux 3 發行公告 以取得特定資訊,或參考 第 1.2.1 節 以取得更多資訊。

表格 1-5. 叢集成員硬體

表格 1-6 中包含了許多不同類型的電源切換器。

單一的叢集只需要一種類型的電源切換器。

硬體數量說明必要的
序列電源切換器在擁有兩個成員的叢集中,請使用序列的電源切換器來使得每一個叢集成員可以 power-cycle 其他的成員,請參考 第 1.4.2 節 以取得更多資訊。 請注意,叢集的成員將會設定使用序列的電源切換器(只支援兩個成員的叢集) 或者是網路連線的電源切換器,而不是兩者皆有。 強烈建議在所有失效狀況下的資料完整性
Null 的數據機纜線Null 的數據機纜線連接一個叢集成員的序列埠到一部序列的電源切換器,這使得每一個成員 可以 power-cycle 其他的成員,有些電源切換器也許需要不同的纜線。只當您使用序列電源切換器時
安裝的支架有些電源切換器支援機架式設定,而需要一個分離的安裝支架。僅適用於機架式的電源切換器
網路電源切換器一個(取決於成員數量)網路連線的電源切換器使得每一個叢集成員可以 power-cycle 所有其他的成員, 請參考 第 1.4.2 節 以取得更多資訊。強烈建議在所有失效狀況下的資料完整性
看門狗計時器每一成員皆需一部看門狗計時器可使得一個失效的叢集成員在一個運作正常的成員取代它的服務之前,將自己從叢集中移除,請參考 第 1.4.2 節 以取得更多資訊。建議使用提供整合性看門狗硬體的系統之完整性

表格 1-6. 電源切換器硬體表格

表格 1-8 透過 表格 1-10 顯示出許多硬體元件讓系統管理員來選擇,一個單獨的叢集並不需要這些表格所列出的所有元件。

硬體數量說明必要的
網路介面每一網路連線都需要一片每一個網路連線都需要一個網路介面安裝在一個成員上。
網路交換器或集線器一部網路交換器或集線器可連接多部成員到網路中。
網路線每一網路介面皆需要一條一條傳統的網路線,例如一條含有 RJ45 接頭的網路線連接每一個網路介面到一部網路交換器或網路集線器。

表格 1-7. 網路硬體表格

硬體數量說明必要的
主機匯流排配接卡每一成員皆需一部

如要連接共用磁碟儲存,請安裝一個並列的 SCSI 或一個光纖通道的主機匯流排配接卡到每一個叢集成員的 PCI 插槽。
至於並列的 SCSI,請使用一個低電壓差動傳輸模式(LVD)的主機匯流排配接卡,配接卡可以擁有 HD68 或 VHDCI 的接頭。
主機匯流排配接卡為主的 RAID 控制 卡只在它們能正確支援多主機的操作時才有支援。 在撰寫這本手冊時,尚未有完整測試 過主機匯流排配接卡為主的 RAID 控制卡。

外部的磁碟儲存附件至少一個

使用光纖通道或 single-initiator 並列 SCSI 來連接叢集成員到一個單一或雙重控制器的 RAID 陣列,如要使用 single-initiator 的匯流排,RAID 控制器必須擁有多個主機連接埠,並且提供同時存取在主機連接埠上的所有邏輯單位。 如要使用雙重控制器的 RAID 陣列,一個邏輯單位必須能夠以作業系統不知情的情況下從一個控制器容錯移轉到另一個。
建議使用提供同時存取在主機連接埠上所有邏輯單位的 SCSI RAID 陣列。
為了確保裝置 IDs 與 LUNs 的對稱性,含有雙重冗餘控制器的許多 RAID 陣列都必須設定為一種『主動/被動』的模式。
請參考 第 1.4.4 節 以取得更多資訊。

SCSI 纜線每一成員皆需一部含有 68 個針腳的 SCSI 纜線連接主機匯流排配接卡到一個儲存裝置的附件埠,纜線可能 含有 HD68 或 VHDCI 的接頭,依據配接卡的類型,纜線便會有所差異。只用於並列的 SCSI 配置
SCSI 終止器如硬體配置的需求至於一個使用 "out" 連接埠(如 FlashDisk RAID 磁碟陣列)的 RAID 儲存附件,且為 連接到 single-initiator 的 SCSI 匯流排,請將終止器接在 "out" 連接埠以阻絕這個 匯流排。僅用於並列的 SCSI 配置,而且只用在需要阻絕時
光纖通道的集線器或交換器一或二需要一個光纖通道的集線器或交換器。僅用於某些光纖通道的配置
光纖通道纜線如硬體配置的需求一條光纖通道的纜線用來連接一個主機連接埠配接卡到一個儲存附件的連接埠、一個光纖 通道的集線器或者是一個光纖通道的切換器。 假如使用到集線器或交換器,便需要額外的 纜線來連接集線器或交換器到儲存裝置的配接卡連接埠。僅用於光纖通道的配置

表格 1-8. 共用磁碟儲存硬體表格

硬體數量說明必要的
網路介面每一成員通道皆需兩個每一個乙太網路連線皆需要安裝網路介面卡到所有的叢集成員上。
網路跳接線每一個通道皆需一個一條網路的跳接線用來連接一部成員的網路介面到其他叢集成員的網路介面,以建立一個用來傳輸 heartbeat 的乙太網路連線。只適用於一個冗餘的乙太網路連線(建議使用 channel-bonded 的乙太網路連線)

表格 1-9. 點對點乙太網路連線硬體表格

硬體數量說明必要的
UPS 系統一個或以上當發生電源中斷時,不斷電系統 (UPS) 可以避免系統離線的 情況,在此強烈建議您使用不斷電系統在叢集的操作上,請將共用儲存附件與兩部電源 切換器的電源線連接至冗餘的不斷電系統上。 請注意一部不斷電系統必須能夠提供一段 恰當時間的電源供應,並且必須連接到它自己的電源通路。強烈建議用於可用性

表格 1-10. UPS 系統硬體表格

硬體數量說明必要的
終端伺服器一部終端伺服器使得您可以從一個遠端的位置管理許多成員。
KVM一部 KVM 使得多部成員可以分享一組鍵盤、螢幕與滑鼠,用來連接成員到切換器的纜線 取決於 KVM 的類型。

表格 1-11. 主控台切換器硬體表格