易达网机房轮值作业程序

1、易達網機房輪值作業程序1. 簡介2.值班交接3.定時偵測作業 <1>每日定時檢查機房主機流量 <2>檢查各主機磁碟用量 4.主機異常處理 <1>收到電話或是簡訊 <2>確定異常的主機是哪一台 <3>連線到該台主機確認情形 <4>重新啟動各服務的方法 <5>資料庫中 Lifemail 超過兩百筆資料未處理 <6>queue信處理 <7>主機無法連線登入 <8>異常狀況無法排除時1.簡介 為了維持24*7的機房主機正常運作，每週需要有一人負責機房輪值，期間為週五的18:00起到下

2、周五的18:00，由偵測程式對系統服務進行偵測，出現異常時會通知值班人員.  為便利於辦公室之外處理機房問題，用Pcanywhere可連線到以下主機以便管理機房機器: Bootes 64 Global 02 偵測機房機器的主機有2:Bootes 64-利用server monitor程式，偵測各主機服務，異常狀況持續30分鐘時，會自動撥打值班人員的手機Ftp 9 -利用NAGIOS程式，偵測各主機服務，異常狀況持續5分鐘時，會於網頁上顯示異常，並發出簡訊通知.機房管理常用的網址 Subject

3、URLRemark智邦生活館網路實驗室.tw/機房管理網頁Ip_colocation.txt.tw/admin/readfile.asp?file=ip_allocation.txt記載主機名稱與IP的對照文件SERVER流量一覽圖.tw/lifeadm/bandwidth.htm可以觀察每部主機的即時流量機房配置圖.tw/admin/colocation.htm可得知目前機房機櫃中主機的位置Server Monitor 紀錄.tw/lifeadm/srvmon/得知bootes的偵測錯誤歷史資料Nagios 機房主機即時服務偵測.tw/nagios/cgi-bin/status.cgi?ho

4、st=all檢視機房各主機的服務目前的是否正常Hinet IDC 線上簡易委託服務申請系統請hinet IDC人員將機器重新開機2.值班交接值班交接時間週五17:30本週值班人員詢問上週值班人員是否有相關事項需特別注意(新增主機，主機功能變更，有主機狀況不穩定等等.)並更改主機偵測程式<1>A.連線至bootes ，修改D:Server Monitorsrvmon.ini，將上週值班人員的手機改為這週值班人員的B.關閉正在執行的Dailer與Srvmon4(關閉方法:工具列中的檔案/結束)C.啟動D:Server Monitordialer.exe與D:Server Monitor

5、srvmon4.exe，檢視srvmon4中偵測的主機狀況是否都正常.<2>連線登入telnet 9 port 9898 ，id/pwd用 nagios / nagios3838，修改 /usr/local/nagios/etc/contacts.cfg的第66行，將pager改為本週值班 人員的手機，週五19:30時系統會自動更新nagios聯絡的手機號碼 超過時間或是臨時要更換手機號碼時，修改contacts.cfg後，手動執行 /usr/local/etc/rc.d/nagios restart，之後系統會詢問nagios的密碼，正確輸入即可. 3.定

6、時偵測作業 <1>每日定時檢查機房主機流量 每日早，中，晚，睡前上網，檢視主機之運作是否正常   （針對 Server monitor 無法偵測到的錯誤）   <1.1>檢視server流量一覽圖，觀察每台主機是否有異常的流量變化   <1.2> 啟動 IE，開啟.tw，登入公司信箱檢查是否有通知系統 信件.若有通知信箱磁碟快滿的信件，則登入該主機處理.    <1.3> 任選一部 wm?.tw 登錄，是否可以顯示信件？  &#

7、160;   <2>檢查各主機磁碟用量 用pcanywhere連線到bootes或是global，用VNC登入libra(85)，執行桌面上的grelay.bat，檢查每台主機的磁碟用量(需<70%)與queue情形(<2000封).若有異常，找出原因並處理之.4.主機異常處理 : 值班人員的手機或是簡訊響起時 .  <1>收到電話或是簡訊 若手機響起時，需先上Nagios 機房主機即時服務偵測的網頁(優先)，或是檢視Server Monitor 紀錄，得知bootes的偵測錯誤歷史資料，查得錯

8、誤狀況. <2>確定異常的主機是哪一台 根據錯誤代碼得知異常主機的 IP address，查 ip_allocation.txt以確定主機 名稱。 <3>連線到該台主機確認情形 使用pcanywhere連線到Bootes或是Global後，再用VNC或是putty連線至異 常主機，檢查該主機狀況 若只是部分服務異常，先登入主機，檢查相關log檔(系統檢視器或是 /var/log/xxx.) linux主機可用ps aux|grep xxx(服務process)或是nmap localhost來看相關服務 是否有啟動<4>重新啟動各服務的方

9、法Web (80) :Windows-啟動 MS-DOS，   執行 iisreset    開啟IE測試是否恢復正常   linuxapache1.3版 /usr/local/apache/bin/apachectl restartapache2.0版 /usr/local/apache2/bin/apachectl restart  Mail(25) : 可分為qmail-smtpd，qmail-send，qmail-pop3三個服務smtp與pop3可用/etc/rc.d/init.d/q

10、mail-smtpd restart或/etc/rc.d/init.d/qmail-pop3d restart重新啟動send則需 先/etc/rc.d/init.d/qmail-send stop後，並用ps aux|grep qmail-send確認都已經刪除後，才可以重新啟動/etc/rc.d/init.d/qmail-send start     MSSQL(1433): 進入 SQL Enterprise Manager 關閉 SQL service  重新開啟 SQL service 

11、0;使用Telnet測試是否恢復正常  若無法回復正常，可啟動關機後重新開機Mysql(3306):/etc/rc.d/init.d/mysql.server stop/etc/rc.d/init.d/mysql.server strart <5>資料庫中 Lifemail 超過兩百筆資料未處理：  連上資料庫主機(leo)，檢查是否有錯誤訊息  ，並檢查Vweb的C:qmailregerror.log的log，  如果不再有錯誤訊息，即可算回復正常(應檢查lifemail筆數是否有減少）&#

12、160; 若執行數次qmailreg.exe之後，仍錯誤訊息不斷，可重新啟動 Server。  <6>queue信處理檢查目前的queue信情形 perl /home/linfeng/qmhandle -s 檢查linux主機那一個目錄佔最大容量 du h max-depth=1 ./暫停qmail-smtp，先讓queue信發送完，再啟動qmail-smtpd接受來信.(磁碟用量達97%以上時，需要先清出容量再行發送)/etc/rc.d/init.d/qmail-smtpd stop檢查信件是否有減少的趨勢perl /home/linfne

13、g/qmhandle s清空後，再將qmail-smtpd開啟/etc/rc.d/init.d/qmail-smtpd<7>主機無法連線登入VNC無法連上異常主機，且無法存取主機目錄或putty無法登入，可能就需要重新啟動了，   - 先連上scorpio2，於cmd中，下net use 210.59.228.xxxipc$ password /user:adm的帳號，再開啟程式集/Resource Kit 4.0 > Management > Shutdown Workstation     設定欲關機之主機

14、名稱，"reboot after shutdown"， delay=0 => OK     等候啟動指令的結果 .   - 假若 resource kit 都無法重新啟動該主機，則需上網填寫表格請IDC人員重新開機     連線不上時，ping也沒有回應，要請hinet機房人員將主機重開檢查機房配置圖，填寫Hinet IDC線上簡易委託服務申請表格， 如果是研華2U的主機請在備註上貼上以下文字:-1. 主機開關的位置在前面的面版裡，如果遇到面板鎖住的話，可以使用機櫃裡其它鑰匙來打開。2. 關機後請靜待十秒，然後再重新啟動。如果無法正常關機的話，請將後方的電源插頭直接拔除然後插回，再啟動主機。3. 請特別注意! 當關機時燈號(1)是閃爍的，而開機後燈號(1)會持續亮著、燈號(2)會不時亮起! 總共有三個燈號由上而下排列為 : 燈號(1)->電源燈、燈號(2)->硬碟燈、燈號(3)->未使用 - 表格送出後，請打02-2341-1545與IDC機房人員確認是否收到該表格並請於電腦上ping該主機的