系统的运作与管理ppt课件

1、國 立 交 通 大 學計 算 機 中 心陳 昌 盛: cschen.twUsenet News 系統的運作與管理Usenet News系統的運作與管理課程大綱 Outline1. Usenet News 系統簡介2. News system INN 的相關操作設定3. 其它類似 News system 的簡介4. 新近的 News system 的發展趨勢Usenet News 系統簡介(1)Usenet News 相關資訊/文件RFC 977, 1036977 : 傳送協定的規範1036 : Usenet 文件的規範 (e.g. 檔頭 header )FAQ ( e.g, INN, Dnew

2、s, )newsgroups news.admin.*, 主要談行政管理性質.news.software.*, 主要系統技術news, 臺灣本地的技術討論區Usenet News 系統簡介(2)Usenet 管理書籍 ( INN + CNews )OReilly Usenet book, 1997 年底出第一版Usenet News 相關網站exit109/jeremy/news/mibsoftware/userkt/inn/inn/freenix.fr/top1000/.tw/Usenet News 系統簡介(3)Usenet News 是什麼 ?Usenet 是一個邏輯型態的網路 logi

3、cal vs physical network傳統的 8 大分支comp, humanity, misc, news, rec, sci, soc, talk另類分支架構, e.g. alt.*區域性架構tw, hk, can, de, fj, fr, kr, .其他臺灣 BBS 與 NetNews 系統的結合Usenet 的普通課題(1)Usenet News 程式分類 (Server, Agent, Client)系統 server (INN, DNews, .)傳送程式 ( push vs pull model)Push 傳送: innfeed, nntplink,.Pull 傳送: s

4、uck, nntpget閱覽程式 (線上 vs 離線 閱覽 )netscape, ie, tin, Usenet News 傳送方式mailing, UUCP, NNTP ( RFC 977)Usenet 的普通課題(2)News 文章的檔頭 ( RFC 1036)Required headersOptional headersNews 文章的分類normal articles (moderated vs un-moderated)control messages ( cancel, newgroup, rmgroup, checkgroups, sendsys, version)如何新建一個

5、 newsgroup送 newgroup control messageUsenet 的普通課題(3)articles refused or rejected ( NNTP)refused ( round 1, 存在 history database )rejected ( round 2)pseudo newsgroups ( active )control, junkcontrol.cancel, control.newgroup, control.rmgroupUsenet 的普通課題(4)轉換應用程式 (application gateway)mail2news, news2mail,

6、 bbs2news, anti-spam vs filtering匿名問題 (anonymous posting)cancel bot (automatic cancel)PGP verify (control messages)FilteringNoCem ( No-See-Them)CleanfeedUsenet News server 的規畫Usenet News server 的規畫Network, Memory, Disk, CPUUPS systemMemory size128M bytes ( the more, the better)Hard Disk sizeDisk cap

7、acity 12G bytes (the more, the better)SCSI II, Wide (the newer, the better)Inode number = 2k bytes/inodeFilesystem ( hardware or software disk array) News 系統的運作與管理課題In-coming News ( 接纳)Unbatching/decompression, Filing, .Indexing supportOut-going newsfeeds ( 外送)Expiration ( 清理過期文章)Archive (永久保管)系統記錄與

8、製做統計報告關於 news 站的管理建立外界連絡用的 addressnewsadmin, usenet, abuse例如 newsadmin.tw建立 news peering 關係認識他的 news 上游管理者建立第二個備援站 (redundant backup site)Usenet server INN 的建置Usenet News software 的获得.tw/Packages/news/*INN Server 的安裝 INN README INN Installation Guide ( install.ms) INN FAQ Part 8: Appendix A: Normans

9、 install guideMaster/slave serversINN 中典型的系統目錄僅量分散原則News Library Directory子目錄 /usr/local/news/ bin, etc, lbin, lib, locks, man, run, varNews Spool Directory子目錄 /news/archive, articles, ining, out.going, over.viewNews Log Directory子目錄 /var/log/newsINN 上必須編輯設定的檔案inn.conf, hosts.nntp, nnrp.accessnewsfe

10、eds, innfeed.confactive, history (*)expire.ctl, innwatch.ctl, control.ctloverview.fmt, moderatorsinnreport.conf ( 外加選項功能 )INN 的相關系統設定(1)接纳 (In-coming connection)hosts.nntp, nnrp.acesss儲存與內部處理 ( filing)active, control.ctl外送 (out-going newsfeeding)newsfeed, innfeed.conf (or nntpsend.ctl, )加掛特殊功能程式 ( o

11、verchan, crosspost, inpath, autoresponder,)newsfeedINN 的相關系統設定(2)定期清理 ( expiration; news.daily)expire.ctl系統監督 ( background 程式 )innwatch.ctl系統報告 ( news.daily)innreport.conf其他次要功能設定moderators, passwd.nntp, .INN.conf 的設定範例# pathhost: 假设不定, default 就是 FQDNpathhost: netnews.NCTU.edu.tworganization: Natio

12、nal Chiao Tung University, Taiwanserver: localhostINN 的 hosts.nntp 設定格式:範例.tw:.tw:!*,tw*,nctu.*,nthu.*INN 的 nnrp.access標準格式 :範例# Default is no access, no way to authentication, and no groups.*: -no- : -no- :!*# General IP address ranges for most Taiwans sites*.tw:R:*,!junk,!control*,!tw.bbs.adm.*,!a

13、lt.binaries.*# NCTU - National Chiao Tung University140.113.*:Read:*,!junk,!control*,!twbbs.adm.*.tw:Read Post:*,!junk,!control*,!twbbs.adm.*INN 的 newsfeeds 設定(1)標準格式site/exclude,exclude,. :pattern,pattern./distrib,distrib. :flag,flag. :param詳細說明請參閱 man newsfeeds (5)INN 的 newsfeeds 設定(2)範例ME:!*/!loc

14、al:# Create the links for cross- posted articlesxpost:*:Tc,Ap,WR,B4096/1024:/usr/local/news/bin/crosspost# News overviewNOV!:*:Tc,WO,B4096/1024:/usr/local/news/bin/overchan# innfeed-0.10.1, 86/04/22innf!:!*:Tc,Wnm*,B4096/1024 :/usr/local/news/lbin/startinnfeed -c /news/innfeed/innfeed.conf#CC1/.tw,.

15、tw :*,!control*,!junk :Tm,G20:innf!關於 feed 型態 特別說明Feed TypeTc, channel mode Tm, funnel mode Tf, file mode Tp, program(or pipe) mode Tx, exploder mode INN 的 expire.ctl 設定格式 /remember/: :範例/remember/:10# Keep for 1-10 days, allow Expires headers to work.# General expire policy for most newsgroups*:A:0

16、:0:0*:U:1:1:31*:M:1:7:31tw.*:U:1:7:31*.answers:M:1:31:31INN 的 control.ctl 設定格式 :action 型態cancel, newgroup, rmgroup, ihave/sendme, sendsys, checkgrup, version, “all 範例 all:*:*:mailcheckgroups:*:*:log=checkgroupssendsys:*:*:log=sendsysnewgroup:ltc.tw:tw.*:doit=newgrouprmgroup:*:*:mailCrontab entry - A

17、n Exmple # Daily expiration job40 2 * * * /usr/local/news/bin/news.daily delayrm expireover# Purge News Overview database40 6 * * * /usr/local/news/bin/expireover -a# Reload newsfeeds30 0,6,12,18 * * * ( cd /usr/local/news; bin/ctlinnd throttle regular reload; bin/ctlinnd reload newsfeeds /dev/null

18、2 & 1 ; bin/ctlinnd go )# Path Survey - inpaths15 9 30 1,3-12 * /usr/local/news/lbin/pathsurvey15 9 28 2 * /usr/local/news/lbin/pathsurveyINN 上變動性的 database (1)active ( active, active.times ) 記錄系統接纳哪些 newsgroups , 以及其屬性, 流水編號等資料, 同時可供 news reading 當作指標.history ( history, history.dir, history.pag ) 記

19、錄系統上一切的 news articles 的進出時間, 以及各 articles 的 message-id, 儲存路徑名稱等資料.用途 1, 以防重覆傳送.用途 2, expire 時根據這一些資料, 找出要去除的articles.Usenet 上 active 的格式格式name himark lomark flags範例tw.test 0000012345 0000012340 ynews.answers 0000098765 0000097654 mFlags 種類y, n, m, x, j, =foo.barINN 上變動性的 database (2)newsgroups ( 主要用

20、於 news-reading)記錄 newsgroups 對應的說明資料subscriptions ( 系統)預先設定的 newsgroups 建議列表, 用途 1, 推薦一些實用的 newsgroups用途 2, 防止初學者, 因不熟习系統操作, 以為本系統沒有任何 newsgroups 可用.目前還不是標準功能 (NNTP), 所以並非一切 news-reader 都援助這個功能. Debug INN 系統Enable news syslog/etc/syslog.confCheck /var/log/newsnews.crit, news.err, news.notice ( 系統狀態)

21、news ( 記錄每篇 news article 的流向資料)telnet localhost 119直接操作 NNTP commandsINN 管理工具程式 ctlinnd运用 or 身份來執行列出一切可用的命令/usr/local/news/bin/ctlinnd helpctlinnd xxx, 其中 xxx 代表mode, newgroup, rmgroup, pause, reload, go , shutdown, .其他 News server 的簡介(1)High Wind 系列 (商用版, 評價很好)Cyclone, Typhoon, BreezeDNews ( Unix,

22、Windows NT)NNTPcache ( Unix )Diabolo ( FreeBSD, Solaris) freeware, 仍持續發展中, 主要 news feeder 其他 News server 的簡介(2)NNTPrelay ( Windows NT)商用正式版 Tortoise 即將出現Netscape server有 Unix 和 Windows NT 版從 INN 1.4 開始發展 前景不明MS IIS server只適合小規模 intranet 运用Usenet News 發展新趨勢(1)Feeder 跟 Reader server 分開如商用的 High Wind 系

23、列走向tcp port 119 (reader), 433(feeder)專門的 reader supportactived ( mmap, overview )NNTPcache ( server 分級, kernels vs leaves )Anti-SPAMPGP verify, Filtering + Cancel-bot, Client-trackingUsenet News 發展新趨勢(2)Filteringcleanfeed ( MD5 hashing, perl hook )INN, Diablo, CycloneExpire ( time vs space )CNFS ( C

24、yclic News File System)傳統的 unix bfs vs CNFS新版 INN 2.0 即將出爐, CNFS 是標準功能DejaNews - News archive, copyright, .News 系統 HTML化 的衝擊附錄Usenet Headers ( RFC 1036) 簡介Usenet/INN related Utility ProgramsA typical control messageA typical innfeed.confUsenet Headers ( RFC 1036) - 簡介(1)必要的 (required headers)Newsgro

25、ups, Subject User 提供From, Date, Path, Message-ID 系統產生選擇性的 (optional headers)Reply-to, SenderFollowup-To, References, XrefExpiresControl, AprovedDistributionOrganizationUsenet Headers (RFC 1036) - 簡介 (2)其他非 RFC 1036 定義NNTP-Posting-HostX-Newsreader.RFC 1036 Revised Draft 一些 Usenet 管理的實用程式Usenet/INN re

26、lated utility programsinnreportflowstatsinpathinndfautoresponderF.tw/Packages/News/* A Typical Control MessagePath: netnews.NCTU.edu.tw!.tw!nntp-out.monmouth!newspeer.monmouth!netnews!nntprelay.mathworks!cam-news-hub1.bbnplanet!sanjose-news-feed1.bbnplanet!news.bbnplanet!sonysjc!vixie!bounce-backFro

27、m: group-admin (David C Lawrence)Newsgroups: comp.archivesSubject: cmsg newgroup comp.archives moderatedControl: newgroup comp.archives moderatedApproved: newgroups-requestMessage-ID: Date: Thu, 09 Apr 1998 01:30:01 -0000Lines: 4X-Info: /pub/pgpcontrol/README.html /pub/pgpcontrol/READMEX-PGP-Sig: 2.

28、6.2 Subject,Control,Message-ID,Date,From,Sender iQCVAwUBNSwkmcJdOtO4janBAQEzhwP/Y9JsOopcfVeQmo6HEJ6e21K9FWWjXwdW QipIRmTcC+0UN6RwufFQ9Qe4rHv3twY8+zM+MXZ13LZ4N64gvk1aKB8PIJLT1/yp 9rHmZFG2ac1gPfcyPSQbatsPNiOToc2ncXW5URGysTqC5swgP4h4KE7MZzhFItKL a5uLAm9yrsA= =ju5cXref: netnews.NCTU.edu.tw control.newgr

29、oup:44comp.archives is a moderated newsgroup.For your newsgroups file:comp.archives Descriptions of public access archives. (Moderated)# innfeed.conf file. See the comment block at the# end for a fuller description.# Global values. Not specific to any peer. These# are optional, but if used will override the# compiled in values. Command-line options used# will override these values.#backlog-directory: /home/innfeed/if-1backlog-highwater: 5#host-highwater: 15#host-highwater: 15host-queue-highw