oacle database性能分析之ltom

LTOM 本 身 提 供 了 图 形 工 具 来 展 示 收 集 到 的 数 据 ， 极 大 的 减 少 了 人 为 检 查 输 出 的 文 件 的 工 作 量 。 LTOM 是 一 个 java 程 序 ， 可 以 作 为 实 时 的 诊 断 平 台 部 署 到 客 户 站 点 。 LTOM 不 同 于 其 他 support tools， 因 为 它 是 主 动 的 而 不 是 被 动 的 。 LTOM 提 供 了 自 动 并 且 实 时 的 问 题 检 测 和 数 据 收 集 的 功 能 。 LTOM 运 行 在 UNIX 服 务 器 上 ， 与 操 作 系 统 紧 密 结 合 提 供 了 对 于 性 能 问 题 的 实 时 检 测 并 收 集 trace 文 件 的 集 成 的 解 决 方 案 。 这 样 的 实 时 处 理 的 功 能 在 很 大 程 度 上 减 少 了 处 理 问 题 的 时 间 和 降 低 了 用 户 停 机 时 间 。 传 统 来 讲 ， 获 得 必 要 的 诊 断 信 息 处 理 数 据 库 系 统 的 性 能 事 件 的 最 大 的 问 题 就 是 在 现 象 发 生 的 时 候 去 收 集 必 要 的 诊 断 信 息 。 另 外 ， 必 要 的 诊 断 信 息 一 般 很 少 能 被 收 集 到 ， 因 为 在 问 题 发 生 时 去 定 位 问 题 、 决 定 收 集 哪 些 诊 断 信 息 、 如 何 去 收 集 这 些 诊 断 信 息 会 话 费 一 些 时 间 。 更 多 的 情 况 却 是 ， 问 题 已 经 过 去 了 或 者 不 得 不 关 闭 数 据 库 来 解 决 这 些 问 题 。 这 就 迫 使 用 户 不 得 不 等 待 问 题 再 次 发 生 时 去 快 速 收 集 信 息 。 LTOM 可 以 在 数 据 库 系 统 性 能 出 现 问 题 的 时 候 ， 实 时 的 自 动 检 测 问 题 并 收 集 相 应 的 诊 断 信 息 。 LTOM 提 供 的 服 务 Automatic Hang Detection System Profiler Automatic Session Tracing 对 RAC 的 支 持 LTOM 可 以 配 置 为 在 RAC 环 境 下 运 行 。 具 体 细 节 查 看 文 件 $TOM_HOME/init/hangDperties。 要 使 用 automatic hang detection 功 能 ， LTOM 只 需 要 安 装 在 RAC 集 群 的 其 中 一 个 节 点 即 可 。 要 使 用 LTOM 的 其 他 功 能 ， 比 如 System Profiler 或 者 Session Recorder， LTOM 就 需 安 装 在 RAC 集 群 的 所 有 节 点 。 对 于 共 享 存 储 环 境 ， LTOM 针 对 每 个 节 点 需 要 安 装 在 不 同 的 路 径 下 。 Oracle 建 议 也 安 装 OSWatcher 在 所 有 节 点 。 关 于 Automatic Hang Detection 这 个 功 能 必 须 在 很 了 解 LTOM 的 情 况 下 才 可 以 使 用 。 在 压 力 比 较 大 的 生 成 系 统 上 自 动 收 集 大 量 的 trace 会 对 系 统 造 成 很 大 的 性 能 压 力 。 使 用 前 必 须 明 白 产 生 这 个 级 别 的 trace 的 后 果 ， 务 必 谨 慎 使 用 。 Automatic Hang Detection 使 用 了 基 于 规 则 的 挂 起 检 测 算 法 。 LTOM 默 认 的 内 置 的 一 系 列 规 则 在 很 多 情 况 下 都 已 经 足 够 了 ， 但 是 修 改 并 添 加 新 的 规 则 也 很 有 必 要 。 这 些 规 则 是 基 于 数 据 库 的 等 待 事 件 。 LTOM 的 挂 起 检 测 算 法 只 考 虑 非 空 闲 等 待 事 件 。 为 了 保 证 能 更 细 粒 度 的 使 用 ， 有 一 系 列 的 规 则 可 以 配 置 以 匹 配 特 殊 的 挂 起 事 件 。 比 如 ， 很 快 发 生 的 latch free waits 造 成 了 数 据 库 短 暂 的 挂 起 （ 几 分 钟 ） ， 并 且 默 认 的 针 对 latch free 默 认 触 发 器 的 值 设 置 得 太 高 。 我 们 可 以 定 义 一 个 规 则 ， 设 置 latch free 的 触 发 器 为 15 秒 。 这 样 的 话 ， 任 何 一 个 等 待 latch free 超 过 15s 的 会 话 就 会 触 发 diagnostic hang traces 的 收 集 。 当 运 行 LTOM， 并 且 这 个 模 式 已 经 打 开 的 情 况 下 ， 自 动 挂 起 检 测 就 会 在 后 台 运 行 并 定 期 检 测 挂 起 事 件 。 一 旦 任 何 一 个 会 话 被 认 定 为 已 经 挂 起 ， 诊 断 的 trace 就 会 自 动 产 生 。 这 种 挂 起 诊 断 和 诊 断 trace 收 集 的 数 量 都 定 义 在 规 则 文 件 $TOM_HOME/init/hangDperties 中 。 默 认 收 集 的 信 息 HangAnalyze Level 3 Systemstate Level 266 Wait 60 seconds HangAnalyze Level 3 Systemstate Level 266 如 果 想 要 修 改 默 认 收 集 策 略 的 话 ， 可 以 编 辑 文 件 $TOM_HOME/init/hangDperties。 使 用 自 动 挂 起 检 测 的 好 处 是 ， 如 果 数 据 库 在 早 上 2： 00 挂 起 ， 没 有 工 程 师 在 现 场 ， 必 要 的 诊 断 信 息 会 被 自 动 收 集 并 会 产 生 相 应 的 挂 起 报 告 。 并 且 可 以 配 置 邮 件 通 知 。 设 置 邮 件 通 知 可 以 编 辑 文 件 $TOM_HOME/src/ltommail.sh 或 者 在 安 装 重 新 时 使 用 auto installer 去 配 置 。 为 了 防 止 经 常 性 的 出 现 一 旦 hang 出 现 ， 就 会 收 集 trace 的 问 题 ， 只 有 一 组 诊 断 trace 会 被 收 集 并 且 不 再 检 测 挂 起 事 件 ， 直 到 这 种 模 式 被 关 闭 然 后 重 新 启 用 。 LTOM 也 会 根 据 对 数 据 库 性 能 可 能 造 成 的 影 响 自 动 选 择 额 外 的 诊 断 trace 收 集 的 级 别 。 关 于 System Profiler 完 全 依 赖 于 statspack 的 一 个 问 题 就 是 不 能 从 全 局 的 角 度 来 观 察 性 能 问 题 。 非 Oracle 进 程 的 信 息 ， 操 作 系 统 的 内 存 、 CPU 和 IO 的 健 康 状 况 都 是 没 有 收 集 到 的 。 此 外 ， 所 有 静 态 数 据 的 收 集 工 具 都 是 有 问 题 的 ， 因 为 使 用 单 独 的 快 照 或 者 每 15/30 分 钟 间 隔 性 的 产 生 快 照 往 往 会 错 过 那 些 在 快 照 间 隔 内 短 暂 出 现 的 问 题 ， 同 时 也 会 在 快 照 间 隔 的 这 一 段 时 间 内 被 平 均 下 来 。 System Profiler 可 以 持 续 性 的 收 集 操 作 系 统 和 Oracle 数 据 库 的 数 据 ， 并 且 提 供 了 对 操 作 系 统 和 数 据 库 全 面 的 健 康 情 况 的 集 成 的 快 照 功 能 。 收 集 的 数 据 包 含 了 操 作 系 统 工 具 （ top, vmstat 和 iostat） 的 输 出 ， 也 包 含 了 Oracle 会 话 的 数 据 （ (v$session, v$process, v$sesson_wait, v$system_event 和 v$system_statistics） 。 工 具 记 录 的 频 率 和 其 他 可 用 的 数 据 也 是 可 以 配 置 的 。 一 旦 数 据 被 收 集 ， 这 些 数 据 可 以 通 过 LTOMg 解 析 并 分 析 。 这 个 工 具 提 供 了 图 形 界 面 的 接 口 ， 并 且 可 以 很 快 的 定 位 到 性 能 问 题 。 下 面 的 参 数 可 以 配 置 以 控 制 数 据 收 集 的 频 率 和 收 集 的 数 据 的 选 择 。 Update Freq - latency between snapshots Display Top - select to record OS top processes Display Vmstat - select to record vmstat information Display Iostat - select to record iostat information Display Sessions - select to record Oracle processes Display CPU Stats - select to record CPU statistics from OS Display Current SQL Executing - select to record current SQL executing 关 于 Automatic Session Tracing 这 个 功 能 必 须 在 很 了 解 LTOM 的 情 况 下 才 可 以 使 用 。 在 压 力 比 较 大 的 生 成 系 统 上 自 动 收 集 大 量 的 trace 会 对 系 统 造 成 很 大 的 性 能 压 力 。 使 用 前 必 须 明 白 产 生 这 个 级 别 的 trace 的 后 果 ， 务 必 谨 慎 使 用 。 Oracle 扩 展 的 SQL Trace 最 重 要 的 诊 断 trace 之 一 。 有 时 候 想 要 从 Oracle 数 据 库 会 话 获 得 SQL Trace 文 件 比 较 困 难 ， 特 别 是 当 用 户 不 知 道 哪 个 会 话 需 要 Trace。 同 样 ， 为 了 仅 仅 获 得 几 个 问 题 会 话 的 trace 而 将 整 个 数 据 库 打 开 SQL Trace 功 能 对 客 户 来 讲 代 价 是 极 大 的 。 Automatic Session Tracing 使 用 了 一 组 规 则 来 决 定 什 么 时 候 来 为 某 个 Oracle 会 话 打 开 sql trace 功 能 ， 使 用 event 10046 level 12 trace。 规 则 的 定 义 可 以 根 据 数 据 库 等 待 事 件 、 CPU 或 者 特 定 的 用 户 。 基 于 等 待 事 件 的 规 则 ， 自 动 会 话 记 录 器 就 会 以 固 定 的 时 间 间 隔 监 控 固 定 的 v$视 图 ， 并 且 计 算 这 个 时 间 间 隔 内 事 件 的 平 均 等 待 时 间 。 计 算 出 来 的 平 均 等 待 时 间 会 和 规 则 定 义 的 那 个 事 件 的 指 标 相 比 较 。 如 果 某 个 等 待 事 件 已 经 有 定 义 了 其 规 则 ， 并 且 如 果 这 个 事 件 的 平 均 等 待 时 间 超 过 了 规 则 定 义 的 阈 值 ， 这 样 的 情 况 LTOM 就 会 为 这 个 会 话 打 开 sql trace。 基 于 CPU 的 规 则 ， 自 动 会 话 记 录 器 就 会 计 算 在 时 间 间 隔 内 会 话 的 cpu 使 用 量 并 将 其 和 规 则 定 义 的 阈 值 相 比 较 。 基 于 特 定 用 户 的 规 则 ， 自 动 会 话 记 录 器 会 追 踪 该 用 户 的 所 有 会 话 。 会 话 可 以 trace 在 内 存 缓 冲 区 或 者 到 一 个 文 件 。 在 内 存 缓 冲 区 中 trace 的 好 处 是 进 程 不 会 频 繁 的 对 磁 盘 进 行 写 入 ， 这 是 因 为 IO 是 最 消 耗 操 作 系 统 资 源 的 操 作 之 一 。 内 存 中 trace 仅 仅 产 生 接 近 性 能 问 题 的 最 后 几 秒 的 trace， 这 样 就 避 免 了 产 生 数 GB 的 无 效 trace。 内 存 trace 的 规 则 定 义 采 用 了 2 个 阈 值 。 最 小 的 阈 值 打 开 内 存 中 会 话 的 trace， 最 大 的 阈 值 强 制 写 内 存 缓 冲 区 中 的 数 据 到 磁 盘 上 与 会 话 对 应 的 tarce 文 件 。 这 样 就 保 证 了 会 话 一 直 处 于 被 trace 状 态 并 且 当 一 些 重 大 的 事 情 发 生 时 才 dump 到 磁 盘 。 当 然 用 户 也 可 以 随 时 手 动 强 制 内 存 缓 存 区 中 的 数 据 写 入 到 磁 盘 。 用 户 可 以 在 启 动 LTOM 的 时 候 加 上 选 项 来 指 定 每 个 会 话 分 配 的 内 存 大 小 ， 这 样 就 可 以 限 制 LTOM trace 的 会 话 数 量 。 当 直 接 trace 到 文 件 时 ， automatic session tracing 仅 仅 是 打 开 了 任 何 违 背 规 则 的 会 话 的 自 动 trace。 当 退 出 automatic session tracing 时 ， 所 有 正 在 被 trace 的 会 话 的 trace 文 件 都 会 被 关 闭 。 注 意 ： LTOM 包 含 了 一 个 脚 本 $TOM_HOME/recordings/session/stopsessions.sql ， 这 个 脚 本 可 以 关 闭 所 有 被 LTOM 打 开 的 trace。 如 果 需 要 的 话 ， 可 以 执 行 该 脚 本 关 闭 所 有 LTOM 打 开 的 trace。 支 持 的 平 台 Solaris Linux HP-UX AIX Tru64 安 装 LTOM 将 从 metalink 下 载 的 tar 包 拷 贝 到 安 装 路 径 ， 解 压 uncompress ltom.tar.Z tar xvfp ltom.tar 解 压 之 后 ， 目 录 tom_base 就 会 被 创 建 。 该 目 录 下 包 含 所 有 与 LTOM 相 关 的 文 件 。 其 中 README 文 件 详 细 的 描 述 了 该 如 何 安 装 LTOM。 卸 载 LTOM 直 接 删 除 目 录 即 可 rm -rf tom_base 运 行 LTOM LYOM 用 户 必 须 是 dba 组 的 用 户 ， 因 为 了 TOM 的 一 些 组 件 会 使 用 到 操 作 系 统 认 证 。 另 外 ， LTOM 会 提 示 输 入 一 个 数 据 库 的 用 户 名 和 口 令 ， 因 为 LTOM 需 要 通 过 jdbc 连 接 到 数 据 库 。 而 且 这 个 用 户 必 须 是 数 据 库 用 户 而 且 拥 有 完 全 的 dba 权 限 。 在 运 行 LTOM 之 前 ， 一 些 环 境 变 量 需 要 定 义 。 具 体 参 见 README 文 件 。 运 行 单 机 版 的 LTOM 需 要 进 入 到 目 录 tom_base/tom ($TOM_HOME)， 执 行 ./startltom.sh 这 个 脚 本 会 运 行 命 令 行 版 本 的 LTOM， 提 示 用 户 输 入 数 据 库 用 户 的 名 字 和 口 令 ， 这 个 用 户 必 须 是 数 据 库 用 户 而 且 拥 有 完 全 的 dba 权 限 。 登 录 进 去 之 后 ， 用 户 可 以 手 动 的 输 入 命 令 来 打 开 或 者 关 闭 automatic hang detection 和 data recording 功 能 。 kernaltom:/u02/home/TOM./startltom.sh Enter 1 to Start Auto Hang D