2021年12月

认知很重要

网上一直流传着一句话:你赚不到你认知水平以外的钱,你挣到钱就是你认知水平的反映,即使偶尔暴富了,也会有无数方法让你还给社会。

虽然这句话有很多种方式可以证伪,比如:如果我奶奶中彩票了,他又是一个习惯存钱的人,就会把钱放在银行里面不用,即使通货膨胀了,也比世界上大部分人有钱,但未必认知水平就一定比大部分人高,但依然不可否认认知的重要性。

如何提高认知水平呢?

认知水平的提高,首先一定是足够思考能力的作用在大量的问题处理上形成的经验。就像人工智能,需要拥有足够的算力以及数据进行训练。认知水平的提高,也是一种计算的结果。不满足于别人给答案,善于思考总结,才能不浪费行万里路,读万卷书,否则都是刷视频一样,没有留下有用的内容。提高认知水平的关键在于思考力。

最近和一个技术专家一起工作,发现一个对方的一个特质,就是对问题本质的探究,保持着好奇心。一般的工程师可能认为,这个问题大家都这么说,那就应该是这样的。但是专家的想法就不一样,喜欢去实践,去思考问题的原理,这样遇到问题不会被表面现象所迷惑。

我在工作中也有这种感觉,例如在linux中安装oracle数据库的时候,都知道要开大页内存管理。因为操作系统本身的内存是4kb的页,在大内存的系统中,会浪费大量的内存资源用于管理内存,而不是存储数据,所以用大页内存,可以减少管理消耗的内存资源,而透明大页是动态伸缩的,不满足数据库申请固定大小内存的要求,而且会导致出现集群稳定性和单机性能问题。通过oracle提供的脚本就知道要要设置多少页数量。但是我以前就没有想过脚本中数据是如何计算出来的?自己跑一遍之后才发现,原来是根据oracle需要的内存块大小决定的。如果一个需要100GB的共享内存块,就要拿100GB除以块大小2MB,其中aix中的块默认大小又不一样。 理解了原理之后,就不用去找脚本计算了,心算也知道大概设置多少是合理的。

为什么我第一次接触的时候,没有理解这个问题呢?因为大脑的懒惰,大脑习惯于处理和思考熟悉的事务,对未知领域是充满恐惧的。这是基因决定的,但是通过练习是能够改变的。
不断的总记录,思考,总结就能提高认知水平。

提高认知的好处
很多时候,多问一问为什么,多思考总结事务的内在逻辑,就不会被人云亦云的网络信息带节奏。当自己遇到问题的时候,就会从多个角度去思考,而不是盲目的相信对或不对,不会盲从家人或领导的建议,给人没有主心骨的感觉。

提高认知水平就能够增加自己的社会竞争力、让自己过得更好。

数据库锁表分析

1、会话1 update Scott.emp set deptno=10;
2、会话2 update scott.emp set deptno=30;

查询是否存在锁定

select s1.INST_ID,
       s1.username || '@' || s1.machine || ' (SID=' || s1.sid ||
       ' ) is blocking ' || s2.username || '@' || s2.machine || ' ( SID=' ||
       s2.sid || ' ) ' AS blocking_status
  from gv$lock l1, gv$session s1, gv$lock l2, gv$session s2
 where l1.INST_ID = s1.INST_ID
   and s1.INST_ID = s2.INST_ID
   and s2.INST_ID = l2.INST_ID
   and s1.sid = l1.sid
   and s2.sid = l2.sid
   and l1.BLOCK = 1
   and l2.request > 0
   and l1.id1 = l2.id1
   and l2.id2 = l2.id2;

19:22:53 SQL> select s1.INST_ID,
19:24:50   2         s1.username || '@' || s1.machine || ' (SID=' || s1.sid ||
19:24:50   3         ' ) is blocking ' || s2.username || '@' || s2.machine || ' ( SID=' ||
19:24:50   4         s2.sid || ' ) ' AS blocking_status
19:24:50   5    from gv$lock l1, gv$session s1, gv$lock l2, gv$session s2
19:24:50   6   where l1.INST_ID = s1.INST_ID
19:24:50   7     and s1.INST_ID = s2.INST_ID
19:24:50   8     and s2.INST_ID = l2.INST_ID
19:24:50   9     and s1.sid = l1.sid
19:24:50  10     and s2.sid = l2.sid
19:24:50  11     and l1.BLOCK = 1
19:24:50  12     and l2.request > 0
19:24:50  13     and l1.id1 = l2.id1
19:24:50  14     and l2.id2 = l2.id2;

   INST_ID
----------
BLOCKING_STATUS
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
         1
SYS@localhost.localdomain (SID=16 ) is blocking SYS@WORKGROUP\LAPTOP-5RF2B7J0 ( SID=15 )

查询update后未提交的会话

SELECT
    A.SID,
    A.SERIAL#,
    A.USERNAME,
    A.EVENT,
    A.WAIT_CLASS,
    A.SECONDS_IN_WAIT,
    A.PREV_EXEC_START,
    B.LOCKED_MODE,
    C.OWNER,
    C.OBJECT_NAME,
    C.OBJECT_TYPE 
FROM
    V$SESSION A
    INNER JOIN V$LOCKED_OBJECT B ON A.SID = B.SESSION_ID
    INNER JOIN DBA_OBJECTS C ON B.OBJECT_ID = C.OBJECT_ID 
WHERE
    A.WAIT_CLASS = 'Idle'
    AND A.SECONDS_IN_WAIT >10

/SESSION空闲后一段时间还锁定的才算有问题,这里随便给了个数值10秒/

19:27:05 SQL> SELECT
19:27:07   2    A.SID,
19:27:07   3    A.SERIAL#,
19:27:07   4    A.USERNAME,
19:27:07   5    A.EVENT,
19:27:07   6    A.WAIT_CLASS,
19:27:07   7    A.SECONDS_IN_WAIT,
19:27:07   8    A.PREV_EXEC_START,
19:27:07   9    B.LOCKED_MODE,
19:27:07  10    C.OWNER,
19:27:07  11    C.OBJECT_NAME,
19:27:07  12    C.OBJECT_TYPE 
19:27:07  13  FROM
19:27:07  14    V$SESSION A
19:27:07  15    INNER JOIN V$LOCKED_OBJECT B ON A.SID = B.SESSION_ID
19:27:08  16    INNER JOIN DBA_OBJECTS C ON B.OBJECT_ID = C.OBJECT_ID 
19:27:08  17  WHERE
19:27:08  18    A.WAIT_CLASS = 'Idle'
19:27:08  19    AND A.SECONDS_IN_WAIT >10;

   SID    SERIAL# USERNAME             EVENT                                         WAIT_CLASS                                                       SECONDS_IN_WAIT PREV_EXEC_START     LOCKED_MODE OWNER     OBJECT_NAME                    OBJECT_TYPE
------ ---------- -------------------- --------------------------------------------- ---------------------------------------------------------------- --------------- ------------------- ----------- ---------- ------------------------------ -------------------
    16         61 SYS                  SQL*Net message from client                   Idle                                                                          38 2021-12-15 19:26:31           3 SCOTT     DEPT                           TABLE
    16         61 SYS                  SQL*Net message from client                   Idle                                                                          38 2021-12-15 19:26:31           3 SCOTT     EMP                            TABLE

Elapsed: 00:00:00.06

----------查看被锁对象
set lin 400 pages 49999
col USERNAME for a15
col owner for a15
col OBJECT_NAME for a35
col PROGRAM for a35
col PROCESS for a15
select a.LOCKED_MODE,a.inst_id,b.owner,b.object_name,a.object_id,a.session_id,c.serial#,c.username,c.sql_id,c.PROCESS ,c.PROGRAM
from gv$locked_object  a, dba_objects b,gv$session c
 where a.object_id=b.object_id and c.sid=a.session_id;

19:32:51 SQL> set lin 400 pages 49999
19:33:07 SQL> col USERNAME for a15
19:33:07 SQL> col owner for a15
19:33:07 SQL> col OBJECT_NAME for a35
19:33:07 SQL> col PROGRAM for a35
19:33:07 SQL> col PROCESS for a15
19:33:07 SQL> select a.LOCKED_MODE,a.inst_id,b.owner,b.object_name,a.object_id,a.session_id,c.serial#,c.username,c.sql_id,c.PROCESS ,c.PROGRAM
19:33:07   2  from gv$locked_object  a, dba_objects b,gv$session c
19:33:07   3   where a.object_id=b.object_id and c.sid=a.session_id;

LOCKED_MODE    INST_ID OWNER           OBJECT_NAME                          OBJECT_ID SESSION_ID    SERIAL# USERNAME        SQL_ID             PROCESS         PROGRAM
----------- ---------- --------------- ----------------------------------- ---------- ---------- ---------- --------------- ------------------ --------------- -----------------------------------
          3          1 SCOTT           DEPT                                     87106         15          9 SYS             022scd5v03tnp      23708:31696     navicat.exe
          3          1 SCOTT           DEPT                                     87106         16         61 SYS                                19093           sqlplus@localhost.localdomain (TNS
                                                                                                                                                               V1-V3)

alter system kill session 'sid,serial#'



安装python3.5可能使用的依赖

yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel
到python官网找到下载路径, 用wget下载

wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz
解压tgz包

tar -zxvf Python-3.5.3.tgz
把python移到/usr/local下面

mv Python-3.5.3 /usr/local
删除旧版本的python依赖

ll /usr/bin | grep python
rm -rf /usr/bin/python
进入python目录

cd /usr/local/Python-3.5.3/
配置

./configure
编译 make

make
编译,安装

make install
删除旧的软链接,创建新的软链接到最新的python

rm -rf /usr/bin/python
ln -s /usr/local/bin/python3.5 /usr/bin/python
python -V

操作背景:

压力测试期间,发现一个进程未执行任何sql,在V$SQL中未找到sql_id,因此无法判断阻塞原因,需要通过跟踪进程进行分析
操作如下:
1、查询该阻塞进程的spid

SQL> select spid from v$process where addr in (select paddr from v$session where sid='15');

SPID
------------------------
3417

2、oracle debug

SQL>oradebug set ospid 93773
SQL>oradebug event 10046 trace name context forever ,level 12
SQL>oradebug tracefile_name

SQL>oradebug close_trace

3、操作系统跟踪

strace -o /tmp/93773 -p 93773
tail -f /tmp/93773

经过跟踪,发现进程无任何信息打印,故认为该进程已经异常,且通过v$sql无法查到产生阻塞的语句,最后联系负责该应用的工程师,重启应用后,该阻塞被释放。 如果重启依然未被释放,则在数据库层面杀掉该会话。

备注:
当应用端认为没有未提交的会话,且数据库端查找不到指定的语句,可以创建新的profiles,并设置IDLE_TIME的值为15-30(分钟),设置resource_limit=true,自动断开inactive的会话,配合sqlnet.ora中的SQLNET.EXPIRE_TIME=10 (分钟)防止未提交的空闲会话阻塞数据库的其他会话。

索引的优化和维护
目的:
通过对数据库中的索引进行优化和维护,提交检索的速度和效率。
原理:
随着数据库的使用,不可避免地对基本表进行插入,更新和删除,这样导致叶子行在索引中被删除,使该索引产生碎片。插入删除越频繁的表,索引碎片的程度也越高。碎片的产生使访问和使用该索引的I/O成本增加。碎片较高的索引必须重建以保持最佳性能。当索引的层数增大时,I/O的成本增加,检索的效率开始降低,oracle建议当索引的层数大于3时,则应当对此索引进行重建以提交效率。随着表记录的增加,相应的索引也要增加。如果一个索引的next值设置不合理(太小),索引段的扩展变得很频繁。索引的extent太多,检索时的速度和效率就会降低。当然还有就是由于一些人为的原因或者系统表的迁移,有可能造成索引的失效,也会降低检索的效率和速度。
通过对索引进行分析,找出碎片比例占索引20%以上的索引;通过查询和索引相关的数据字典和表找出失效的索引、层数大于3的索引和被扩展超过10次的索引;将这些问题索引数据统计到临时表。分别对这些索引进行重建或重新设置 next值(尽量增大,到合理的数值),从而达到优化索引和提高数据库效率的目的。
脚本:
DECLARE

   v_index_name varchar2(100);
   v_analyze_str varchar2(300);
   height        number;
   lf_rows       number;
   del_lf_rows   number;
   v_ex_count    number;
   v_idx_owner   varchar2(30);
   v_tab_name    varchar2(50);
   v_tabspa_name varchar2(50);      
   v_idx_status  varchar2(10);      
   CURSOR analyze_index IS
   SELECT index_name,table_owner,table_name,tablespace_name,status
   FROM user_indexes; 

BEGIN

   OPEN analyze_index;
   FETCH  analyze_index INTO

v_index_name,v_idx_owner,v_tab_name,v_tabspa_name,v_idx_status;

   WHILE analyze_index%FOUND LOOP 
   if  v_idx_status ='INVALID' then
   insert into lifemenu.index_stats_prob
   values(v_index_name,null,null,null,

‘该索引已失效’,v_idx_owner,v_tab_name,v_tabspa_name,v_idx_status);

   end if;
   if v_idx_status ='VALID' then
   v_analyze_str := 'analyze index '||v_index_name||' validate structure';
   EXECUTE IMMEDIATE v_analyze_str;       
   SELECT HEIGHT,DECODE(LF_ROWS,0,1,LF_ROWS),DEL_LF_ROWS
   INTO   height,lf_rows,del_lf_rows
   FROM   index_stats;
   if (del_lf_rows/lf_rows)>0.2 then
   insert into lifemenu.index_stats_prob
   values(v_index_name,del_lf_rows/lf_rows,null,v_ex_count,'该索引的碎片太多,建议重建',v_idx_owner,v_tab_name,v_tabspa_name,v_idx_status);
   end if;
   if height>=4 and (del_lf_rows/lf_rows) <=0.2 then
   insert into lifemenu.index_stats_prob
   values(v_index_name,null,height,v_ex_count,'该索引的层数超过3,建议重建',v_idx_owner,v_tab_name,v_tabspa_name,v_idx_status);
   end if;
   select count(*)
   into v_ex_count
   from user_extents
   where segment_name =v_index_name;     
   if v_ex_count>=11 and (del_lf_rows/lf_rows)<=0.2  and height<4 then
   insert into lifemenu.index_stats_prob
   values(v_index_name,null,null,v_ex_count,'该索引扩展超过10次,建议重建时增大参数next',v_idx_owner,v_tab_name,v_tabspa_name,v_idx_status);       
   end if;
   end if;
   commit;
   v_index_name :='';
   v_analyze_str :='';
   v_idx_status :='';

FETCH analyze_index INTO
v_index_name,v_idx_owner,v_tab_name,v_tabspa_name,v_idx_status;

   END LOOP;
   CLOSE analyze_index;

END;
执行结果:
执行结果存储在表index_stats_prob中,表的结构和说明如下:
create table INDEX_STATS_PROB
(
INDEX_NAME VARCHAR2(30) not null,//索引名称
FRAG_PCT NUMBER, //碎片比例
HEIGHT NUMBER, //索引层数
EXTENT_TIME NUMBER, //扩展次数
COM VARCHAR2(50), //建议处理方法
OWNER VARCHAR2(30) not null,//所属用户
TABLE_NAME VARCHAR2(50), //所属表
TABLESPACE_NAME VARCHAR2(50), //所在表空间
STATUS VARCHAR2(10) //状态
)
其中问题索引主要就有四类:
1 碎片比例大于20%的
2 索引层数大于3的且不属于第一类的
3 索引扩展次数超过10的且不属于第一类和第二类的
4 失效的索引
之所以这样处理,是因为碎片比较多的问题索引必须进行处理,其次是层数多的索引,再其次是扩展次数比较多的索引。
在测试数据库ld05sh中的执行结果中,没有发现第二类和第四类的问题索引。
下列是分别在各个用户下执行脚本所耗费的时间的列表:
用户 脚本执行时间
ACCTMAN 1115秒
LIFEBASE 2576秒
LIFEDATA 22633秒
LIFELOG 1741秒
LIFEMAN 143秒
LIFEREPT 1836秒
REINSMAN 1475秒

处理建议:
1. 对于第一类和第二类问题索引,即碎片比例大于20%的问题索引和索引层数大于3的且不属于第一类的,都建议进行重建。可以执行下列语句来找出这些索引。同时我们对这两类问题索引也提供了它们扩展的次数,因此如果发现它们被扩展的次数过大,那么在重建的时候也要注意增大索引的next参数。
SELECT *
FROM INDEX_STATS_PROB
WHERE FRAG_PCT IS NOT NULL OR HEIGHT IS NOT NULL
ORDER BY FRAG_PCT DESC;
重建语句如下:
alter index 用户名.索引名 rebuild
tablespace 表空间名
storage(initial 初始值 next 扩展值)
nologging
如果出于空间或其他考虑,不能重建索引,可以整理索引:
alter index用户名.索引名 coalesce
2. 对于第三类索引,由于发现在ld05sh中此类索引特别多,所以建议重建扩展次数在50次以上的索引,当然如果在其他环境中发现这类索引的数量不是很多,需要综合考虑,按照扩展次数的多少来确定重建的优先次序,即扩展次数越多的,越优先考虑重建,重建时主要是增大索引的next参数。
执行下列语句来找出这些索引:
SELECT *
FROM INDEX_STATS_PROB
WHERE FRAG_PCT IS NULL AND HEIGHT IS NULL AND EXTENT_TIME>10
ORDER BY EXTENT_TIME DESC;
重建语句相同,注意重建时要增大next 参数:
alter index 用户名.索引名 rebuild
tablespace 表空间名
storage(initial 初始值 next 扩展值)
nologging
3.重建索引后,原有的索引被删除,这样会造成表空间的碎片。
整理表空间的碎片 alter tablespace 表空间名 coalesce

  1. 另外,优化索引还有一些普遍的原则,如:
    1)定期对数据更新(主要是删除)频繁的表重建索引
    2)建议索引不要建立在系统表空间内
    3)建议索引建立在db_block_size比较大的表空间中
    4)记录太少的表,应当少建或不建索引;经常处理的业务表(插入、删除、修改),应在查询允许的情况下尽量减少索引。

具体操作:
登录要分析的数据库
在lifemenu用户下创建存放分析数据的表index_stats_prob,脚本如下:
create table INDEX_STATS_PROB
(
INDEX_NAME VARCHAR2(30) not null,
FRAG_PCT NUMBER,
HEIGHT NUMBER,
EXTENT_TIME NUMBER,
COM VARCHAR2(50),
OWNER VARCHAR2(30) not null,
TABLE_NAME VARCHAR2(50),
TABLESPACE_NAME VARCHAR2(50),
STATUS VARCHAR2(10)
)
将此表授权给其他的用户:
grant all on index_stats_prob to 用户名
用其他用户登录要进行索引优化的数据库,执行PL/SQL脚本,然后参照处理建议对索引进行重建,从而达到优化索引,提高效率的目的。
各个用户下的执行时间都不同,具体可以参照执行结果中的脚本耗费时间来设计脚本执行计划。
验证说明:
重建索引后,检索的速度和效率都会得到提高,用户可以通过前后的检索所需时间的比较来验证。

建议:
1.首先需要肯定的一点,该文章总结的非常好,基本上考虑到了在实际使用过程中对索引维护尤其是在判断索引要不要重建的问题。
2.一般情况下,建议对数据库统计信息的收集采用dbms_stats来进行。
3.需要注意的是‘3)建议索引建立在db_block_size比较大的表空间中’,这句话需要调整为,如果你对数据库的表和索引根据业务需求进行优化,制定了该表和索引的基本数据块的大小,并且相应的创建了相应数据块大小的表空间,而且在数据库内存参数中也要相应的运用不同数据块大小的内存的情况下,需要注意该用法。在一般的情况下,没有对表和索引的数据块大小进行设计,默认采用数据库db_block_size的大小,表空间也没有考虑不同的数据块大小的设置,所以,简单起见,就不需要考虑它了。换句话说,想要考虑,就必须从全局的角度来考虑和设计。
4.明显看到在测试系统中信息收集的PL/SQL执行的效率并不是太高,当然选择在数据库维护窗口阶段执行,还是可以的。
5.从以上脚本来看,建议先进行评估对数据库进行统计信息的收集,包括表和索引收集对业务运行的影响,收集的时间长度估算等,然后再进行统计信息的收集,收集后,才来分析那些20%的高水位的指标的索引进行重新创建。否则,有可能按照规则筛选出来的结果很多,在实际实施的时候,限制的因素就多,存储空间,维护时间,系统资源处理能力以及重新创建后产生的效果等。
6.在确定了需要创建的索引之后,就需要分析创建索引的可行性。
1)。创建索引执行过程的时间。
2)。创建索引的过程对系统运行的影响,尤其是索引扩展段比较多的情况下,后台进程SMON 需要清理临时段的时间也需要考虑。
3)。重建索引所需要注意索引的存储参数以及表空间的存储参数控制。
4)。结合业务应用对表和索引的使用,尽量对索引的重建有个比较清晰的认识,尽量做到全局的权衡。
5)。尽量具体索引问题具体分析解决。