热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

PostgreSQL启动过程之加载GUC参数

1先上个图,看一下函数调用过程梗概,中间细节有略GUC参数初始化分两步,第一步先读取buildin/compiled-in的GUC参数默认值,这里包括全部的GUC参数,建立GUC参数相关结构变量,第二步读取postgresql.conf配置文件中的参数设置之。从上图中能看出来,这个读

1先上个图,看一下函数调用过程梗概,中间细节有略

 

      GUC参数初始化分两步,第一步先读取buildin/compiled-in的GUC参数默认值,这里包括全部的GUC参数,建立GUC参数相关结构变量,第二步读取postgresql.conf配置文件中的参数设置之。从上图中能看出来,这个读取并设置postgresql.conf中参数的过程还是挺复杂的。

2初始化GUC相关数据结构并取hardcode/buildin的参数值。

       pg里的GUC参数按设置的值分五种类型,分别是bool、int、real、string、enum,根据这五种类型,定义了五种结构类型,再根据这五种结构,每个类型建一个对应的静态数组,用于存储这些相应类型的GUC参数。这五种类型是config_bool、config_int、config_real、config_string、config_enum,对应的静态数组是ConfigureNamesBool、ConfigureNamesInt、ConfigureNamesReal、ConfigureNamesString、ConfigureNamesEnum。具体结构和数组定义见下面。

 

五个结构定义:

struct config_bool

{

    struct config_generic gen;

    /* these fields must be set correctly in initial value: */

    /* (all but reset_val are constants) */

    bool       *variable;

    bool        boot_val;

    GucIntCheckHookcheck_hook;

    GucBoolAssignHookassign_hook;

    GucShowHookshow_hook;

    /* variable fields, initialized at runtime: */

    bool        reset_val;

    void        * reset_extra

};

 

struct config_int

{

    struct config_generic gen;

/*constant fields, must be set correctly in initial value: */

    int        *variable;

    int         boot_val;

    int         min;

    int         max;

    GucIntCheckHookcheck_hook;

    GucIntAssignHookassign_hook;

    GucShowHookshow_hook;

    /* variable fields, initialized at runtime: */

    int         reset_val;

    void        * reset_extra

};

 

struct config_real

{

    struct config_generic gen;

/* constantfields, must be set correctly in initial value: */

    double     *variable;

    double      boot_val;

    double      min;

    double      max;

    GucIntCheckHookcheck_hook;

    GucRealAssignHookassign_hook;

    GucShowHookshow_hook;

    /* variable fields, initialized at runtime: */

    double      reset_val;

    void        * reset_extra

};

 

struct config_string

{

    struct config_generic gen;

/* constant fields, must beset correctly in initial value: */

    char      **variable;

    const char *boot_val;

    GucIntCheckHookcheck_hook;

    GucStringAssignHookassign_hook;

    GucShowHookshow_hook;

    /* variable fields, initialized at runtime: */

    char       *reset_val;

void        * reset_extra

};

struct config_enum

{

    struct config_generic gen;

/* constant fields, must beset correctly in initial value: */

    int   *variable;

    int     boot_val;

    GucIntCheckHookcheck_hook;

    GucStringAssignHookassign_hook;

    GucShowHookshow_hook;

    /* variable fields, initialized at runtime: */

    int    reset_val;

void        * reset_extra

};

 

和结构类型对应的五个静态数组:

static struct config_boolConfigureNamesBool[] =

{

       {

{"enable_seqscan",PGC_USERSET, QUERY_TUNING_METHOD,

gettext_noop("Enablesthe planner's use of sequential-scan plans."),

NULL

},

&enable_seqscan,

true,

NULL,NULL, NULL

       },

……

       /*End-of-list marker */

       {

{NULL,0, 0, NULL, NULL}, NULL, false, NULL, NULL, NULL

       }

};

 

static struct config_int ConfigureNamesInt[]=

{

       {

{"archive_timeout",PGC_SIGHUP, WAL_ARCHIVING,

gettext_noop("Forcesa switch to the next xlog file if a "

 "new file has not been started within Nseconds."),

NULL,

GUC_UNIT_S

},

&XLogArchiveTimeout,

0,0, INT_MAX,

NULL,NULL, NULL

       },

……

       /*End-of-list marker */

       {

{NULL,0, 0, NULL, NULL}, NULL, 0, 0, 0, NULL, NULL, NULL

       }

};

 

 

static struct config_realConfigureNamesReal[] =

{

       {

{"seq_page_cost",PGC_USERSET, QUERY_TUNING_COST,

gettext_noop("Setsthe planner's estimate of the cost of a "

 "sequentially fetched disk page."),

NULL

},

&seq_page_cost,

DEFAULT_SEQ_PAGE_COST,0, DBL_MAX,

NULL,NULL, NULL

       },

       /*End-of-list marker */

       {

{NULL,0, 0, NULL, NULL}, NULL, 0.0, 0.0, 0.0, NULL, NULL, NULL

       }

};

 

 

static struct config_stringConfigureNamesString[] =

{

       {

{"archive_command",PGC_SIGHUP, WAL_ARCHIVING,

gettext_noop("Setsthe shell command that will be called to archive a WAL file."),

NULL

},

&XLogArchiveCommand,

"",

NULL,NULL, show_archive_command

       },

……

       /*End-of-list marker */

       {

{NULL,0, 0, NULL, NULL}, NULL, NULL, NULL, NULL, NULL

       }

};

 

 

static struct config_enumConfigureNamesEnum[] =

{

       {

{"backslash_quote",PGC_USERSET, COMPAT_OPTIONS_PREVIOUS,

gettext_noop("Setswhether \"\\'\" is allowed in string literals."),

NULL

},

&backslash_quote,

BACKSLASH_QUOTE_SAFE_ENCODING,backslash_quote_options,

NULL,NULL, NULL

       },

……

       /*End-of-list marker */

       {

{NULL,0, 0, NULL, NULL}, NULL, 0, NULL, NULL, NULL, NULL

       }

};

 

上面五个结构定义中,每个结构的第一个成员变量都是一个config_generic结构的gen成员,下面是config_generic的结构定义:

struct config_generic

{

       /* constantfields, must be set correctly in initial value: */

       const char *name;                 /* name of variable - MUST BE FIRST */

       GucContext       context;              /* context required to set the variable */

       enumconfig_group group;   /* to help organize variables by function */

       const char *short_desc;         /* short desc. of this variable's purpose */

       const char *long_desc;          /* long desc. of this variable's purpose */

       int                 flags;                   /* flag bits, see below*/

       /* variablefields, initialized at runtime: */

       enumconfig_type vartype;  /* type of variable (set only at startup) */

       int                 status;                 /* status bits, see below*/

       GucSource  reset_source;      /* source of thereset_value */

       GucSource  source;                /*source of the current actual value */

       GucStack  *stack;               /* stacked outside-of-transaction states */

       void         *extra;                   /*"extra" pointer for current actual value */

       char         *sourcefile;           /* filecurrent setting is from (NULL if not

 * file) */

       int                 sourceline;          /* line in source file */

};

 

然后,定义一个config_generic **类型的静态变量数组guc_variables,再计算参数总数,所有参数以config_generic*类型计算所需内存空间,冗余25%内存后malloc分配内存空间。把guc_variables每一个元素指向ConfigureNamesBool、ConfigureNamesInt、ConfigureNamesReal、ConfigureNamesString、ConfigureNamesEnum这五个数组的config_generic类型成员gen的地址,然后按照参数名称把所有元素做了快速排序。这个过程中还设置了一些GUC参数的默认值。

static struct config_generic **guc_variables;

    后面查询GUC参数都是在guc_variables这个已排序的数组里找。这样GUC参数的数据结构就搭建完成了,下面看看GUC参数相关的数据结构图吧。

    先把涉及到的结构的图分别列出,再画个这些结构的组织关系示意图。







3加载postgresql.conf参数配置文件里的参数设置

       从main->PostmasterMain->SelectConfigFiles->ProcessConfigFile开始处理参数配置文件postgresql.conf,读取postgresql.conf配置文件的调用过程是ProcessConfigFile -> ParseConfigFile -> AllocateFile->fopen,最后用fopen打开文件,其中ProcessConfigFile、ParseConfigFile在文件src\backend\utils\misc\guc-file.l中,AllocateFile在文件src\backend\storage\file\fd.c中。

    pg使用 flex 去处理 conf 文件。在ParseConfigFile中把配置文件中的配置项组织成一个链表,调用set_config_option检查这些值是否有效,若可以设置就调用set_config_option设置这些值。

 

这里以"max_connections"做例子,从配置文件读取"max_connections",然后从guc_variables数组中找元素" max_connections ",比较参数结构的GucContext (枚举类参数能被设置的时机。定义见下面)枚举类型成员context和当前时间,看是否可以此刻修改。接着比较参数结构的GucSource(枚举了当前GUC参数设置的来源。除非参数新值的来源等级不小于原参数的来源等级时,新设置才能生效。例如,修改配置文件不能覆盖postmaster command line的设置。定义见下面)枚举类型成员source和新参数值的来源,看是否可以修改。如果可以,把config_generic结构类型的元素" max_connections "类型转换为config_int类型,修改variable成员为新值,修改该参数的来源source为当前来源PGC_S_FILE,如果元素" max_connections "的reset_source <= source,修改reset_val成员为新值,修改该参数的reset_source为当前来源PGC_S_FILE。

 

typedef enum

{

    PGC_INTERNAL,

    PGC_POSTMASTER,

    PGC_SIGHUP,

    PGC_BACKEND,

    PGC_SUSET,

    PGC_USERSET

} GucContext;

 

typedef enum

{

    PGC_S_DEFAULT,              /*wired-in default */

    PGC_S_ENV_VAR,              /*postmaster environment variable */

    PGC_S_FILE,                 /*postgresql.conf */

    PGC_S_ARGV,                 /*postmaster command line */

    PGC_S_DATABASE,             /*per-database setting */

    PGC_S_USER,                 /*per-user setting */

    PGC_S_CLIENT,               /* fromclient connection request */

    PGC_S_OVERRIDE,             /*special case to forcibly set default */

    PGC_S_INTERACTIVE,          /* dividingline for error reporting */

    PGC_S_TEST,                 /*test per-database or per-user setting */

    PGC_S_SESSION               /* SETcommand */

} GucSource


推荐阅读
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 本文详细介绍了在ASP.NET中获取插入记录的ID的几种方法,包括使用SCOPE_IDENTITY()和IDENT_CURRENT()函数,以及通过ExecuteReader方法执行SQL语句获取ID的步骤。同时,还提供了使用这些方法的示例代码和注意事项。对于需要获取表中最后一个插入操作所产生的ID或马上使用刚插入的新记录ID的开发者来说,本文提供了一些有用的技巧和建议。 ... [详细]
  • ubuntu用sqoop将数据从hive导入mysql时,命令: ... [详细]
  • GetWindowLong函数
    今天在看一个代码里头写了GetWindowLong(hwnd,0),我当时就有点费解,靠,上网搜索函数原型说明,死活找不到第 ... [详细]
  • 如何去除Win7快捷方式的箭头
    本文介绍了如何去除Win7快捷方式的箭头的方法,通过生成一个透明的ico图标并将其命名为Empty.ico,将图标复制到windows目录下,并导入注册表,即可去除箭头。这样做可以改善默认快捷方式的外观,提升桌面整洁度。 ... [详细]
  • android listview OnItemClickListener失效原因
    最近在做listview时发现OnItemClickListener失效的问题,经过查找发现是因为button的原因。不仅listitem中存在button会影响OnItemClickListener事件的失效,还会导致单击后listview每个item的背景改变,使得item中的所有有关焦点的事件都失效。本文给出了一个范例来说明这种情况,并提供了解决方法。 ... [详细]
  • Windows下配置PHP5.6的方法及注意事项
    本文介绍了在Windows系统下配置PHP5.6的步骤及注意事项,包括下载PHP5.6、解压并配置IIS、添加模块映射、测试等。同时提供了一些常见问题的解决方法,如下载缺失的msvcr110.dll文件等。通过本文的指导,读者可以轻松地在Windows系统下配置PHP5.6,并解决一些常见的配置问题。 ... [详细]
  • 本文介绍了在Win10上安装WinPythonHadoop的详细步骤,包括安装Python环境、安装JDK8、安装pyspark、安装Hadoop和Spark、设置环境变量、下载winutils.exe等。同时提醒注意Hadoop版本与pyspark版本的一致性,并建议重启电脑以确保安装成功。 ... [详细]
  • 使用在线工具jsonschema2pojo根据json生成java对象
    本文介绍了使用在线工具jsonschema2pojo根据json生成java对象的方法。通过该工具,用户只需将json字符串复制到输入框中,即可自动将其转换成java对象。该工具还能解析列表式的json数据,并将嵌套在内层的对象也解析出来。本文以请求github的api为例,展示了使用该工具的步骤和效果。 ... [详细]
  • HDFS2.x新特性
    一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]
  • 仙贝旅行是日本最大的旅游服务平台之一,为广大用户提供优质的日本定制游服务。随着用户数量的增长,仙贝旅行决定与智齿科技合作,全面替换原有客服系统,打造全新的在线客服体系。该体系具备多渠道快速接入的能力,让仙贝旅行轻松与各个渠道的接入用户完成沟通。同时,机器人与人工协同发力,提升客户服务水平。 ... [详细]
  • 本文介绍了一些Java开发项目管理工具及其配置教程,包括团队协同工具worktil,版本管理工具GitLab,自动化构建工具Jenkins,项目管理工具Maven和Maven私服Nexus,以及Mybatis的安装和代码自动生成工具。提供了相关链接供读者参考。 ... [详细]
  • 本文由编程笔记#小编为大家整理,主要介绍了StartingzookeeperFAILEDTOSTART相关的知识,希望对你有一定的参考价值。下载路径:https://ar ... [详细]
  • 本文介绍了在Linux下安装和配置Kafka的方法,包括安装JDK、下载和解压Kafka、配置Kafka的参数,以及配置Kafka的日志目录、服务器IP和日志存放路径等。同时还提供了单机配置部署的方法和zookeeper地址和端口的配置。通过实操成功的案例,帮助读者快速完成Kafka的安装和配置。 ... [详细]
  • SAP羞辱国产软件商:技术停在10年前
    SAP中国研究院总裁芮祥麟表示,国产软件厂商过于热衷概念炒作,技术水平停留在10年前的客户端架构水平。他认为,国内厂商推出基于SOA的产品或转型SAAS模式是不可能的,研发新架构需要时间。当前最热门的概念是云计算,芮祥麟呼吁国产厂商应该潜心研发底层架构。 ... [详细]
author-avatar
mobiledu2502875993
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有