定义 ElasticSearch Mapping

官方解析可以看这里:https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html

IK 相关内容可以看这里:https://github.com/medcl/elasticsearch-analysis-ik/

以下是优买吧的:

POST: /ymb

POST: /ymb/promotion/_mapping
{
    "promotion": {
        "_all": { "enabled": false },
        "properties": {
            "type": { "type": "byte" },
            "cid": { "type": "integer" },
            "root_cid": { "type": "integer" },
            "mall_type": { "type": "byte" },
            "mall_pid": { "type": "string", "index": "not_analyzed" },
            "title": {
                "type": "string",
                "analyzer": "ik_smart",
                "search_analyzer": "ik_smart",
                "term_vector": "no",
                "store": "false"
            },
            "feature": {
                "type": "string",
                "analyzer": "ik_smart",
                "search_analyzer": "ik_smart",
                "term_vector": "no",
                "store": "false"
            },
            "body": {
                "type": "string",
                "analyzer": "ik_smart",
                "search_analyzer": "ik_smart",
                "term_vector": "no",
                "store": "false"
            },
            "price": { "type": "integer" },
            "monthsales": { "type": "integer" },
            "transrate": { "type": "integer" },
            "commission": { "type": "byte" },
            "updated": { "type": "date" }
        }
    }
}

测试时用了 ik 作为中文分词库

判断 SQL 是否写操作

在数据库读写分离场景中,需要对读操作和写操作分发到不同的数据库连接中,以下的代码片段来自 CodeIgniter 3 中

PHP7 扩展中如何返回一个资源值

1. 首先定义一个全局资源并在 PHP_MINIT 中使用 zend_register_list_destructors_ex 注册

2. 定义好注册方法中需要到的释放资源回调函数

3. 声明函数并返回资源

PHP 扩展中如何读取一个文件

练下手,如何使用 c 的 fopen/fread/fclose 文件函数读取文件并返回

PHP7 扩展中如何在 namespace 中定义函数和类

namespace(命名空间)在 PHP 符号表中的表现只是增加了一个命名前缀,如 ‘Azalea\foo’,因此在定义 PHP_FEPHP_ME 时,只需要修改注册入符号表中的名称即可。

命名空间声明

为了方便以后类和函数的定义或修改,在头文件中加上定义宏来命名是比较便捷的做法

类定义

在类初始化方法内,只需修改成如下即可定义到命名空间内

函数定义

函数的定义稍微复杂,因为 PHP_FE 宏会把 name 加上 zif_ 前缀来声明内部函数,如

因此我们需要使用 ZEND_NS_FEZEND_NS_NAMED_FE 宏来实现

PHP7 扩展中如何遍历数组

更新 @20170908

遍历可以直接使用 ZEND_HASH_FOREACH_* 宏

更多 ZEND_HASH_FOREACH_* 宏

ZEND_HASH_FOREACH
ZEND_HASH_FOREACH_BUCKET(_ht, _bucket)  // _bucket 指向 bucket

// 下面三个方法只遍历值
ZEND_HASH_FOREACH_VAL(ht, _val)  // _val 指向 bucket.val
ZEND_HASH_FOREACH_VAL_IND  // _val 为 INDIRECT 时使用
ZEND_HASH_FOREACH_PTR  // _val 为 PTR 时使用

// 下面三个方法只遍历索引
ZEND_HASH_FOREACH_NUM_KEY(ht, _h)  // _h 为自然索引
ZEND_HASH_FOREACH_STR_KEY(ht, _key)  // _key 为键索引, 注意要判断是否指向 NULL
ZEND_HASH_FOREACH_KEY(ht, _h, _key)  // 相当于上面两种值

ZEND_HASH_FOREACH_NUM_KEY_VAL(ht, _h, _val)
ZEND_HASH_FOREACH_STR_KEY_VAL(ht, _key, _val)
ZEND_HASH_FOREACH_KEY_VAL(ht, _h, _key, _val)
ZEND_HASH_FOREACH_STR_KEY_VAL_IND
ZEND_HASH_FOREACH_KEY_VAL_IND
ZEND_HASH_FOREACH_NUM_KEY_PTR
ZEND_HASH_FOREACH_STR_KEY_PTR
ZEND_HASH_FOREACH_KEY_PTR

ZEND_HASH_REVERSE_FOREACH  // 倒过来遍历也有一套类似的宏

PHP limit request 漏桶的实现

最近几天 优买吧 被小朋友们攻击了,导致 CDN 带宽暴涨,部分页面请求也受到影响。除了使用 Nginx 上的 ngx_http_limit_req_module 外,在 PHP 层面上也需要做一些优化,以避免 Nginx 报 503 错影响了用户体验。

经过简单讨论定了一个解决方案:当用户(基于每个会话 sid)每秒请求数超过 3 次时,将显示验证码,并且禁止所有页面的访问,直至验证码输入成功。

Request Leaky Bucket Flowchart

当用户请求需要验证码时,显示如下验证页面:

Request Leaky Bucket Template

为了减少代码改动,我们为每个前端控制器类增加了一个父类,用于在程序入口就实现请求数控制,代码片段如下:

Request Leaky Bucket Code

最后,展示一下成果 :)

Request Leaky Bucket Bandwidth

上线后,由于验证码页面使响应更快了,请求数略有增加,总带宽占用减少了近 10 倍,流量也明显减少了。

对 URL 中 query 的中文字符进行 RFC3986 规范转义

最近在开发短网址服务项目,有兴趣可以前往 http://ymb.bz/

项目中偶然遇到用户提交的网址未经过 urlencode 转义(其实用户提交的大部分 URL 格式都是正确的,仅有小部分如 WinXP+IE6 等陈旧的浏览器出现这样的问题),下面的代码可以很简单的完成规范转义

JavaScript 中获取函数调用者所在的文件名

在 BPF 服务框架中,服务间调用都通过 core 来做中转,需要知道调用者是属于哪个服务的,因此有了下面的代码,但不仅仅用于 BPF 中。

Discourse 通知系统的设计与实现

最近在为一个论坛开发一套站内的消息通知系统,参考过 Coding.net 和 知乎 的消息机制,以及简书上 《消息系统设计与实现》 的系列文章,下面我的设计和具体实现内容。

消息类型

系统中包含三种消息类型,本文只针对前两种通知类型,关于私信的详细内容请访问《Discourse 私信系统的设计与实现》。

  • 系统通知
  • 动态提醒
    1. 我关注的内容
    2. 我关注的用户
  • 私信

用户订阅

考虑到数据量规模,系统使用拉方式按需拉取用户订阅的通知。

用户和内容动态,包含三个基础属性

行为 action
对象类型 entityType
对象 ID entityId

比如您发表了一个主题,那么您会订阅该主题的[回复]、[点赞]、[投票]等行为;您发表了一个回复,可能仅仅只会订阅该回复是否有被[点赞]就可以了。

数据库设计

系统通知与动态提醒在数据结构上是一致的。

通知系统 ERD

  • users
    原有系统的用户信息表,主键 uid
  • users_follows
    用户关系表,保存用户与用户之间的关注关系
  • notifications
    通知信息表,每一条系统通知和用户动态都在该表中保存一行
  • users_subscriptions
    用户订阅表,用户所关注主题或回复的行为,如 关注了某某主题的评论、关注了某某回复的点赞
  • users_notifications
    用户与通知关联表,保存用户与通知的关系以及已读状态
  • users_notifications_updated
    用户通知拉取时间表,记录最近一次用户的拉取时间

 业务流程

  • 订阅和通知生成
    通知系统流程图1
  • 系统通知和用户关注动态拉取
    process2

代码实现

  • 订阅
    • 函数原型
    • 关键 SQL
    • 例子
  • 新通知
    • 函数原型
    • 关键 SQL
    • 例子
  • 获取拉取时间
    • 关键 SQL
  • 拉取系统通知
    • 关键 SQL
  • 拉取关注的对象动态
    • 关键 SQL
  • 拉取关注的用户动态
    • 关键 SQL
  • 更新拉取时间
    • 关键 SQL