連接池原來(lái)這么簡(jiǎn)單(一分鐘系列)

2018-09-06 18:04 更新
應(yīng)網(wǎng)友要求,寫一寫連接池實(shí)現(xiàn)細(xì)節(jié)。

一、如何通過(guò)連接訪問(wèn)下游

工程架構(gòu)中有很多訪問(wèn)下游的需求,下游包括但不限于服務(wù)/數(shù)據(jù)庫(kù)/緩存,其通訊步驟是為:

(1)與下游建立一個(gè)連接

(2)通過(guò)這個(gè)連接,收發(fā)請(qǐng)求

(3)交互結(jié)束,關(guān)閉連接,釋放資源


這個(gè)連接是什么呢,通過(guò)連接怎么調(diào)用下游接口?服務(wù)/數(shù)據(jù)庫(kù)/緩存,官方會(huì)提供不同語(yǔ)言的Driver、Document、DemoCode來(lái)教使用方建立連接與調(diào)用接口,以MongoDB的C++官方Driver API為例(偽代碼):

DBClientConnection* c = new DBClientConnection();
c->connect(“127.0.0.1:8888”);
c->insert(“db.s”, BSON(”shenjian”));
c->close();
DBClientConnection
這個(gè)DBClientConnection就是一個(gè)與MongoDB的連接,官方Driver通過(guò)它提供了若干API,讓用戶可以對(duì)MongoDB進(jìn)行連接,增刪查改,關(guān)閉的操作,從而實(shí)現(xiàn)不同的業(yè)務(wù)邏輯。

二、為什么需要連接池

當(dāng)并發(fā)量很低的時(shí)候,上述偽代碼沒有任何問(wèn)題,但當(dāng)服務(wù)單機(jī)QPS達(dá)到幾百、幾千的時(shí)候,建立連接connect和銷毀連接close就會(huì)成為瓶頸,此時(shí)該如何優(yōu)化?


結(jié)論也很簡(jiǎn)單,服務(wù)啟動(dòng)的時(shí)候,先建立好若干連接Array[DBClientConnection],當(dāng)有請(qǐng)求過(guò)來(lái)的時(shí)候,從Array中取出一個(gè),執(zhí)行下游操作,執(zhí)行完再放回,從而避免反復(fù)的建立和銷毀連接,以提升性能。

這個(gè)對(duì)Array[DBClientConnection]進(jìn)行維護(hù)的數(shù)據(jù)結(jié)構(gòu),就是連接池。有了連接池之后,數(shù)據(jù)庫(kù)操作的偽代碼變?yōu)椋?br />
DBClientConnection* c = ConnectionPool::GetConnection();
c->insert(“db.s”, BSON(”shenjian”));
ConnectionPool::FreeConnection(c);

三、連接池核心接口與實(shí)現(xiàn)

通過(guò)上面的討論,可以看到連接池ConnectionPool主要有三個(gè)核心接口:

(1)Init:初始化好Array[DBClientConnection],這個(gè)接口只在服務(wù)啟動(dòng)時(shí)調(diào)用一次

(2)GetConnection:請(qǐng)求每次需要訪問(wèn)數(shù)據(jù)庫(kù)時(shí),不是connect一個(gè)連接,而是通過(guò)連接池的這個(gè)接口來(lái)拿

(3)FreeConnection:請(qǐng)求每次訪問(wèn)完數(shù)據(jù)庫(kù)時(shí),不是close一個(gè)連接,而是把這個(gè)連接放回連接池


連接池核心數(shù)據(jù)結(jié)構(gòu):

(1)連接數(shù)組Array DBClientConnection [N]

(2)互斥鎖數(shù)組Array lock[N]


連接池核心接口實(shí)現(xiàn):
Init(){
 for i = 1 to N {
  Array DBClientConnection [i] = new();
  Array DBClientConnection [i]->connect();
  Array lock[i] = 0;
 }
}
說(shuō)明:把所有連接和互斥鎖初始化 


GetConnection()
 for i = 1 to N {
  if(Array lock[i] == 0){
   Array lock[i] = 1;
   return Array DBClientConnection[i];
   }
 }
}

說(shuō)明:找一個(gè)可用的連接,鎖住,并返回連接
 
FreeConnection(c)
 for i = 1 to N {
 if(Array DBClientConnection [i] == c){
   Array lock[i] = 0;
   }
  }
}
說(shuō)明找到連接,把鎖釋放

連接池
可以發(fā)現(xiàn),簡(jiǎn)單的連接池管理并不是很復(fù)雜,基本原理即如上所述。

四、未盡事宜

上述偽代碼忽略了一些細(xì)節(jié),在實(shí)現(xiàn)連接池中是需要考慮的:

(1)如果連接全部被占用,是返回失敗,還是讓上游等待

(2)需要實(shí)施連接可用性檢測(cè)

(3)為了讓調(diào)用方更友好,可能還需要包裝一層DAO層,讓“連接”這個(gè)東西對(duì)調(diào)用方都是黑盒的

(4)通過(guò)freeArray,connectionMap可以讓取連接和放回連接都達(dá)到O(1)時(shí)間復(fù)雜度

(5)可以通過(guò)hash實(shí)現(xiàn)id串行化

(6)負(fù)載均衡、故障轉(zhuǎn)移、服務(wù)自動(dòng)擴(kuò)容都可以在這一層實(shí)現(xiàn)


希望這一分鐘大家有收獲。


以上內(nèi)容是否對(duì)您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號(hào)
微信公眾號(hào)

編程獅公眾號(hào)