php數(shù)據(jù)平均分布算法,php 分布式開發(fā)

php的memcached分布式hash算法,如何解決分布不均?crc32這個算法沒辦法把key值均勻的分布出去

memcached的總結(jié)和分布式一致性hash

創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、網(wǎng)站建設(shè)、雁江網(wǎng)絡(luò)推廣、成都微信小程序、雁江網(wǎng)絡(luò)營銷、雁江企業(yè)策劃、雁江品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)為所有大學生創(chuàng)業(yè)者提供雁江建站搭建服務(wù)，24小時服務(wù)熱線：18980820575，官方網(wǎng)址：www.muchs.cn

當前很多大型的web系統(tǒng)為了減輕數(shù)據(jù)庫服務(wù)器負載，會采用memchached作為緩存系統(tǒng)以提高響應(yīng)速度。

目錄： （）

memchached簡介

hash

取模

一致性hash

虛擬節(jié)點

源碼解析

參考資料

1. memchached簡介

memcached是一個開源的高性能分布式內(nèi)存對象緩存系統(tǒng)。

其實思想還是比較簡單的，實現(xiàn)包括server端（memcached開源項目一般只單指server端）和client端兩部分:

server端本質(zhì)是一個in-memory key-value store，通過在內(nèi)存中維護一個大的hashmap用來存儲小塊的任意數(shù)據(jù)，對外通過統(tǒng)一的簡單接口（memcached protocol）來提供操作。

client端是一個library，負責處理memcached protocol的網(wǎng)絡(luò)通信細節(jié)，與memcached server通信，針對各種語言的不同實現(xiàn)分裝了易用的API實現(xiàn)了與不同語言平臺的集成。

web系統(tǒng)則通過client庫來使用memcached進行對象緩存。

2. hash

memcached的分布式主要體現(xiàn)在client端，對于server端，僅僅是部署多個memcached server組成集群，每個server獨自維護自己的數(shù)據(jù)（互相之間沒有任何通信），通過daemon監(jiān)聽端口等待client端的請求。

而在client端，通過一致的hash算法，將要存儲的數(shù)據(jù)分布到某個特定的server上進行存儲，后續(xù)讀取查詢使用同樣的hash算法即可定位。

client端可以采用各種hash算法來定位server：

取模

最簡單的hash算法

targetServer = serverList[hash(key) % serverList.size]

直接用key的hash值（計算key的hash值的方法可以自由選擇，比如算法CRC32、MD5,甚至本地hash系統(tǒng)，如java的hashcode）模上server總數(shù)來定位目標server。這種算法不僅簡單，而且具有不錯的隨機分布特性。

但是問題也很明顯，server總數(shù)不能輕易變化。因為如果增加/減少memcached server的數(shù)量，對原先存儲的所有key的后續(xù)查詢都將定位到別的server上，導致所有的cache都不能被命中而失效。

一致性hash

為了解決這個問題，需要采用一致性hash算法（consistent hash）

相對于取模的算法，一致性hash算法除了計算key的hash值外，還會計算每個server對應(yīng)的hash值，然后將這些hash值映射到一個有限的值域上（比如0~2^32）。通過尋找hash值大于hash(key)的最小server作為存儲該key數(shù)據(jù)的目標server。如果找不到，則直接把具有最小hash值的server作為目標server。

為了方便理解，可以把這個有限值域理解成一個環(huán)，值順時針遞增。

如上圖所示，集群中一共有5個memcached server，已通過server的hash值分布到環(huán)中。

如果現(xiàn)在有一個寫入cache的請求，首先計算x=hash(key)，映射到環(huán)中，然后從x順時針查找，把找到的第一個server作為目標server來存儲cache，如果超過了2^32仍然找不到，則命中第一個server。比如x的值介于A~B之間，那么命中的server節(jié)點應(yīng)該是B節(jié)點

可以看到，通過這種算法，對于同一個key，存儲和后續(xù)的查詢都會定位到同一個memcached server上。

那么它是怎么解決增/刪server導致的cache不能命中的問題呢？

假設(shè)，現(xiàn)在增加一個server F，如下圖

此時，cache不能命中的問題仍然存在，但是只存在于B~F之間的位置（由C變成了F），其他位置（包括F~C）的cache的命中不受影響（刪除server的情況類似）。盡管仍然有cache不能命中的存在，但是相對于取模的方式已經(jīng)大幅減少了不能命中的cache數(shù)量。

虛擬節(jié)點

但是，這種算法相對于取模方式也有一個缺陷：當server數(shù)量很少時，很可能他們在環(huán)中的分布不是特別均勻，進而導致cache不能均勻分布到所有的server上。

如圖，一共有3臺server – 1，2，4。命中4的幾率遠遠高于1和2。

為解決這個問題，需要使用虛擬節(jié)點的思想：為每個物理節(jié)點（server）在環(huán)上分配100～200個點，這樣環(huán)上的節(jié)點較多，就能抑制分布不均勻。

當為cache定位目標server時，如果定位到虛擬節(jié)點上，就表示cache真正的存儲位置是在該虛擬節(jié)點代表的實際物理server上。

另外，如果每個實際server的負載能力不同，可以賦予不同的權(quán)重，根據(jù)權(quán)重分配不同數(shù)量的虛擬節(jié)點。

// 采用有序map來模擬環(huán)

this.consistentBuckets = new TreeMap();

MessageDigest md5 = MD5.get();//用MD5來計算key和server的hash值

// 計算總權(quán)重

if ( this.totalWeight for ( int i = 0; i this.weights.length; i++ )

this.totalWeight += ( this.weights[i] == null ) ? 1 : this.weights[i];

} else if ( this.weights == null ) {

this.totalWeight = this.servers.length;

}

// 為每個server分配虛擬節(jié)點

for ( int i = 0; i servers.length; i++ ) {

// 計算當前server的權(quán)重

int thisWeight = 1;

if ( this.weights != null this.weights[i] != null )

thisWeight = this.weights[i];

// factor用來控制每個server分配的虛擬節(jié)點數(shù)量

// 權(quán)重都相同時，factor=40

// 權(quán)重不同時，factor=40*server總數(shù)*該server權(quán)重所占的百分比

// 總的來說，權(quán)重越大，factor越大，可以分配越多的虛擬節(jié)點

double factor = Math.floor( ((double)(40 * this.servers.length * thisWeight)) / (double)this.totalWeight );

for ( long j = 0; j factor; j++ ) {

// 每個server有factor個hash值

// 使用server的域名或IP加上編號來計算hash值

// 比如server - "172.45.155.25:11111"就有factor個數(shù)據(jù)用來生成hash值：

// 172.45.155.25:11111-1, 172.45.155.25:11111-2, ..., 172.45.155.25:11111-factor

byte[] d = md5.digest( ( servers[i] + "-" + j ).getBytes() );

// 每個hash值生成4個虛擬節(jié)點

for ( int h = 0 ; h 4; h++ ) {

Long k =

((long)(d[3+h*4]0xFF) 24)

| ((long)(d[2+h*4]0xFF) 16)

| ((long)(d[1+h*4]0xFF) 8 )

| ((long)(d[0+h*4]0xFF));

// 在環(huán)上保存節(jié)點

consistentBuckets.put( k, servers[i] );

}

}

// 每個server一共分配4*factor個虛擬節(jié)點

}

// 采用有序map來模擬環(huán)

this.consistentBuckets = new TreeMap();

MessageDigest md5 = MD5.get();//用MD5來計算key和server的hash值

// 計算總權(quán)重

if ( this.totalWeight for ( int i = 0; i this.weights.length; i++ )

this.totalWeight += ( this.weights[i] == null ) ? 1 : this.weights[i];

} else if ( this.weights == null ) {

this.totalWeight = this.servers.length;

}

// 為每個server分配虛擬節(jié)點

for ( int i = 0; i servers.length; i++ ) {

// 計算當前server的權(quán)重

int thisWeight = 1;

if ( this.weights != null this.weights[i] != null )

thisWeight = this.weights[i];

// factor用來控制每個server分配的虛擬節(jié)點數(shù)量

// 權(quán)重都相同時，factor=40

// 權(quán)重不同時，factor=40*server總數(shù)*該server權(quán)重所占的百分比

// 總的來說，權(quán)重越大，factor越大，可以分配越多的虛擬節(jié)點

double factor = Math.floor( ((double)(40 * this.servers.length * thisWeight)) / (double)this.totalWeight );

for ( long j = 0; j factor; j++ ) {

// 每個server有factor個hash值

// 使用server的域名或IP加上編號來計算hash值

// 比如server - "172.45.155.25:11111"就有factor個數(shù)據(jù)用來生成hash值：

// 172.45.155.25:11111-1, 172.45.155.25:11111-2, ..., 172.45.155.25:11111-factor

byte[] d = md5.digest( ( servers[i] + "-" + j ).getBytes() );

// 每個hash值生成4個虛擬節(jié)點

for ( int h = 0 ; h 4; h++ ) {

Long k =

((long)(d[3+h*4]0xFF) 24)

| ((long)(d[2+h*4]0xFF) 16)

| ((long)(d[1+h*4]0xFF) 8 )

| ((long)(d[0+h*4]0xFF));

// 在環(huán)上保存節(jié)點

consistentBuckets.put( k, servers[i] );

}

}

// 每個server一共分配4*factor個虛擬節(jié)點

}

// 用MD5來計算key的hash值

MessageDigest md5 = MD5.get();

md5.reset();

md5.update( key.getBytes() );

byte[] bKey = md5.digest();

// 取MD5值的低32位作為key的hash值

long hv = ((long)(bKey[3]0xFF) 24) | ((long)(bKey[2]0xFF) 16) | ((long)(bKey[1]0xFF) 8 ) | (long)(bKey[0]0xFF);

// hv的tailMap的第一個虛擬節(jié)點對應(yīng)的即是目標server

SortedMap tmap = this.consistentBuckets.tailMap( hv );

return ( tmap.isEmpty() ) ? this.consistentBuckets.firstKey() : tmap.firstKey();

更多問題到問題求助專區(qū)（）

php實現(xiàn)將mysql數(shù)據(jù)庫中數(shù)據(jù)計算各種平均值，如每日平均值，10日平均值，然后把這些平均值在錄入數(shù)據(jù)庫中

我只列出SQL查詢語句，具體在VB怎么用就你自己搞定了，因為你提供的信息有限，沒法給你提供完整的VB代碼：

select max([序號]) as 最大序號, avg([平均值]) as 總平均值 from 表名

要得到轉(zhuǎn)動慣量 列中所有數(shù)據(jù)的平均值，你可以自己舉一反三啊，一定要嚼爛了你才會吃?。?/p>

select max([序號]) as 最大序號, avg([平均值]) as 總平均值, avg([轉(zhuǎn)動慣量]) as 轉(zhuǎn)動慣量平均值 from 表名

或者分別求三個值也行：

select max([序號]) as 最大序號 from 表名

select avg([平均值]) as 總平均值 from 表名

select avg([轉(zhuǎn)動慣量]) as 轉(zhuǎn)動慣量平均值 from 表名

Set rs1 = db.OpenRecordset("select avg(轉(zhuǎn)動慣量) from 項目")

然后rs1(0)的值就是“項目”這個表中所有“轉(zhuǎn)動慣量”的平均值了

有20個有序數(shù)字php怎么平均分配給4用戶并寫入mysql數(shù)據(jù)庫？

function getDivideNumber($number, $total, $index = 2) {

// 取平均數(shù)

$divide_number = floor($number / $total * pow(10, $index)) / pow(10, $index);

$divide_number = number_format($divide_number, $index, '.', '');

// 獲取最后一個數(shù)字

$last_number = $number - $divide_number * ($total - 1);

$last_number = number_format($last_number, $index, '.', '');

// 拼裝平分后的數(shù)據(jù)返回

$number_str = str_repeat($divide_number . ',', $total - 1) . $last_number;

return explode(',', $number_str);

}

$array = getDivideNumber(120, 3, $index = 0);

得到平均分配的數(shù)字數(shù)組，用遍歷后入庫

名稱欄目：php數(shù)據(jù)平均分布算法,php 分布式開發(fā)
網(wǎng)站鏈接：http://www.muchs.cn/article44/hssshe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、面包屑導航、做網(wǎng)站、標簽優(yōu)化、軟件開發(fā)、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)