python中怎么實(shí)現(xiàn)一個(gè)數(shù)據(jù)切割歸并算法-創(chuàng)新互聯(lián)

今天就跟大家聊聊有關(guān)python中怎么實(shí)現(xiàn)一個(gè)數(shù)據(jù)切割歸并算法，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

創(chuàng)新互聯(lián)公司長期為上千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為沙灣企業(yè)提供專業(yè)的網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)，沙灣網(wǎng)站改版等技術(shù)服務(wù)。擁有10多年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

一：獲取總數(shù)據(jù)的行

def get_file_lines(file_path):
 # 目標(biāo)文件的路徑
 file_path = str(file_path)
 with open(file_path, 'rb') as file:
  # 定義行數(shù)
  i = 0
  while True:
   # 一次讀取一行數(shù)據(jù)
   line = file.readline()
   if not line :
    break
   else:
    # 每讀一行，行數(shù)加一
    i += 1
   #設(shè)置進(jìn)度條，每當(dāng)i讀取1000000行時(shí)打印一次i
   # 每當(dāng)讀取1000000的整數(shù)倍行時(shí)，打印行數(shù)（進(jìn)度條）
   if i % 1000000 == 0:
    print(i)
  # 打印總行數(shù)
  print(i)
  return i

二：對數(shù)據(jù)進(jìn)行切割

# 定義均等切割函數(shù)，num是待切割的文件的行數(shù)的值，n為切割份數(shù),file_path是待切割的文件，file_dir是切割好的文件寫入的目錄
def evg_split(num, n, file_path, file_dir):
 last_list = []
 # 如果樣本剛好可以整除為n份
 if num % n == 0:
  for i in range(n):
   # 則直接將樣本分為n分沒份對應(yīng)num/n個(gè)
   last_list.append(num / n)
 # 如果不能整除
 if num % n != 0:
  # 如果不能整除，則先將num整除n-1并取n-1份,余下的單獨(dú)做一份
  evg = (num - num % n) // (n - 1)
  for i in range(n):
   last_list.append(evg)
  last_list.append(num % (n - 1))
 print(last_list)
 # return last_list
 # 對應(yīng)于切割后的每一份數(shù)據(jù)
 with open(file_path, 'rb') as path:
  for i in range(n):
   # 創(chuàng)建臨時(shí)文件
   tmp_file = file_dir + str(i) + '.txt'
   # 打開臨時(shí)文件，將內(nèi)容一條一條的寫入
   file = open(tmp_file, 'wb')
   for j in range(int(last_list[i])):
    line = path.readline()
    file.write(line)
    print(line)
   print('------------')
   file.close()

三：對每組數(shù)據(jù)進(jìn)行排序的內(nèi)容由讀者根據(jù)自身數(shù)據(jù)需要進(jìn)行排序，下面直接介紹歸并排序

四：歸并排序

def merge( mylist1, mylist2, file1):
 while len(mylist1) > 0 and len(mylist2) > 0:
  if mylist1[0]<mylist2[0]:
   with open(file1,'a') as file:
    file.write(str(mylist1[0]))
    del mylist1[0]
  elif mylist1[0] > mylist2[0]:
   with open(file1,'a') as file:
    file.write(str(mylist2[0]))
    del mylist2[0]
  else:
   with open(file1,'a') as file:
    file.write(str(mylist1[0]))
    file.write(str(mylist2[0]))
    del mylist1[0]
    del mylist2[0]
 with open(file1, 'a') as file:
  for i in mylist1:
   file.write(str(i))
  for i in mylist2:
   file.write(str(i))

總結(jié)：對于一個(gè)大型數(shù)據(jù)文件，我們可以將其切割成若干個(gè)小型的數(shù)據(jù)文件，然后分別的這些小型的數(shù)據(jù)文件進(jìn)行排序，最后使用歸并排序?qū)⑦@些數(shù)據(jù)文件寫入到一個(gè)總體文件中，從而實(shí)現(xiàn)了對這個(gè)大型數(shù)據(jù)文件的排序。

看完上述內(nèi)容，你們對python中怎么實(shí)現(xiàn)一個(gè)數(shù)據(jù)切割歸并算法有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

當(dāng)前題目：python中怎么實(shí)現(xiàn)一個(gè)數(shù)據(jù)切割歸并算法-創(chuàng)新互聯(lián)
轉(zhuǎn)載來于：http://muchs.cn/article6/dcooog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、用戶體驗(yàn)、Google、微信小程序、企業(yè)建站、云服務(wù)器

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容