伏龙阁资源网

golang实战之truncate日志文件详解
站长资源 2024/11/22 佚名
2 0

前言

有时候我们生成的日志文件很大，如果文件过大，或者磁盘空间有限，那么我们就需要把日志文件改小一点。

(当然实际应用场景中，一般采用log rotate的方式实现多个日志文件，定期把旧的日志文件挪走或者删除)

现在我们考虑如何把日志文件变小的场景。

首先想到的是文件truncate，遗憾的是truncate是把新的内容删掉，而不是把旧的内容删掉；因为通常我们的做法是要把旧的日志内容删除，而保留最新的日志内容。

方法1：拷贝文件，然后把前半部分删除，保留新的后半部分

$ wc -l logfile
$ tail -n {LINENUM}/2 logfile > logfile2
$ mv logfile2 logfile

缺点是需要额外的临时磁盘空间(logfile2)，保留新拷贝的文件

方法2：把日志文件读入内存，截去前半部分，把后半部分重新写会文件。

缺点也是要创建一个临时文件，或者把整个文件内容一次性读入内存。

下面是一个实现创建临时文件的例子：

(如果采用整个文件读入内存，那么可以重复覆盖使用原来的读入文件，不用创建临时文件)：

package main

import (
 "bufio"
 "log"
 "io"
 "os"
)

func ReadLine(r *bufio.Reader, w *bufio.Writer) error {
 for i := 0; ; i++ {
  line, err := r.ReadString('\n')
  if i >= 12554364/2 { // this number is hard-codes just for example use
   if _,err := w.WriteString(line); err != nil {
    log.Fatal(err)
   }
  }

  if err != nil {
   if err == io.EOF {
    return nil
   }
   return err
  }
 }
 return nil
}

func main() {
 fin, err := os.Open("data.in")
 if err != nil {
  log.Fatal(err)
 }
 defer fin.Close()

 fout, err := os.Create("data.dat")
 if err != nil {
  log.Fatal(err)
 }
 defer fout.Close()

 reader := bufio.NewReader(fin)
 writer := bufio.NewWriter(fout)
 if err := ReadLine(reader, writer); err != nil {
  log.Fatal(err)
 }
 writer.Flush()
}

运行：

对于1G大小的日志文件，在我的Linux上执行时间大约是：

$ go build && time ./main
real 0m6.972s
user 0m4.668s
sys  0m2.055s

方法3：也是利用文件，把文件mmap映射到内存，然后使用copy函数覆盖内存。

缺点是，mmap操作日志文件不能过大。

下面是一个实现的代码例子：

package main

import (
 "fmt"
 "log"
 "os"
 "syscall"
)

// Truncate file to half size, with line aligned.
func truncateText(f *os.File) error {
 fi, err := f.Stat()
 if err != nil {
  return err
 }

 mem, err := syscall.Mmap(int(f.Fd()), 0, int(fi.Size()), syscall.PROT_READ|syscall.PROT_WRITE, syscall.MAP_SHARED)
 if err != nil {
  return err
 }

 size := fi.Size()
 if size <= 1 {
  // Don't need to truncate file if it's too small
  return nil
 }

 trun := size/2 - 1
 for ; trun < fi.Size(); trun ++ {
  if mem[trun] == '\n' {
   break
  }
 }

 //fmt.Printf("size=%d, trun=%d\n", size, trun)
 if trun >= size - 1 {
  trun = size/2
 } else {
  trun = trun + 1
 }

 // Overwrite file content
 copy(mem[0:], mem[trun:])
 
 err = syscall.Munmap(mem)
 if err != nil {
  return err
 }

 // truncate file
 f.Truncate(fi.Size() - trun)

 // reset file offset
 f.Seek(trun,0)

 return nil
}


func main() {
 path := "data.dat"

 f, err := os.OpenFile(path, os.O_RDWR|os.O_CREATE, 0644)
 if err != nil {
  fmt.Println("Cannot create file")
  log.Fatal(err)
 }

 err = truncateText(f)
 if err != nil {
  fmt.Println("Cannot truncateLog file")
  log.Fatal(err)
 }

 f.Write([]byte("ABCD"))
 f.Close()
}

函数truncateText的功能就是把文件截取到原来的一半大小，并保持按行对齐；分如下几步：

  • 先把文件映射syscall.Mmap 到内存。
  • 查找到中间行的位置。
  • 然后用内置函数copy，把中间行以后的挪动到文件开始位置。
  • 修改文件的大小file.Truncate
  • 重置文件的偏移指针offset
  • 取消文件映射syscall.Munmap

运行：

对于1G大小的日志文件，在我的Linux上执行时间大约是：

$ go build && time ./main
real 0m1.861s
user 0m0.335s
sys  0m0.650s

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
www.wwsws.com 伏龙阁资源网
39,976影音资源
44,792技术资源
21,817软件资源
651,128站长资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接