nodejs版本大文件之断点下载

nodejs版本大文件之断点下载

月光魔力鸭

2020-05-20 11:17 阅读 1771 喜欢 1 断点下载 nodejs express

断点下载这种操作比较常见,今天又用到了,用来做demo,简单搭建一个,一时去找也还找不到,想着也不麻烦,先做个demo试试。

框架

语言:nodejs 包:express fs

目的

通过nodejs实现一个大文件的断点下载的服务。

干活代码

由于没啥复杂的,这里直接上代码,简单说明下。 http断点下载是通过range来判断文件的起始位置的。其基本原理就是,在文件的下载断开以后。客户端继续向服务器端请求的时候,http请求的头文件中会多了一个参数“Range”,来标示当前下载的文件所断开的位置。

const express = require('express');
const fs = require('fs');
let app = express();
app.get('/', (req, res, next) => {
    let range = req.headers["range"];
    // 下载文件路径
    let p = 'workspace.rar';
    // 存在 range 请求头将返回范围请求的数据
    if (range) {
        // 获取范围请求的开始和结束位置
        let [, start, end] = range.match(/(\d*)-(\d*)/);
        // 错误处理
        let statObj = null;
        try {
            statObj = fs.statSync(p);
        } catch (e) {
            res.end("Not Found");
        }
        // 文件总字节数
        let total = statObj.size;
        // 处理请求头中范围参数不传的问题
        start = start ? parseInt(start) : 0;
        end = end ? parseInt(end) : total - 1;
        // 响应客户端
        res.statusCode = 206;
        res.setHeader("Accept-Ranges", "bytes");
        res.setHeader("Content-Range", `bytes ${start}-${end}/${total}`);
        fs.createReadStream(p, {
            start,
            end
        }).pipe(res);
    } else {
        // 没有 range 请求头时将整个文件内容返回给客户端
        fs.createReadStream(p).pipe(res);
    }
})
app.listen(3000, () => {
    console.log(`server is running at port 3000`)
})

测试

可以通过wget命令来测试,-c是启用断点下载。 wget -c -d --limit-rate=2048k -O target "http://localhost:3000" wget windows 下载:wget windows 下载地址

由于只是一个demo,用来做下载测试的,所以用nodejs做了个简单的,线上的话还是不要用这个了,有很多方案可以解决。

转载请注明出处: https://chrunlee.cn/article/nodejs-file-range-download.html


感谢支持!

赞赏支持
提交评论
评论信息 (请文明评论)
暂无评论,快来快来写想法...
推荐
关于js的编译和压缩,之前做过一个小工具了,主要就是自己项目成员大都没有这部分的技能,导致发布的时候总需要去编译压缩下.. 最终做了个命令行小工具.. 问题不在这里,前一阵子做压缩的时候发现压缩后竟然是undefined.最终才发现是es6的语法问题。
当我们想实现一个自己的库或模块后,发布的话,需要发布到npm上才能下载。以下是具体步骤
互联网应用经常需要存储用户上传的图片,比如facebook相册。 facebook目前存储了2600亿张照片,总大小为20PB,每张照片约为80KB。用户每周新增照片数量为10亿。(总大小60TB),平均每秒新增3500张照片(3500次写请求),读操作峰值可以达到每秒百万次
之前在知乎上有看到,基本上都是一致的,这里提供一个nodejs版本的针对微信内dat文件进行处理恢复为图片的方法。
通过node-xlsx模块读取excel和写入
客户有一批音频需要处理成视频,最好是带有图片,于是就有了下文。
为什么要读取图片呢?需求来源于这里。我有一大堆的ppt文件,里面全是图片,想将这些图片全部拿到,然后存储在数据库中,在线上预览,一张张的保存我自然是不乐意的。
通过imap 来接收邮箱新邮件,类似客户端系列,不过比较简单的,目前只有新邮件,后续也可以通过这个来做一个自己的邮件客户端。