nodejs给文件链接添加md5

nodejs给文件链接添加md5

月光魔力鸭

2018-09-12 10:11 阅读 157 喜欢 0 md5 link nodejs

在开发的时候,经常会有css js 文件的变更,然后部署后发现没有起到作用,最终发现是缓存的问题,如何来方便的解决。

因为没有用到webpack 啥的,是java项目,所以准备做一个小工具,检索jsp或html中引用css js的地方,并根据对应的路径找到文件,对文件进行md5计算,最后给链接更新一个md5值,这样没有变化的就会缓存,有变化的就会从服务器更新。 (大神请轻喷..)

大体思路
  1. 检索目标目录下的jsp 或 html
  2. 读取内容,根据正则找到 link 或 script
  3. 根据规则,找到对应的目录的文件
  4. 读取文件,计算MD5
  5. 更新回原来的地址
  6. 结束
代码实现

准备使用nodejs 来实现。

//给jsp 或 html 中的css js 添加fileMd5值
var fs = require('fs'),
    readline = require('readline'),
    path = require('path'),
    join = path.join,
    extname = path.extname,
    async = require('async'),
    colors = require('colors'),
    url = require('url'),
    crypto = require('crypto'),
    qs = require('querystring');

function AddMd5(directory,opts){
    this.directory = directory;
    this.fileList = [];
    this.count = 0;
    this.extList = opts.extList;//['.jsp','.html','.htm'];
    this.exclude = opts.exclude;//['plugins'];
    this.compress = opts.compress;
    this.replace = opts.replace;//['${basepath}','${staticresdomain}','<%=basepath%>'];//替换字符串
    return this;
}
//获得符合条件的文件
AddMd5.prototype.getFiles = function(dirPath){
    var thiz = this;
    if(fs.existsSync(dirPath)){
        var files = fs.readdirSync(dirPath);
        if(files && files.length > 0){
            for(var i=0,max=files.length;i<max;i++){
                var temp = files[i];
                var filePath = join(dirPath,temp);
                var stats = fs.statSync(filePath);
                if(stats.isDirectory() && thiz.exclude.indexOf(temp) < 0){
                    //继续
                    thiz.getFiles(filePath);
                }else{
                    var fileExt = extname(filePath).toLowerCase();
                    if(thiz.extList.indexOf(fileExt) > -1){
                        //符合
                        thiz.fileList.push(filePath);
                    }
                }
            }
        }
    }
}
AddMd5.prototype.start = function(){
    var thiz = this,
        directory = thiz.directory;
    thiz.getFiles(directory);
    console.log('共计扫描到 '.green+(''+thiz.fileList.length).red+' 个符合条件的文件'.green);
    async.mapLimit(thiz.fileList,5,function(item,cb){
        thiz.scan(item,cb);
    },function(err,value){
        console.log('共计替换 '.green+(''+thiz.count).red +' 个链接'.green)
    });
};

AddMd5.prototype.scan = function(filePath,callback){
    var thiz = this,compress = thiz.compress;
    var is = fs.createReadStream(filePath);
    var inter = readline.createInterface({input :is});
    var strArr = '';
    inter.on('line',function(line){
        var rst = thiz.checkLine(line);
        if(rst){//检查到有内容
            //处理并替换
            var type = rst.type;
            var md5 = rst.md5;
            //检索并替换
            var arr = /src[\s]*=[\s]*[\"\']?([^\'\"]*)[\'\"]?/i.exec(line);
            if(arr && arr.length > 0){
                var src = arr[1];
                var query = url.parse(src).query;
                var src2 = src.indexOf('?') > -1 ? src.substring(0,src.indexOf('?')) : src;
                var qsObj = qs.parse(query);
                qsObj.v = md5.substring(0,5);
                var qsStr = qs.stringify(qsObj);
                var newSrc= src2 + '?'+qsStr;
                line = line.replace(src,newSrc);
                console.log('替换 [ '.green+line.red+' ]'.green);
                thiz.count ++ ;
            }
        }
        strArr+=line+(compress ? '' : '\n');
    });
    inter.on('close',function(){
        //重新写入
        fs.writeFileSync(filePath,strArr);
        callback(null,null);
    })
};
//根据文件路径获得FILEMD5
AddMd5.prototype.getMd5 = function(filePath){
    var buffer = fs.readFileSync(filePath);
    var md5 = crypto.createHash('md5');
    md5.update(buffer);
    return md5.digest('hex').toLowerCase();
};
AddMd5.prototype.checkLine = function(str){
    //检查字符串是否符合 link script 
    var thiz = this,replace = thiz.replace,directory = thiz.directory;
    str = str.toLowerCase().replace(/\s/g,'');
    var rst = /\<script[\s\S]*src="([\$\{\}\w\.\/\<\%\=\>\?\&]*)"[\s\S]*\>[\s\S]*\<\/script\>/g.exec(str);
    var src = '';
    var type = '';
    if(rst && rst.length > 0){
        src = rst[1];
        type = 'src';
    }
    rst = /^\<link[\s\S]*href="([\$\{\}\w\.\/\<\%\=\>\?\&]*)"[\s\S]*[\>|\/\>|\<\/link\>]$/g.exec(str);
    if(rst && rst.length > 0 && rst[1].indexOf('favicon') < 0){
        src = rst[1];
        type = 'href';
    }
    if(src){
        if(replace && replace.length > 0){
            for(var i=0,max=replace.length;i<max;i++){
                src = src.replace(replace[i],'');
            }
        }
        var srcObj = url.parse(src);
        var query = srcObj.query;
        var filePath = join(directory,srcObj.pathname);
        if(fs.existsSync(filePath)){
            var fileMd5 = thiz.getMd5(filePath);
            return {
                md5 : fileMd5,
                query : query,
                filePath : srcObj.pathname,
                type : type
            };
        }
    }
    return null;
};

module.exports = AddMd5;

然后封装了一个命令行工具,这样以后就可以随意对某个目录进行压缩啦,发布后自己安装下就可以啦。

npm install addmd5 -g

具体可以查看 https://github.com/chrunlee/addmd5

写的比较仓促,目前是最初的版本,很多地方还不严谨..尤其是我的正则比较烂。

如果对你有帮助,麻烦点个赞呗

转载请注明出处: https://chrunlee.cn/article/nodejs-add-link-md5.html


如果对你有用的话,请赏给作者一个馒头吧 ...或帮点下页面底部的广告,感谢!!

赞赏支持
提交评论
评论信息(请文明评论)
暂无评论,快来快来写想法...
推荐
通过node-xlsx模块读取excel和写入
记录下在linux环境下安装phantomjs 的步骤,防止遗忘...
最近有接触到针对二维码进行识别的功能,然后对图片进行位置纠正、二维码扫描,并将数据进行整理。以下是通过nodejs做的,相对简单一些,没有太过严格,识别率也不是很高大约80%左右
前几天给朋友帮忙,想要一个一模一样的网站...自告奋勇去帮忙.. 结果发现之前一直没处理过类似的情况,虽然也写过爬虫,不过看了下网站,也不算麻烦。于是简单实现了这个自动抓站的功能,最终整理成为一个自动抓站的工具,能省很多的事情。
目前了解的有两个模块可以实现二维码的模块,一个是node-qrcode ,这个算是比较大众的,不过环境比较复杂,所以...连看都没看;还有一个是小众的 qr-image ,这个比较简单,没有其他环境依赖,安装即可用,因为要实现一个简单的在线二维码生成,就先用这个试试水了
关于js的编译和压缩,之前做过一个小工具了,主要就是自己项目成员大都没有这部分的技能,导致发布的时候总需要去编译压缩下.. 最终做了个命令行小工具.. 问题不在这里,前一阵子做压缩的时候发现压缩后竟然是undefined.最终才发现是es6的语法问题。
开始入手webpack ,直接看的官方文档和demo,对于自动刷新这部分还是希望通过express 加载插件来控制,但是文档没有提供,经过参考github上其他高玩的套路,最终整理了一个基础的配置版本。
由于国家的行政区划每年都有变化,所以经常需要更新最新的数据,这里提供一个nodejs版本mysql数据存储的抓取示例。