找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 117|回复: 0

node 怎么实现 工作队列?

[复制链接]

1088

主题

0

回帖

3292

积分

管理员

积分
3292
发表于 2023-12-8 09:58:03 | 显示全部楼层 |阅读模式
用 nodejs 简单的搭建了一个 http sever,可以处理 post 请求,执行比如“job1(post)”,“job2(post)”这样的请求,但是这些不同的 job 只能同步执行,也就是一个执行完了再执行另一个。
所以有没有简单的实现,先把 post 请求存到队列里面,然后依次执行?

类似 WSGI 的东西吧,Python 的比较多,nodejs 的没用过
rx 。流编程
promise ?
事件驱动了解一下?
Async.js
没懂
async 不就行了
https://www.npmjs.com/package/bull
https://github.com/sindresorhus/p-queue
桥豆麻袋,“同时执行”和“”产生冲突“具体是啥。async 函数如果没有 await 可咋整
web 请求天然就是异步的,想要搞成同步就把消息存在队列里面,然后另外搞个线程处理这个队列
同时执行产生冲突——那冲突的资源是什么? CPU ? IO ?如果只是想一个个执行的话,post handler 就只接收任务然后加到一个 job queue 里呗,然后自己起一个 worker 一个个拿去执行,这是最 naive 的方法……
听描述 应该是客户端 也就是请求端做串行吧job1 请求拿到返回了再去执行 job2 请求就好了
单进程自己写一个没几行代码https://gist.github.com/lujjjh/ff95a7a046cc271bb06d4fdfb4161197
把 job 放到一个包成一个 promise,把这些 promise 放到一个数组里,然后一个个 await 这个数组的元素。
连数组都不需要,最简单的实现如下```jslet last = Promise.resolve()onPost(post => last = last.then(() => job(post)))```
我自己的小服务程序也是这样。收到请求,放在内存中请求列表,同时在硬盘上存一份 JSON 请求,然后另一个 async 函数会循环处理请求列表并删除硬盘上的对应文件。当程序重启时会加载硬盘上的所有请求,以免不小心程序各种原因重启时漏掉队列中的请求。
bull
当初为了实现多文件上传并限制同时上传数,写的一个实现队列的方法,你可以拿去参考参考https://github.com/duan602728596/Q/blob/main/src/Queue.ts
用 async generator 来实现比较简单//gist.github.com/zbinlin/541ccb9cf6e9c07f98c7605648c7ea34
两种思路:1 、采用分布式锁 redlock2 、采用 redis 做消息队列
node 天生就是异步啊,不需要你额外封装,大家都是头疼怎么同步,所以才有了 Promise
需求是希望收到的所有请求之间按照顺序一个一个执行是吧?可以用消息队列的思想,就是来请求会异步插入到一个队列里,然后单线程一个一个地消费。最简陋的做法是在一个 module 的根作用域下声明一个 Array,然后每次来请求都 unshift 一个消息,服务里单独跑一个循环去从数组里 pop 消息出来处理,处理完再 pop 下一个。有分布式需求的话就用 Redis 、RabbitMQ 之类的消息队列中间件,可以启动一个集群服务作为生产者往队列里插消息,然后启动一个消费者服务来同步一条条消费。
事件循环吧,已经内置了 uvlib,io 请求自动进入到事件队列里
多台服务器的话,需要一个消息队列,因为你要维护简单,redis 就可以了,实现一个简单的 pub/sub 。单台服务器,生产者消费者写过没有。。。
最简单是搞个 全局数组, 启动时候 setInterval 轮询数组执行, 然后请求时候把任务放进去。 这样基本满足需求
async function(){ await f1() await f2()} ()
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|张迁碑

GMT+8, 2024-5-19 19:52 , Processed in 0.115416 second(s), 21 queries .

Powered by Discuz! X3.5

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表