Skip to content

About

Synchronous event/message processing with pluggable broker adapters

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

286 Commits

Folders and files

Repository files navigation

JustStream

Synchronous event/message processing with pluggable broker adapters

Just def.
Let workers do the work.
You don't need to await this.

한국어 | English

JustStream은 메시지 브로커에서 받은 작업을 일반 Python 메서드로 처리하는 동기식 라이브러리입니다. async / await 없이 작업 실행, ACK와 실패 정책, 스레드·프로세스 풀을 구성할 수 있습니다.

  • RabbitMQ와 Redis Streams 브로커 어댑터
  • 단방향 작업 발행과 RabbitMQ 동기 RPC
  • 요청·응답 계약 검증, 상태 확인과 운영용 Inspector

요구 사항 및 설치

Python 3.9 이상이 필요합니다. 사용할 브로커의 클라이언트 extra를 설치하고, 별도로 브로커 서버를 준비하세요.

python -m pip install "JustStream[RabbitMQ]"
python -m pip install "JustStream[Redis]"

두 어댑터가 모두 필요하면 python -m pip install "JustStream[RabbitMQ,Redis]"를 사용하세요. 브로커 클라이언트 없이 설치하려면 python -m pip install JustStream을 사용합니다. JustStream 하나의 배포물에 코어와 모든 브로커 구현체 소스가 포함됩니다. extra는 해당 브로커 클라이언트 의존성만 추가로 설치합니다. 소스 코드를 수정하고 싶다면 설치 격리와 개발·배포를 참고하세요.

빠르게 시작하기

다음 예제는 로컬 RabbitMQ(127.0.0.1:5672)를 사용합니다. 사용자 이름과 암호는 로컬 개발용 예시이며 운영 환경에서는 전용 자격 증명을 사용하세요.

from signal import SIGINT, signal

from JustStream.Broker.Implements.RabbitMQ import Configuration, Connection, Reject, Subscription
from JustStream import Run, ThreadPool, Worker, WorkerSetup, declare


class Add(
  Run,
  parameters=Subscription(queue='example.add', error='example.add.error'),
  on_error=Reject(),
):
  def run(self, a: int, b: int):
    print(a + b)
    return a + b


class Prepare(WorkerSetup):
  def __call__(self, worker: Worker) -> None:
    for task in worker.tasks:
      declare(task=task, broker=worker.broker)


if __name__ == '__main__':
  worker = Worker(
    Connection(Configuration(host='127.0.0.1', port=5672, username='guest', password='guest')),
    ThreadPool(4),
    setups=Prepare(),
  )
  worker.add(Add)
  signal(SIGINT, lambda *_: worker.stop())
  worker.run()

Worker는 example.add 큐에서 작업을 기다립니다. 작업 발행, 큐 선언, RPC 및 브로커별 설정은 상세 매뉴얼에서 확인하세요.

FastStream과 성능 비교

RabbitMQ와 Redis에서 같은 조건(메시지 100,000건, no-op 핸들러, 워커 수·prefetch 10)으로 측정한 결과입니다. 이 조건에서 JustStream의 소비 처리량은 FastStream의 약 1.9배(RabbitMQ)와 약 2.5배(Redis)였고, 최대 메모리는 약 44MB 대 60MB였습니다.

JustStream과 FastStream 비교 그래프

측정 환경과 조건, 해석할 때 주의할 점, 재현 방법은 FastStream 성능 비교에서 확인하세요.

문서와 릴리즈

JustStream은 GNU GPL v3 라이선스를 사용합니다. 자세한 조건은 저장소의 LICENSE 파일을 확인하세요.

About

Synchronous event/message processing with pluggable broker adapters

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Used by

Contributors

Languages