[javascript] - Promise bulk로 처리하기

javascript의 객체 중 Promise 객체는 비동기 작업이 맞이할 미래의 완료 또는 실패와 그 결과 값을 나타냅니다.

MDN의 설명으로 아래와같이 간단하게 요약할 수 있습니다.

[출처] - https://developer.mozilla.org/ko/docs/Web/JavaScript/Reference/Global_Objects/Promise

Promise는 다음 중 하나의 상태를 가집니다.

• 대기(pending): 이행하지도, 거부하지도 않은 초기 상태.
• 이행(fulfilled): 연산이 성공적으로 완료됨.
• 거부(rejected): 연산이 실패함.

대기 중인 프로미스는 값과 함께 이행할 수도, 어떤 이유(오류)로 인해 거부될 수도 있습니다. 이행이나 거부될 때, 프로미스의 then 메서드에 의해 대기열(큐)에 추가된 처리기들이 호출됩니다. 이미 이행했거나 거부된 프로미스에 처리기를 연결해도 호출되므로, 비동기 연산과 처리기 연결 사이에 경합 조건은 없습니다.

 

javascript의 언어특징인 비동기성때문에 Promise객체를 많이쓰게되는데 각각 하나의 Promise를 실행하는 경우에는 크게 고민할게 없는데, 작업을 하다보니 여러개의 Promise 객체를 실행해야하는 경우가 생겼습니다! 첨엔 별 생각없이 Promise 여러개를 배열에 넣고 Promise 기본함수에 있는 Promise.all 혹은 Promise.allsettled 함수를 쓰면 해결될거라 생각했습니다.

예를들면 이런식으로 말이죠.

let p1 = new Promise((resolve, reject)=>{
...
})
let p2 = new Promise((resolve, reject)=>{
...
})
Promise.allSettled([p1, p2])

참고로 Promise.all과 Promise.allSettled의 차이는 모든 Promise객체를 성공시켜야 인정할건지 아니면 성공하는 Promise와 실패하는 Promise를 염두에 두고 실행시킬건지의 차이인데, all은 하나라도 실패하면 실패가 되고, allSettled는 10개중에 하나가 실패해도 일단 전부 실행은 한다라는 차이점이 있습니다.

 

let promises = []
for(const requestUrl of requestUrls) {
  promises.push(await this.util.httpRequest(url, 'GET'))
}
Promise.allSettled(promises)
for (const result of results) {
    if(result.status === 'fulfilled') {
    // ... 성공
    } else {
    // ... 실패
    }
}

아무튼간 저렇게 Promise가 적을때는 상관이 없었습니다. 근데 저는 약 1500개 정도의 Promise를 실행시키려 했는데 에러가 뜨더군요.

http request를 하는 공용함수를 만들어서  여러개의 url에 'GET' 으로 호출하고 응답값을 받아오는 상황이었는데 한번에 너무 많은 양을 호출하고 처리하려고하니 Promise관련된 에러와 request를 받는 OPEN API 쪽에서도 에러를 내더군요.. 참고로 저는 기상청의 OPEN API를 호출하고 있었습니다.

 

그래서 삽집을 하던중, Promise 의 실행을 제어한다는 limit관련 모듈들이 있는걸로 보아 일단 Promise의 실행개수를 줄여야한다고 생각했고, npm에서 제공하는 모듈들을 사용할까 해봤지만 javascript 내부함수로도 구현이 가능할 것 같아서 아래와 같이 바꿔봤습니다.

while(this.requestUrls.length) {
    const results = await Promise.allSettled(this.requestUrls.splice(0, 100).map((url)=>this.util.httpRequest(url, 'GET')))
    for await(const result of results) {
        if(result.status === 'fulfilled') {
        // ... 성공
        } else {
        // ... 실패
        }
    }
}

개수를 줄인다고해서 모든 Promise가 fulfiled의 상태, 즉 성공한다는 보장은 없었습니다. 위와같은 경우는 requestUrls의 배열에서 100개씩 추출하여 promise를 만들어내고 그다음에 promise.allSettled 함수를 사용하여 실행하는 구조로 바꾸니 일단 Promise의 관련한 에러는 발생하지 않았습니다. 물론 http 통신에 대한 에러는 종종 나기에 예외처리가 필요하긴 했습니다.

 

Node.js의 Worker를 사용하여 퍼포먼스를 더 높일 수도 있다고 생각이 듭니다만 생각보다 OPEN API 쪽에서도 응답에러가 많이 발생하여 일단 이정도로 구현해보았습니다.