ArrayList와 동시성

redis에서 서로 독립적으로 조회하는 작업을 여러 스레드로 병렬 처리하기 위해 parallelStream을 사용하였다.

// Get Projects
public List<ProjectResponseDto> getProjects(String rootId) {
  RelationshipResponseDto[] relationships = service.getRelationships(rootId);

  List<ProjectResponseDto> projectResponseDtoList = new ArrayList<>();
  if (relationships != null) {
    Arrays.stream(hasProject).toList().parallelStream().forEach(relationshipResponseDto -> {
      Project project = service.getProject(project);
      projectResponseDtoQueue.add(ProjectResponseDto.builder()
        .id(project.getId())
        .name(project.getName())
        .build());
    });
  }
  return projectResponseDtoList;
}

분명히 조회되어야 하는 데이터는 3개로 고정되어 있는데, response를 확인해보면 가끔 2개 또는 1개인 경우가 발생했다.

현상을 자세히 확인하기 위해 테스트 요청을 해보았다.

for i in {1..100}
do
curl --location 'http://localhost:8020/projects/1' 2>/dev/null | jq length >> test.log
done

 

100회 시도했을 때 10번 정도가 문제가 발생한다.

parallelStream()은 병렬 작업이지만 동기적으로 처리되기 때문에 모든 스레드가 작업을 완료할 때 까지 대기할텐데 

 

원인은 병렬 처리에서 사용하는 ArrayList였다.

https://docs.oracle.com/javase/8/docs/api/java/util/ArrayList.html

ArrayList (Java Platform SE 8 )

Note that this implementation is not synchronized.

Java ArrayList는 동기화 되지 않는다라고 명시되어있다. 따라서 여러 스레드에서 동시에 ArrayList를 사용하면 문제가 발생할 수 있다.

ArrayList 대신 thread safe 구현체인 ConcurrentLinkedDeque를 사용하였다. 

// Get Projects
public List<ProjectResponseDto> getProjects(String rootId) {
  RelationshipResponseDto[] relationships = service.getRelationships(rootId);

  Queue<ProjectResponseDto> projectResponseDtoQueue = new ConcurrentLinkedDeque<>();
  if (relationships != null) {
    Arrays.stream(hasProject).toList().parallelStream().forEach(relationshipResponseDto -> {
      Project project = service.getProject(project);
      projectResponseDtoQueue.add(ProjectResponseDto.builder()
        .id(project.getId())
        .name(project.getName())
        .build());
    });
  }
  return new ArrayList<>(projectResponseDtoQueue);
}