TIL 2022.08.08 DRF ORM 쿼리 최적화 select_related, prefecth_related, F method, transaction

Django ORM 쿼리문 최적화

select_related()

1:1(oneToOne) 또는 1:N에서 N이 사용 할 수 있다. 정방향 참조 관계 일때 사용할 수 있으며

정참조 JOIN 하여서 얽혀있는 데이터를 미리 읽어 온다.(Eager loading)

from django.db import models

class City(models.Model):
    # ...
    pass

class Person(models.Model):
    # ...
    hometown = models.ForeignKey(City, on_delete=models.SET_NULL, blank=True, null=True)

class Book(models.Model):
    # ...
    author = models.ForeignKey(Person, on_delete=models.CASCADE)

# Hits the database with joins to the author and hometown tables.
b = Book.objects.select_related('author__hometown').get(id=4)
p = b.author         # Doesn't hit the database.
c = p.hometown       # Doesn't hit the database.

prefecth_related()

M:N(ManyToMany) 또는 1:N 에서 1이 사용 할 수 있다. 역방향 참조일 때  사용할 수 있다.

from django.db import models

class Topping(models.Model):
    name = models.CharField(max_length=30)

class Pizza(models.Model):
    name = models.CharField(max_length=50)
    toppings = models.ManyToManyField(Topping)
    
class Restaurant(models.Model):
    pizzas = models.ManyToManyField(Pizza, related_name='restaurants')
    best_pizza = models.ForeignKey(Pizza, related_name='championed_by', on_delete=models.CASCADE)

>>> Pizza.objects.prefetch_related('toppings')

>>> Restaurant.objects.prefetch_related('pizzas__toppings')

>>> Restaurant.objects.prefetch_related('best_pizza__toppings')

 

프로젝트에서 구현한 코드

project = Project.objects.select_related("user").prefetch_related("comment_set","skills","bookmark").all()
# project = Project.objects.all()
return self.pagination(project)

게시글이 많아 질수록 쿼리문이 많아지는데 related 함수를 이용해서 게시글이 아무리 많아지더라도 쿼리 갯수가 늘어나지 않게 최적화 하였다.

F() method

여러 요청이 동시에 되었을 때 count가 제대로 오르지 않는 동시성 문제를 해결하기 위해서 F() 를 통해서 DB의 데이터를 변경할 때 DB 데이터의 메모리값을 가져와서 연산 후 DB에 저장하는 방식이 아닌 DB에 표시되는 DB의 필드를 증가시키도록 지시하는 것

 

프로젝트에서 구현한 코드

# project/<int:project_id>/bookmark/
class BookmarkAPIView(APIView):
    # 북마크 클릭 시
    @transaction.atomic
    def post(self, request, project_id):
        try:
            project = Project.objects.get(id=project_id)
            bookmark = project.bookmark.all()
            if request.user in bookmark:
                project.bookmark_count =  F('bookmark_count') - 1
                project.bookmark.remove(request.user)
                # project.bookmark_count -= 1
                project.save()
                return Response({"msg": "북마크 해제 완료!"})
            else:
                project.bookmark_count = F("bookmark_count") + 1
                project.bookmark.add(request.user)
                # project.bookmark_count += 1
                project.save()        
            return Response({"msg": "북마크 등록 완료!"})
        except ObjectDoesNotExist:
                    raise Http404('게시글을 찾을 수 없습니다')

Transaction

• 원자성 (Atomicity)
• 일관성 (Consistency)
• 독립성 (Isolation)
• 지속성 (Durability)

첫번째로, 원자성은 트랜잭션이 데이터베이스에 모두 반영되던가, 아니면 전혀 반영되지 않아야 한다는 것이다.  트랜잭션은 사람이 설계한

논리적인 작업 단위로서, 일처리는 작업단위 별로 이루어 져야 사람이 다루는데 무리가 없다.

 

만약 트랜잭션 단위로 데이터가 처리되지 않는다면, 설계한 사람은 데이터 처리 시스템을 이해하기 힘들 뿐만 아니라, 오작동 했을시 원인을 찾기가 매우 힘들어질것이다.

 

두번째로, 일관성은 트랜잭션의 작업 처리 결과가 항상 일관성이 있어야 한다는 것이다. 

트랜잭션이 진행되는 동안에 데이터베이스가 변경 되더라도 업데이트된 데이터베이스로 트랜잭션이 진행되는것이 아니라,

처음에 트랜잭션을 진행 하기 위해 참조한 데이터베이스로 진행된다. 이렇게 함으로써 각 사용자는 일관성 있는 데이터를 볼 수 있는 것이다.

 

 세번째로, 독립성은 둘 이상의 트랜잭션이 동시에 실행되고 있을 경우 어떤 하나의 트랜잭션이라도, 다른 트랜잭션의 연산에 끼어들 수 없다는 점을 가리킨다.

하나의 특정 트랜잭션이 완료될때까지, 다른 트랜잭션이 특정 트랜잭션의 결과를 참조할 수 없다.

 

네번째로, 지속성은 트랜잭션이 성공적으로 완료됬을 경우, 결과는 영구적으로 반영되어야 한다는 점이다.

from django.db import transaction

import 후 @transaction.atomic 을 함수 위에 달아 줌으로써 트랜잭션을 이용할 수 있다.

이를 통해 서버가 중간에 끊키거나 오류가 발생했을 때 insert, update 작업들 중 하나만 되지않고 둘다 성공 했을 때 DB에 정상적으로 저장될 수 있도록 할 수 있어서 트랜잭션의 장점을 이용해서 DB데이터의 신뢰를 얻을 수 있다.

아래 처럼 SAVEPOINT 를 사용하게 되면서 쿼리문은 2개 늘어나지만 안정성을 가질 수 있다는 장점이 있다.

 https://fortune-trouser-03d.notion.site/8635a07654204f84886081270cd301a8?v=d31ed66cc67843ada777bcca4238f1f9 

Query 최적화 Case 정리