컴퓨터 / IT 판

즐겨찾기
최근
전체
최근 방문 게시판
프로그래밍

마리아DB mediumtext 그냥 쓰고 싶은데

잉텔 24 일 전 235
https://www.dogdrip.net/559017869

이걸 어캐 설득해야하냐.. ㅋㅋㅋ

 

테이블 1개는 유저 입력 저장하는 테이블 (JSON 포맷임)

테이블 2개는 엔진에서 처리한 결과를 저장하는 테이블 (JSON 포맷임)

 

이런 구조인데 그냥 mediumtext 필드 하나 더 파서 거기다가 저장 하려고 하는데, 16MB 짜리 잔뜩 쌓이면 문제 될거라면서 팀장이 되게 싫어하네.. ㅋㅋㅋ

 

그냥 S3에 JSON 올리면 안되냐는데, 그거 작업할 공수면 몽고DB 썻다... (하지만 그게 왜 그정도로 걸릴 일이냐고 뭐라하겠지..)

 

S3에 올리면 또 문제가 그거 일일히 다 다운받아서 서버에서 응답해주는것도 레이턴시 늘어남 (안해본건 아니라서 테스트 해봤는데 100ms -> 400ms 정도)

 

차피 테이블에 저장된 내용은 티켓 기준으로만 검색하지, JSON 자체를 검색하거나 그런 용도도 아니고, 그냥 결과 JSON 쏴주고 삭제해버리는 구조인데 상관 없지 않나.. ㅋㅋㅋ

 

DB 백업도 그 테이블은 백업 조차 안함, 언제든 날아가도 되는 거라서

21개의 댓글

펩타이드
24 일 전
[삭제 되었습니다]
잉텔
24 일 전
@펩타이드

5분 짜리 비디오는 지금 text 필드로 커버가 되는데, 데이터가 30분이 넘어가니 안들어가서 mediumtext 필드 하나 더 파겠다는거

 

팀장은 디스크 용량 문제 생기지 않겠냐는거고..

0
펩타이드
24 일 전
@잉텔
[삭제 되었습니다]
잉텔
24 일 전
@펩타이드

파일은 당연 서버에서 S3로 보내는데, 문제는 뒷단에서 도는 엔진의 JSON 응답이 크다는거?

 

1시간 짜리 비디오 엔진 돌리면 JSON 크기가 3MB 정도 나오고, 당연히 text 타입은 64KB가 최대니 안들어가지

0
아치리눅스
24 일 전

db 에 json 을 어셈블리로 꾸겨 넣는게 단점도 있어서 정말 꼭 필요 한거 아니면 테이블들 native 로 설계하는게 좋지 않나...

 

보통 json 컨버팅 소켓레벨에서 처리 하지 않음..?

 

라이브러리 이중화가 장점만큼 리스크도 꽤 클거 같은데...

 

성능이고 나발이고 너무 보수용이성만 고집 하는것도 결국 문제가 터질텐데...

 

규모가 어느정도 인지 모르겠는데 100ms 도 최적화 필요할거 같은데

 

400ms 로 늘어나는거면 구조나 설계 다시 손봐야 하는 수준인거 같은데...

0
잉텔
24 일 전
@아치리눅스

자바 스프링 기준에서 100ms는 느린게 맞는데, 파이썬 fastapi으로 개발된거기도 하고

 

애초에 웹페이지에 뿌리는 용도의 데이터는 아니라서 조회하는데 100ms 까지는 문제 없는것 같음

 

그냥 요청을 받아서 빠르게 티켓ID 던져주는 형태면됨

0
아치리눅스
24 일 전
@아치리눅스

위에 댓글 이제 봤는데 그 정도 사이즈면 테이블을 새로 팔게 아니라 바이너리를 새로 파야 되는거 아님? 코덱이든 컴프레서 라이브러리든 써야 될거 같은데...

0
잉텔
24 일 전
@아치리눅스

비디오는 S3로 밀어넣는데, 비디오가 길어질 수록 분석 엔진 응답은 64KB가 넘어...

 

1시간 짜리 넣으면 족히 3MB는 나오던데.. 그걸 걍 DB 밀어넣을 생각이였거든

0
잉텔
24 일 전
@아치리눅스

나 첫번째줄 이해 못했다.. ㅋㅋ

0
아치리눅스
24 일 전
@잉텔

아... 나도 프레임워크 일거라고 생각 못했다...

0
천연기념물323호
24 일 전

안에 필드 씹고뜯는거 아니면 json 압축해서 바이트로 상하차하세요

0
아치리눅스
24 일 전
@천연기념물323호

요게 맞는거 같은데...

 

근데 압축 과정 추가 되면 퍼포먼스는 또 바이바이네 ㅋㅋ

0
잉텔
24 일 전
@천연기념물323호

이거 밖에 없는건가.. ㅋㅋ

0
천연기념물323호
24 일 전
@잉텔

DB에 row 사이즈 제한있는 경우가 대부분이라 이 또한 일반적인 해결책입니다

분석엔진?이라고 불릴만한 컴퓨팅의 결과물을 올리는거면 마지막에 gzip 한번 태우는건 일도 아닐거고

받는 측에서도 범용 브라우저는 gzip 디코딩을 따로 안넣어도 자동으로 처리해서 JS로 던져줍니다

https://stackoverflow.com/questions/32172704/is-gzip-automatically-decompressed-by-browser

2
아치리눅스
24 일 전
@천연기념물323호

사랑합니다.

0
천연기념물323호
24 일 전
@아치리눅스
0
잉텔
24 일 전
@천연기념물323호

이거 일단 설득해본다..

0
애플훈타
23 일 전

json을 텍스트 형태로 db에 저장하는거면 규격화 되기 어려운 내용인것 같고 내용이 크다면 json파일로 떨궈서 필요할때 파일을 읽어오면 안되는거야? 뉴비개발자 입장에선 신기하네..

0
잉텔
23 일 전
@애플훈타

떨구는건 문제 없는데, 떨군걸 던져줄때 느림 분석엔진이 돌때 하나만 도는게 아니라 비디오 1개에 수십개가 도는지라 수십개 JSON 다운받고 전달하면 4배는 느려짐.. ㅋㅋ

0
애플훈타
23 일 전
@잉텔

ㄷㄷ 그렇구먼

0
잉텔
23 일 전

그냥 이번년도 말에 분석 엔진 응답만 몽고db에 저장하는걸로 결론남

0
무분별한 사용은 차단될 수 있습니다.

컴퓨터 / IT 판

인기글
번호 제목 글쓴이 추천 수 날짜 조회 수
5719 [프로그래밍] 하이브리드 웹뷰기반 앱은 rn이 정석이야? 3 잠적자 0 22 시간 전 165
5718 [프로그래밍] c# webview2 도움요청함.. 7 carpediem 0 1 일 전 120
5717 [프로그래밍] 현업 개발자형들 맥씀? 9 이또히로부미 0 1 일 전 220
5716 [프로그래밍] libtorch에서 cuda 안불러와지는거 도움! 2 Hakat 0 2 일 전 125
5715 [프로그래밍] 뭔가 게시판이 애매해서 그런데 gis 잘아는 사람? 1 하늘늑대 0 3 일 전 165
5714 [프로그래밍] 컴포즈가 프리뷰랑 폰에서 다르게 동작해요 1 집에가게해줘 0 3 일 전 118
5713 [프로그래밍] 난바보다) 크로미움 램사용량 문제 일단 해결 2 ye 0 5 일 전 284
5712 [프로그래밍] k8s DNS 이슈는 해결이 안되나보다. 잉텔 0 5 일 전 172
5711 [프로그래밍] 분노) 진짜 유튜브 구글 패악질 토나오네 씨발 17 ye 0 7 일 전 770
5710 [프로그래밍] 프론트엔드 공부하려는데 언어 추천좀 7 스트리플 0 7 일 전 353
5709 [프로그래밍] 객체지향 뽕에 취하지마라 8 69746974 2 8 일 전 410
5708 [프로그래밍] 요즘 앱개발 인력시장 어떰..3년차 2 센치해요 0 11 일 전 389
5707 [프로그래밍] 컴포즈 Box 컴포넌트가 안 나와... 1 집에가게해줘 0 13 일 전 148
5706 [프로그래밍] 아 ssl 적용햇는데 개정신없네 9 넌또화나있네 0 13 일 전 305
5705 [프로그래밍] 패스트 캠퍼스 <---- 얘내는 가격 인상 원툴임? 5 조강현 0 16 일 전 398
5704 [프로그래밍] 클라가 파이썬 셀레니움같은거 써서 클릭하고 그러는걸 감지 ... 5 리옴므 0 17 일 전 266
5703 [프로그래밍] leetcode 50일 달성 1 JimmyMcGill 1 17 일 전 237
5702 [프로그래밍] 그냥 개인공부용 git 만들건데 5 년째재수강 0 17 일 전 336
5701 [프로그래밍] html 자바스크립트 질문 19 책걸이 0 18 일 전 370
5700 [프로그래밍] 아니 시바 이게 무슨일이야 4 인간지표 0 19 일 전 380
인기글

컴퓨터 / IT 판 인기글

Copyright (c) DogDrip.net All rights reserved.
Contact us, dogdripper at gmail dot com