과학

데이터 복구은 왜 어려울까?

댓글에 쓰려다 깜빡하고 안올린 글임 전문 지식이 있는 친구들은 그냥 그러려니하고 패thㅡ 하면 된다.

================

메모리 카드를 모텔, 데이터를 손님이라 가정하자

1. 메모리의 쓰기 과정 = 모텔에 손님이 입장한 과정
: 데이터의 쓰기는 손님의 입장이라 생각하면 됨 모텔에 손님이 전화로 예약하는 경우라 가정하자 이때 과정은 다음과 같음

1) 손님이 모텔에 어떤 방(큰 방 혹은 작은 방)을 묵겠다 전화로 예약한다.
2) 모텔 주인은 어떤 방이 비어있는지 확인
3) 빈 방으로 가라고 지시 후, 해당 방이 대여중임을 기록
4) 명부에 해당 손님이 묵는 호수를 적는다

마찬가지로 데이터 쓰기는 다음과 같음

1) Write 신호와 함께 데이터, 쓸 데이터가 들어옴
2) 메모리는 Allocation Table(특정 번지 사용 중임을 확인하는 테이블) 확인
3) 해당 번지 기록 및 데이터 저장

무울론 여기엔 노드가 어떻고 몇 가지 절차가 더 있지만 쉽게 이정도로만 하자

이제 데이터의 삭제 과정인데, 이건 일반적인 손님을 보내는 과정과는 약간 다름 보통은

- 손님이 나가거나 혹은 프론트에서 전화

과정이라면 삭제 과정은 걍 숙박 명부랑 손님이 사용중임을 알리는 테이블의 기록을 걍 말소해버리는 과정..

그래서 데이터가 있던 없던 간에 숙박 명부랑 사용중임을 알리는 명부가 사라져있으므로 결과적으로 그 부분에는 손님이 있음에도 불구하고 없는 것으로 간주되어서 다른 손님이 입장할 수 있게되는거..

로우 포맷은 그런거 없이 알아볼 수 없게 지정한 호실을 몇 번 깨끗하게 청소(사실 랜덤 값으로 데이터를 더럽히는 쪽에 가깝지만..)한다고 보면됨..(부대 전산관련 전역한 친구들은 BCWipe 라는 친구를 잘 알꺼야..)


보안 얘기가 나와서 좀 더 써보면
SSD는 데이터가 각 메모리에 분산 되어서 저장되기 때문에 와이핑 안해도 테이블만 비워버리면 복구하기가 거의 불가능할 정도로 어려워서 걍 삭제만 해도 됨

하지만

HDD는 데이터가 연속해서 들어가는 경우가 대부분이고, 일종의 철가루 같은 물질을 사용하는 물리적 특성상 강력한 자석을 사용하지 않으면 데이터의 흔적이 남음.. 심지어는 가우징 후에도 일정 데이터 흔적이 남는다고 함..(명 정보통신이라고 그쪽에서는 이런 흔적을 찾아서 전자 현미경으로 복구한다고 함..)그래서 군에서는 BCWipe돌린 후에 디가우징이라고 강력한 자석으로 데이터 한번 지운 후 하드디스크를 물리적으로 파괴하는거..

복구는 그런 사라진 테이블(명부)를 보고 복구하는게 아니라 메모리 전체를 뒤져서 파일마다 가지고 있는 처음과 끝의 특별한 사인(Prologue, Epilogue라고 함)를 기반으로 데이터를 가져오는거.. (물론 이런 방법 전에 여러 방법이 있지만 가장 정석은 이거..) 그래서 시간이 겁내 오래걸리고 복구 과정도 장담못함.. 말하자면 긴데 데이터가 연속해서 들어가는 경우도 많지만, 방을 여러개 빌릴때 1,2,3호실이 연속해서 빈 경우가 없듯 데이터도 옆 방이 연속해서 빌 경우가 드물기 때문에 가져왔을때 그 데이터에 일종의 불순물이 껴 있을 수도 있음.. 이건 진짜 노하우의 영역이라 복구 잘하는 회사에 맡기는게 좋음 (저널 영역이고 슬랙 영역이고 뭐 이럴때 참고하는 섹션이 있지만 걍 넘어가자)

여튼 생략된 부분도 있고, 일부 어김상 약간 다른 부분도 있지만 이정도면 충분하다고 생각함.. 유익한 개드립 생활되길 바람..

34개의 댓글

2018.05.24
보안기사필기도 준비하는데 os 보안 엿같음
같은거면서도 미묘하게 달라서 존나 빡침
0
@해머가져와
보안기사라는 게 있어?
0
2018.05.25
@일째프로그래밍
나온지 얼마안되지민 잇슴
0
2018.05.25
@해머가져와
나온지는.좀 됐음 그게 공단에서 관리하는 기사 항목에 들어간게 얼마 안됐을 뿐
0
2018.05.25
@일째프로그래밍
ㅇㅇ 보안기사랑 보안산업기사 둘다 있는데

보안기사는 필기.평균합격률 30%대인데ㅡ실기는 7 ~ 13%대임
0
2018.05.25
@해머가져와
보안기사 따면 종자랑 말도 주냐?
0
워마드 관련 질문인데 워마드 영자가 it업계 사람이라는 소문이 있어. 근데 워마드를 주기적으로 아이피라던지 민감한 정보들을 삭제한데 만약 경찰이 들이 닥쳤을때 이거 복구 가능함?

그리고 워마드가 클라우드플레어로 서버 아이피숨긴다는데 찾기 가능함?
0
2018.05.24
@상상속에서만말이야
보통 ssd서버는 너무너무 비싸서 hdd니 안심 하라구 그리고 단순히 디비 delete날리는게 겨우일테니 이경우도 디비 자체 기록으로 복구는 가능 하긴 함 존나 빡셀뿐이지 그리고 게시판글 삭제를 보통 델리트 하지 않고 업데이트 쳐서 지운 게시글로 관리 함 그리고 워마드 운영자가 개발 안했음
0
@그릇째뚝딱
영자가 백엔드인가 프론트 인가 두개로 워마드 구축한 개발자가 영자로 바뀌었다고 하더라고
0
@그릇째뚝딱
또한 관리자 본인이 한 발언에 의하면 국내에 얼마 없는 프론트엔드와 백엔드 개발이 모두 가능한 여성 웹 개발자라고 한다. CMS 안 쓰고 워마드를 직접 만든 걸 보면 프론트엔드와 백엔드 개발 모두 가능한 건 맞다.

관리자 말에 의하면 백엔드와 프론트엔드 개발이 가능한 여성이면서 뒈짓이 폭로한 내용(IT 관련 교육 업체 사장)에 맞는 사람은 한국에 거의 없기 때문에 경찰이 맘 먹고 조사하면 순식간에 자신의 신상을 밝혀낼 수 있다고 한다
0
2018.05.24
@상상속에서만말이야
응? 아닌데 국내에 풀스택 개발자 많아 그리고 워마드 정도 사이트는 그리 복잡도가 높은 사이트가 아니라 그렇게 높은 기술사항도 아니야 개드립만 해도 그냥 제로보드로 찍찍찍 이지 오히려 일베같은 경우는 똑같이 제로보드 썻지만 테라바이트 공격 버틸정도로 서버 운영 기술이 뛰어남 워마드는 그정도 아님
0
@그릇째뚝딱
그렇군. 그럼 이새끼들 걸리면 영자가 아이피 삭제니 뭐니 해도 다 잡아족칠수 있고 서버 아이피 아무리 가리려해도 잡아낼수 있다는거지?
0
2018.05.24
@상상속에서만말이야
자체 서버면 말그대로 서버 뿌셔서 하드디스크 한강물에 던지면 모를까 서버 빌려쓰는 입장이면 그렇게 못함 클라우드 가상화 같은 경우면 vm 같은 경우 시간별로 백업까지 친절하게 다 해줌
0
@그릇째뚝딱
답변 감사감사~
0
2018.05.24
@상상속에서만말이야
우리나라 경찰들 디지털 포렌식은 세계에서 뽑아줄정도라 현장만 잡으면 얼마든지 족칠수 있으니 걱정 말라구 그리고 대부분 운영 편의상 아이피 기록 남기고 삭제 대신 업뎅트 쳐버림 드랍 퍼지 해버리고 서버 재부팅 해버리면 노답이긴 한데 뭐
0
@그릇째뚝딱
서버재부팅하면 노답이야?
0
2018.05.24
@상상속에서만말이야
메모리 정보가 날라가 버리니까 바로 복구가 어려워지니 사실 이 영역은 웹 개발자가 아니라 dba와 복구업체가 뛰어난 노하우가 있으니 나는 입 닥치고 있을께
0
@그릇째뚝딱
그렇군 워마드가 패악질 부리고 있을때마다 저 새끼들 언제 잡나 잡을수는 있나 진짜 궁금했거든 경찰 통보도 다씹고 근데 너의 답변들으니 속이 좀 풀린 기분이야 감사감사
0
@그릇째뚝딱
아 그래? 멋있네
0
2018.05.24
@상상속에서만말이야
워마드 똥 퍼가는 미러링 사이트 들이 있어서 크롤링에 안잡히는거 빼고 박제 해가니까 걱정마
0
2018.05.24
@상상속에서만말이야
It 교육 업체 사장이면 몇 없긴 한데 이건 거짓 정보인게 이쪽 사장들은 나이가 마늠 정부지원 따와서 하는거라 본인 개발 기술이랑 전혀 상관도 없음
0
2018.05.25
보충설명하자면Ssd도 순차적으로 들어가긴한다.
대신 그 작업의 우선순위가 있는데 셀 안에 잔여데이터가 없는 구간에 먼저 들어감
즉 셀에 데이터가 한번 저장된 후 삭제된 곳보단 처음부터 아무런 데이터가 들어가지 않은곳에 우선 저장시킴
그리고 그런 공간이 없을 경우 삭제된 흔적이 남아있는 셀에 데이터를 기록함.
하지만 삭제된 흔적이 있던 셀에 기록이 발생하는 순간 SSD의 기록속도는 현저하게 떨어짐.
저 상태를 SSD가 DUTY한 상태다 라고 함
저러한 쓰기를 미리 방지하기 위해서 TRIM이랑 GC기능을 추가하여 SSD의 유후시간일때 내부적으로 쓰레기 데이터를 미리미리.지워둠
그렇기 때문에 ssd의 데이터 복구율이 hdd보다 현저하게 떨어짐
0
2018.05.27
@Tbps
그래서 사람들이 SSD 총 사용량이 15TB였나를 넘으면 버리라는 이유가 수명도 수명이겠지만 니가 말한거처럼 모든셀을 몇번이고 돌려써서 기록속도가 엄청떨어져서 그런거야?
그럼 TRIM이랑 GC기능을 쓰면 성능저하를 막아주는거야? 아니면 최소화 시켜주는거야?
0
2018.05.27
@갈증엔쥐약
최소화 시켜주는거임 TRIM이랑 GC가 작동된다해도 쓰기 작업이 발생하면 해당 기능이 일시 중지됌

그리고 저기에 내용 빠져있는데 삭제된 흔적이 있으면 그 흔적을 지우고 다시 기록하는거라 쓰기속도가 스펙상 속도보다 최대 절반 이상이 하락하기도 함

저러한 이유 때문에 SSD는 여유공간 못해도 20%는 남겨두라고 하는거기도 하고
0
2018.05.25
제목 오타
0
2018.05.25
그냥 물리적으로 파괴해도 복구불가능한거아님??
0
2018.05.26
@근성가이
정확히는 하드같은경우 플래터 판을 물리적으로 파괴함.

원판이 살아있다면 이론적으로는 재조립해서 사용 가능
0
@근성가이
물리적 파괴에 따라 다르지. 구멍 뚫고 라이터 기름이나 신나 부은따음에 불 붙이면 불가능할걸
0
2018.05.25
위에 포렌식을 영화로 배운 오타쿠 하나 있네 ㅋㅋㅋㅋㅋㅋㅋ
0
2018.05.26
일반적인 사용자입장에선 hdd기준 0과 1을 랜덤하게 세번이상 덧씌우면 복구 불가능이라고 얘기하고

구트만씨에 따르면 0과 1을 35번정도 지 나름대로의 순서대로 덧씌우면 절대 복구 불가능하다고 얘기하더라

ssd는 결국 캐패시터안의 전압레벨로 정보를 읽어내는거니까 걍 전압레벨 균등하게 밀어버리면 복구 안된다고 얘기하는거고
0
2018.05.26
파일시스템에 대해서 쉽게 설명해준 것은 좋았으나 SSD가 HDD에 비해 보안상 유리한 이유가 잘못됐음.
HDD는 Overwrite가 가능해서 파일시스템 상에서 '지워졌다'라고 표시해두고 해당 영역을 덮어써서 재사용이 가능하지만,
SSD는 메모리 특성상 Overwrite가 불가능하다. 그렇기 때문에 파일시스템 상에서 삭제할 때, 해당 영역의 데이터를 실제로 지우는 작업이 동반됨.

따라서, SSD는 기본적으로 지워진 파일이 저장장치에 남아있지 않기 때문에 HDD보다 보안상 유리함
0
2018.05.26
나 이거 교양으로 듣다가 쳐망함.. 컴퓨터 아키텍쳐였나 쨌든 너무 복잡...
0
2018.05.26
그냥 물에 넣어서 끓이면?!
0
하드를 직접 뜯고 플래터 양면을 숯돌에 알뜰살뜰하게 갈았을때 복구해보시오
0
무분별한 사용은 차단될 수 있습니다.
번호 제목 글쓴이 추천 수 날짜
562 [과학] 번역)새들은 왜 알을 많이 낳는가? - 후투티의 형제살해 습성... 5 리보솜 3 6 일 전
561 [과학] 학계와 AI, 그리고 Bitter Lesson (쓰라린 교훈) 26 elomn 35 2024.02.17
560 [과학] 지구의 속삭임, 골든 레코드의 우주 9 Archaea 10 2024.02.16
559 [과학] 잔혹한 과학실험 이야기 <1> 절망의 구덩이 19 개드립하면안됨 35 2024.02.15
558 [과학] 스트레스를 받으면 술이 땡기는 이유 12 동식 16 2024.02.10
557 [과학] 지능은 모계유전이 아니다. 40 울릉특별자치도 35 2024.01.26
556 [과학] 진화를 생각할 때 고려할 것들 23 날씨가나쁘잖아 12 2024.01.17
555 [과학] 학문적(과학적) 접근과 유사 진화심리"학" 26 날씨가나쁘잖아 19 2024.01.15
554 [과학] 호모 사피엔스의 야릇한 은폐된 배란에 대한 남녀 학자의 다... 14 개드립하면안됨 15 2023.12.29
553 [과학] 김영하의 작별인사를 읽고 느낀 점 (스포있음) 21 장문주의 2 2023.11.28
552 [과학] 제4회 포스텍 SF 어워드 공모전 ( SF 단편소설 / SF 미니픽션 ) 2 따스땅 1 2023.11.25
551 [과학] 펌) CRISPR 유전자 가위 치료제 "최초" 승인 12 리보솜 7 2023.11.25
550 [과학] 러시아는 기술산업을 어떻게 파괴시켰는가(펌) 9 세기노비는역사비... 15 2023.11.18
549 [과학] 고양이에 의한 섬생태계 교란과 생물 종의 절멸 (펌) 2 힘들힘들고 6 2023.11.16
548 [과학] 번역) 알츠하이머병 유전자는 어떻게 살아남았는가? 12 리보솜 10 2023.11.15
547 [과학] 『우영우』의 자폐 스펙트럼 장애 개념이 왜곡인 이유 (펌) 54 힘들힘들고 10 2023.11.12
546 [과학] 흑수저 문과충 출신 구글 취직하는 파이썬 특강 -1 14 지방흡입기 11 2023.09.27
545 [과학] 국가별 당뇨 유병율 이거 뭐가 바뀐건지 아는사람? 8 LAMBDA 1 2023.09.27
544 [과학] 물샤워 ㅇㅈㄹ 하는 놈들 봐라 171 철동이 48 2023.09.23
543 [과학] 천동설은 왜 장수했을까.kuhn 20 시에는퇴근할거야 23 2023.09.14