Jak obnovit smazané soubory pomocí metody file carving

Začnu životní příhodou. Jeden krásný týden jsem byl se skauty na puťáku, měli jsme půjčenou GOPRO kameru, abychom něco natočili. Prvních pár dní jsme natáčeli jako diví, takže nám brzo došla kapacita SD karty. Bylo z ní potřeba data přesunout na cloud. Bohužel, jelikož po vložení do mobilu OS Android nabídl velkou nabídku na formátování. Kamarád se překlikl a videa byla fuč. Abychom měli alepoň nějakou naději na záchranu dat, tak jsme SD kartu ihned odstavili z provozu, aby se data nestihla přepsat, a používali jsme jinou. Toto rozhodnutí bylo logické, protože na paměťových médiích se nikdy hnedka nepřepisují bajty smazaných souborů. Jen se označí, že jsou volné k zápisu. V případě formátování se taky vše nepřepisuje.

Takže teď přistupme k věci. Před veškerou manipulací s sd kartou doporučuji pro jistotu vytvořit její obraz, třeba pomocí příkazu dd. Potom lze buď pracovat se samotnou karktou, nebo právě s tím obrazem. File carving funguje na úplně jednoduchém principu. Je to docela zřejmé už z názvu (carving = vyřezávání), jelikož nenáme ze souborováho systému žádné informace o souboru, co hledáme (jeho metadata neexistují, ale data pořád někde jsou), tak se postupně procházejí po skupinách bajty a zjišťuje se, jestli právě ty neznačí nějaký znamý začátek souboru (file signature). Když se něco známého najde, tak se do paměti uloží, kolikátý to je bajt a dále se hledá známý konec tohoto souboru. Když je nalezen, tak se vytvoří soubor na disku a do něj se zkopírují všechna data mezi začátkem a koncem. Pokud daný typ suboru žádný známý konec nemá, tak se zkopíruje předem daný počet bajtů. Nějaký takový program bych sice mohl napsat, ale jelikož by to trvalo dlouho a já jsem líný, tak jsem hledal mezi existujícím softwarem něco vhodného.

Našel jsem prográmek Scalpel, který výše zmíněné zastává. Nyní popíšu, jak s tím pracovat:

• stáhneme jej
• podíváme se do konfiguračního souboru “/etc/scalpel/scalpel.conf”, jestli tam jsou typy souboru, které chceme obnovit. Většina je ve výchozím stavu zakomentovaná, tak je potřeba vše potřebné odkomentovat. Pokud tam náš typ souboru není, tak jej tam musíme dopsat.
• v mém případě budu hledat soubory mp4, co generuje GOPRO. Tady je alo problém kvůli samotné skladbě mp4 souborů. Hledal jsem, co všechno tento typ obsahuje a našel jsem, že:
  • soubor se skládá z kousků, na jejich začátku jsou 4 bajty, které udávají jejich velikost (včetně těch 4 bajtů).
  • další 4 bajty po těch, co udávají velikost, obsahují informaci o typu toho kousku
  • počáteční kousek bývá typu ftyp (66 74 79 70) a tam můžeme podle následujících 4 bajtů zjistit podtyp souboru, v našem případě tam bude mmp4
  • polední blok bývá zpravidla typu moov a obsahuje všechna metadata videa s odkazy na mdat (v mdat jsou surová data)

https://www.file-recovery.com/mp4-signature-format.htm - tady jsem našel hezký popis.

Problém vidím už na začátku, protože velikost prvního kousku (někde se říká atomu) může být variabilní. Můžeme sice hledat až těch dalších 8 bajtů, co udává typ atomu ftyp a za ním je, že ftyp=mmp4, ale to bychom potom zpětně museli ty první 4 bajty doplnit. Je to sice jednoduché, ale opruz. Lepší je využít toho, že soubory ze stejného zařízení budou mít pravděpodobné stejnou velikost prvního atomu. Jelikož mám dostupné jinší videa ze stejné kamery, tak je zkusím porovnt a zjistím, co mají na začátku stejného. To se dá provést pomocí příkazu diff (nebo colordiff) a hexdump (nebo xxd). Příkaz bude vypadat tak, že do (color)diff nalijeme výstupy z hexdump(xxd) z obou souborů k porovnání:

colordiff -y <(xxd -l 900 SOUBOR1) <(xxd -l 900 SOUBOR2)

Je dobré k xxd použít argument -l, který vezme ze souboru jen prvních X bajtů.

Vidíme, že soubory mají společný začátek:

00 00 00 14 66 74 79 70 6d 70 34 31 20 13 10 18 6d 70 34 31

Pozn.: Podle internetu by měl být file signature takovýto: (s offsetem 4 bajty - hvězdičky)

\** ** ** ** 66 74 79 70 4D 53 4E 56
\** ** ** ** 66 74 79 70 69 73 6F 6D

Teď už teda víme, jak soubor začíná, tak to zapíšeme do konfiguráku.

• napřed si config zkopírujeme jinam, abychom o něj náhodou nepřišli: cp /etc/scalpel/scalpel.conf /někde/někde

• upravíme kopii: nano /někde/někde
• přidáme řádek s našimi informacemi (odděleno tabulátorem):

mp4 y 100000000 \x00\x00\x00\x14\x66\x74\x79\x70\x6d\x70\x34\x31\x20\x13\x10\x18\x6d\x70\x34\x31 udává nám to, že to má uložit prvních 100000000 bajtů (100 mb) po nalezení bajtů 00 00 00 14 66 74 79 70 6d 70 34 31 20 13 10 18 6d 70 34 31 do souboru s příponou mp4. Bohužel neznáme, jak soubor končí, tak to potom budeme muset oříznout manuálně.

Tady přikládám diff konců souborů:

• uložíme, spustíme program a budeme se modlit, aby to něco našlo: scalpel -c /někde/scalpel.conf -o /cilova/slozka/ /dev/sdX (nebo místo zařízení obraz)
• pokud je médium velké, tak budeme čekat klidně několik hodin
• pokud to napíše, že nemáte oprábnění, budete muset program spustit jako root
• takto vypadá program při své práci, ta je rozdělena do dvou fází - v první hledá, ve druhé “rozřezává”

• hmm, nic mi to nenašlo, pokračovat budu tím pádem asi někdy jindy. Ne vždy se podaří, šance na obnovu hlavně výrazně klesá, když se vytvoří nové soubory. To se právě kvůli Androidu stalo, bohužel…

pokračování příště… No, tak alespoň dopovím, jak jsem chtěl po vytažení souborů pokračovat.

• vylezlo by několik stejně velkých souborů a jelikož nelze podle určitého ocásku v souboru určit konec, tak by se na to muselo složitěji
• musíme napřed zjistit velikost souboru a potom takto velký soubor zkopírovat z původního
• využijeme toho, že poslední atom bývá typu moov
• zkusíme najít v souboru právě tyto 4 bajty a zjistíme offset, kde jsou: grep -obarUP “moov” /cesta/k/souboru.mp4

• pomocí 4 bajtů, které jsou před moov zjistíme samotnou délku atomu typu moov.
• Tu zjistíme pomocí: dd skip=(OFFSET-4) count=4 if=soubor.mp4 bs=1|xxd (bez té závorky)

• výslednou délku spočítáme: offset-4+délka moov (z offsetu musíme odečíst 4, protože před ním jsou ty 4 bajty délky, které se do té samé délky započítávají
• nyní známe vše potřebné, stačí už jen zkopírovat vypočítanou délku do nového souboru
• to uděláme opět pomocí dd: dd count=vypocitana_delka if=puvodni.mp4 of=vystup.mp4 bs=1

No a to je vše, teď by mělo video s trochou štěstí fungovat.