И то и другое не нравится. Хотя более точный ответ на вопрос "Насколько глубоко проникает?" - "на 10 слоев".

«Объяснительный русский орфографический словарь-справочник» (Ин-т русского языка им. В. В. Виноградова РАН; Е. В. Бешенкова и др. М., 2015) сообщает о сочетании (в)глубь следующее:

вглубь 1) пишется слитно как наречие от существительного (глубь), принадлежащего к закрытому ряду слов с простран­ственным или временным значением (распростра­ниться вглубь и вширь, проблему не решили, а загнали вглубь); 2) закрепившееся слитное написа­ние предлога (зверь забился вглубь норы). ◊ Не путать с сочетанием предлога и существительного, управляющего другим существительным, напр.: в глубь океана; в глубь веков; в глубь души; вникать в глубь, в суть проблемы; в глубь времён; вышел из распахнутых в глубь дома дверей. Поскольку в современном языке дан­ный предлог находится еще в стадии формирования, то разница между сочетанием с предлогом вглубь дома и сочетанием существительных в глубь океана трудно уловима, поэтому в данных сочетаниях вполне возможно вариативное написание. (Статья приведена с некоторыми сокращениями.)

В предложении Настоящий геолог проникает (в)глубь Земли слово глубь вполне соответствует значению, зафиксированному в «Большом толковом словаре русского языка» (под ред. С. А. Кузнецова), – ‘место или пространство, расположенное на большом расстоянии от поверхности земли или воды’. Поэтому в данном случае более обоснованным представляется раздельное написание.

Верно:  ...в открытые дентинные канальцы.

Это тот случай, когда деепричастный оборот, стоящий после союза а, невозможно «оторвать» от союза, изъять из предложения или переставить в другое место без разрушения структуры предложения. Подобные случаи представлены в параграфе 20.2  справочника по пунктуации Д. Э. Розенталя, например: Он начал приносить книги и старался читать их незаметно, а прочитав, куда-то прятал (М.Г.).

В Вашем примере «напрашивается» тире, поскольку наблюдается восстанавливаемая из контекста неполнота как в деепричастном обороте (пропущено слово мышцы), так и в основной части предложения (пропущено подлежащее червь или он), а кроме того, есть параллелизм частей. Однако и деепричастный оборот нужно закрыть, а другого знака, помимо запятой, для этого не предусмотрено. Из этого делаем вывод, что запятая перед тире ставится: Сокращая кольцевые мышцы, червь проникает между частицами почвы, а сокращая продольные, — раздвигает их в стороны.

Двоеточия не нужны, гиперссылки можно заключить в скобки и подчеркнуть.